走进大数据时代.ppt

走进大数据时代,大数据，指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为4V。,一.什么是大数据？,二.大数据的特点,1.数据体量巨大。从TB级别，跃升到PB级别。2.数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息等等。3.价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。4.处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。,智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来23个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。,三.应用案例,四.大数据与小数据的不同（因果关系）,1.大数据与小数据，大量数据的区别与转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。,2.还有一个重要的区别是在用途上，过去的数据很大程度上停留在说明过去的状态，拿数据说话，实际上是用过去的数据说明过去，而大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。使数据从原来停留在说明过去变为驱动现在，我以为预测对企业的作用从两个方向：A.宏观是对趋势的预测，给企业做大势分析。B.微观是对个体的精准分析，给企业做个性化精准营销。,大数据与小数据的不同（因果关系）,3.从结构上，大数据更多的体现在海量非结构化数据本身与处理方法的整合大数据与小数据判断原则：A.数据的量B.数据的种类、格式C.数据的处理速度D.数据复杂度,大数据与小数据的不同（因果关系）,大数据与小数据的不同（因果关系）,4.分析基础不同，大数据是只有在大规模数据的基础上才可以做的事情，而这需要有从量变到质变的过程，也正因为科技的创新在方法上打下基础，而利用互联网展开的新的生活与工作方式，让信息积累到可以引发变革的程度，而很多事情在小规模数据的基础上是无法完成的。也就是说，数据驱动企业是一个数据积累从量变到质变的过程，不是工具问题，是数据积累问题。一切以为做个好的信息化工具就可以实现数据驱动企业，都会出问题。,thank you,