《大数据时代》一书的作者维克托•迈尔-舍恩伯格(腾讯科技配图)
腾讯科技 朱旭冬 报道
如果说前几年火爆的概念是云计算,那么今年火爆的概念就是大数据。但就好像云计算刚刚开始流行的时候,人们并不清楚云计算到底是什么一样,现在人们对大数据的理解仍然有很多偏颇。
近日,《大数据时代》一书的作者维克托•迈尔-舍恩伯格来华访问。腾讯科技与其进行了对话,探讨大数据的意义以及未来发展方向。
大数据是一个相对的概念
维克托认为,了解什么是大数据的定义非常关键。首先要明确的是,“大数据”并不是很大或者很多数据。
根据维克托书里所写,大数据并不是一部分数据样本,而是关于某个现象的所有数据。比如书里写到了日本的相扑,实际上统计了过去10年日本所有的大约64000场相扑比赛。从数据量上看,这只是很小的数据,但是这是过去10年所有相扑比赛的数据,所以这是“大数据”。
“大数据不是一个绝对的标准,而是一个相对的量,大数据几乎就是关于某件事的所有数据,而不是部分抽样数据。”维克托强调说。
第二点是,由于掌握了关于某个现象的所有数据,那么在统计就就能接受更多混杂的东西,可以有更多不准确的信息在里面。如果关于某件事我们只有15个数据,那么这15个数据必须非常准确,不然的话基于此的判断就会有问题。但如果有1500万个数据,即便有1000个数据是有误的,也不会影响全局。
第三,大数据的分析着重在了解“什么”而不是“为什么”。比如人们可以通过各种相关数据来了解未来将会发生什么,而不是这些事情发生的原因。要探寻原因会更难,而很多时候,知道什么会发生已经足够了。
维克托举例说,比如我们知道禽流感的蔓延趋势就可以了,而不需要知道为什么会这样蔓延;知道什么时候去买机票便宜就足够了,而不需要知道为什么这个时候便宜。
以上这些就是大数据的核心,有足够多的数据,允许数据中存在不不准确的信息和不去探寻事件发生的原因而是探寻会发生什么事件。
数据即产品 应由CEO亲自负责
很多大公司都会有一个CIO的职位,而公司的CIO主要处理的就是信息和数据问题。维克托认为,之所以会有这个职位是因为很多公司把数据看成了负担。“但是数据应该是一个产品。”
而如果把数据真正当成公司的核心产品,那么大数据部门就应该由公司CEO亲自负责。维克托认为,大公司的管理层应该改变过去对数据的看法,数据不是一个风险不是一个问题,而是一个潜在的产品,也是未来盈利的来源。
维克托表示,现在UPS这样的公司也在利用大数据来提高。UPS在自己6万辆运输车里都装了GPS,这一方面是为了管控需要,另一方面也能利用到大数据。经过分析,他们发现如果一辆车的行进路线上有很多左转弯或者经常要过十字路口,那么这辆车更容易出现事故。于是他们就重新设计了路线,让运输车更多走右转弯,这样就降低了事故发生的频率,提高了效率。
而数据也是大公司相对小公司的优势。过去大公司的优势在于庞大的基础设施和服务器等,但是现在通过云计算,小公司也可以很快获得这些能力。但是大公司长年积累的数据是小公司所没有的。
维克托认为,未来大数据发挥的作用主要会在教育、医疗以及其他“可预见性维护”领域,也就是说,在问题发生前,人们就可以通过大数据了解到问题所在。比如通过大数据人们能提前知道一台机器是否马上会出问题,并且在它出问题之前换掉某个部件。
大数据和移动互联网
在移动互联网领域,一些大玩家利用大数据在为人们提供服务,同时也有新的创业公司因为找准了位置,同样能用大数据来支撑起自己的业务。
维克托表示,有一家名为Inrix的智能手机导航应用公司,他们在导航的时候同时收集用户信息,这样就形成了一个循环:越多人用效果就越好,效果越好就有越多人用。
而这些数据也为这家公司提供了其他价值,比如判断天气状况对行驶的影响,比如保险公司能怎么做等等。“这也正是大数据的价值所在,并非收集数据的核心目的,而是利用数据创造出二次价值。”维克托说。
至于这家公司一开始是怎么获取初数据的,维克托介绍说,Inrix一开始和UPS和FedEx签约,从而积累了初始数据。
苹果公司也在利用大数据来创造价值。在过去电信公司会收集你手机使用的各种信息,但是他们完全没有把这些信息用起来。但是苹果和所有电信运营商签了协议,他们获得了这些数据。这时候等于苹果获得了大数据。在定位的时候,苹果就可以利用 GPS,WiFi热点和移动基站来帮助定位。
事实上,谷歌(微博)街景车做的事情也不仅仅是拍照,他同时也搜集了大量的信息。
大数据并非万能 要防止捧杀
维克托表示,虽然大数据在未来能发挥巨大的作用,但是仍然面临一些挑战。
一方面的挑战来自政策监管。维克托表示,现在已经有政府看到了大数据的重要性,所以希望进来做点什么,但是他们实际上不知道该怎么做。他认为现在政府好什么都不要做,先让市场自由竞争。
第二个挑战来自人们对大数据的误解。因为现在大数据已经成了人们开口必谈的一个问题,这导致很多人以为大数据能解决所有问题,而当大数据无法解决某些问题的时候,人们就会认为大数据其实很无能,于是抛弃了大数据。
“所以,我们现在要做的是让大家知道大数据是什么,能起到怎样的作用以及我们应该如何利用大数据。”维克托说。