说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

分析数据预测未来?数据挖掘绝不是大公司的专利

HTML文档下载 WORD文档下载 PDF文档下载
来自微软和以色列研究所的两名科学家通过自制软件来分析“纽约时报22年的报纸、维基百科和其它90家网站资源”以预测未来,其中包括:疾病暴发、社会暴乱及死亡,并希望能对阻止上述事件产生帮助。显然,大数据分析不再是大企业的专利了。

随着数据体积的爆发性增长,人们从数据获取的信息也随之增多。然而从海量数据中提取信息去预测未来,却是件很疯狂的工作。信息收集、存储、管理和分析不再受技术的制约,大数据,极富挑战地吸引着越来越多的科学家、分析师,甚至是一般企业管理者或者创新企业和个人。

科学家用自制软件预测未来

日前,Laura Hazard Owen在Gigaom上撰文《How two scientists are using the New York Times archives to predict the future 》,文章很有意思。

这两名分别是来自微软的Eric Horvitz与以色列研究所的Kira Radinsky,他们通过自制软件来分析“纽约时报22年的报纸、维基百科和其它90家网站资源”以预测未来,其中包括:疾病暴发、社会暴乱及死亡,并希望能对阻止上述事件产生帮助。这项研究是挖掘互联网数据并进行各种事件预测的最新举措。

其相关研究论文—— 《挖掘网络到预测未来》(PDF)已经发表。为了便于理解,他们举了个例子,如何用分析暴风雨、干旱等自然灾害去预测安哥拉霍乱暴发的方法。通过分析,他们认为可以提前一年预测到霍乱暴发的蔓延。显然,这项在数据挖掘上的最新应用,也足以应对分析新闻、博客和社交媒体来帮助各行各业把握人们的动机的挑战。

从某种意义上来看,之前流行病学专家已经看到了其中一些必然的联系,但是Horvitz和Radinsky认为应该把目标放在“采用启发式评估、经常做回顾性分析”这类研究上,而不是把目标放在做近期指导的预测形成上。他们把软件对比人类的优势归纳于以下4个点:

1. 学习中的优势

  • 软件有能力从大量数据中吸取知识
  • 可以同时监视多个信息源
  • 可以随着时间认知新的概率关联
  • 可以持续的进行实时监控
  • 对可不断增大的未来事件进行预报和警报

2. 不知疲倦的研究

软件在挖掘历史事件和正在发生的事件有天生的优势,可以挖掘出人们可能永远都不会发现的真相 —— 精力以及惰性决定了人类只注意容易认知或者已被发现的知识。

3. 无偏见的去分析数据及推测结果

软件会忠诚和自动的执行分析,即使发生以下两种情况:

  • 数据分析出的推论与专家预期相反
  • 基于大量的观察以及源数据推测出的结论远低于专家期望

4. 基于更广泛的数据对数据进行分析

系统会对新闻做快速的全方位监测然后做出预测,无论这个新闻出现在报纸上的哪个位置。这种全方位不会被新闻源或者地方性所限制,而是从系统的角度上,比如:一个地方报纸的非主要标题处刊登的葬礼发布,在大的局面上也许是大规模暴动的主要线索。

除此以外,还有非常重要的一点是“ 什么该概括、什么该忽略 ”。

在软件模式的开发过程中,工程师需要面对的一个问题是:许多贫困的非洲国家对一些灾难性事件不做广泛的报道。为了应对这个问题,他们训练软件从以下几点进行概括:“取代只分析卢旺达霍乱暴发——只有很少量案例的历史事件,我们从更广泛的面去考虑这个问题——整个非洲国家的霍乱暴发。”

Horvitz和Radinsky同样教会了软件该忽略什么:比如说1989年3月纽约发生的旱灾,系统会忽略其造成霍乱暴发的可能,因为霍乱依赖与密集的人口基数(比如安哥拉和孟加拉的难民营)和易被污染的水源。

被催化的“机器学习”和各类追踪分析 

Horvitz和Radinsky基于大数据的分析只是代表了应用的一个方面。除此以外,还有很多。

比如,在大数据技术的推动下,飞速发展的机器学习表现的很是突出。IBM之前更有一篇报告提出,5年类计算机获得人类五感将成为现实。确实从技术发展来看,计算机数据处理能力日益增长,涉及领域极其广泛;在未来如同人类一样拥有五感已非不可能。

当然,在数据时代得益的不只是机器学习,还有更多来自行业价值增值:通信行业、智慧医疗、商业运营、城市交通、客户工作分析、广告投放分析、政府事业等等。

在此之前,CSDN云计算频道曾经报道过,研究者们如何使用Twitter和Google去追踪流感的暴发。

那是去年12月,波士顿和纽约出现流感疫情之后,为了让疫情得到有效的控制,美国卫生官员及应用开发人员是这么应用大数据的:

主要负责防止流感疫情扩散的美国疾病预防控制中心(CDC)已逐渐使用大数据来了解疫情,他们认识到:虽然医生是控制疫情的“主站武器”,但是目前没有足够的疫苗可以普及所有的人群;此外在研制流感疫苗之前,必须要确认不同的流感病毒株,这样生产出来的疫苗才能真正的防止流感的扩散。

而为了确认某个地区的流感菌株,他们同科尔全球性威胁基金进行达成合作;推出了FluNearYou应用程序(13周岁以上市民可以注册),用以监测流感的蔓延程度。从美洲一次的调查报告来做好流感疫情扩散的准备并进行预测。

同时还有一个用以收集社交媒体信息的Germ Tracker(信息收集网站,可以通过地图追踪流感病情的扩散)和挖掘搜索信息的Flu Trends(一款来自Google的流感追踪器,类FluNearYou的监测工具)。 更多信息查看:美国人是如何利用大数据的应用来防止流感的蔓延

大数据分析固然带来了好的一方,比如上面说的训练机器学习、预防流感的蔓延等大家喜闻乐见的大数据应用,但硬币的另一面是,也会让很多人非常不舒服:比如之前纽约市枪支许可证所有者的地址都在Google地图中被标注,严重侵犯了隐私。

事实上,对于大数据应用的讨论仍有很多,美国社会中最激烈的观点就是:开放数据被誉为一个开放的工具服务于民众,但同时却也被激烈的党争所利用,危害公众安全。

重金招揽大数据创新企业

无论如何,充满矛盾的讨论无法阻挡大数据分析的脚步。数据还在呈指数上升,PB存储的成本即使是个人都能承受,大数据挖掘与分析的新工具与技术频频出现。这些创新企业或技术或在针对 大数据的提取,转换,加载,或针对后续的管理,分析,或对最终可视化效果做优化,异彩纷呈。

为此,IT巨头们纷纷主动抛出橄榄枝,重金招揽。尤其是IBM,在收购多家数据分析公司,比如:Netezza、Butterfly以及Tealeaf之后,近期又动作频频。比如日前风传的IBM将收购大数据公司Splunk(虽然是传言,但未必就是空穴来风);又如IBM宣布的对大数据分析公司Star Analytics的收购计划。

国内创意很多,案例不多

显然,从目前的资料上来看,美国或在资金以及技术规模上占有相当的优势,然而数据的挖掘和分析绝却并非谁所特有的专利。国内,淘宝、百度、腾讯的数据挖掘和分析虽然还没有进行大范围宣传,但每一次应用变化后都有大数据支持。还有近期的12306,无论是并发还是应用,都堪称大数据经典,而后续环节优化(实名制退票、线路优化等),都可以直接归类到大数据分析领域。

有意思的是,数据分析显然不只是大公司才能做的事情,比如上述两位科学家完全通过自制软件就能实现分析,还比如日前一个广为流传的国内数据分析的段子:

 @时代报发表了一篇关于“大数据时代的挣钱模式”的微博(未经考究其真实性):

一小伙专门应聘上海均价 4万高档小区的物业管理,自己配了扫描枪,每天就盯着小区垃圾堆,看见有条形码就扫描,晚上回家把数据整理出来,得出这小区喝什么水吃什么油买什么衣服,整个小区的消费品类偏好和品牌偏好一清二楚,再形成报告卖给大公司,报告价值数十万。

不论是否真实,其基本上0资本玩转数据的思考还是值得重视的。有网友们就认为:

@招福象:如果公民的数据就这样进行收集,那么个人的隐私、甚至人身安全如何保障?早期的市场调查机构就有去翻翻小区的垃圾,通过那些某品牌饮料瓶的出现的频率,来推断出饮料的市场占有率跟消费饮食习惯,甚至竞争对手的情况。

再回到国内主流观点,日前 @北大新媒体发布关于数据预测未来的微博后,大家对机器学习与大数据的看法:

@张栋_机器学习(原百度科学家,凤巢系统架构师;原Google 研究员,机器学习博士)在其微博上发表的关于大数据的看法:

1. 中国互联网做大的公司都是大数据公司:大数据是互联网技术和商业模式发展的驱动力
2. 这些公司有一个共同点:在初期,商业模式上都经历了一个摸索的过程 
3. 做大数据研发最好能在大公司内部:大公司经过长时间积累,才有大数据,大数据的作用是对已有的成熟商业模式的效率提升,或者是找到新的商业模式:在大公司内部做大数据,可以更快的看到效果
4. 如果要做大数据的创业公司:要有长远的心态,做大数据公司一定是慢公司:数据积累需要时间,商业模式摸索也需要时间

对大数据与数据挖掘持乐观态度的有:

@刘堃-Allen: 随着大数据的发展,数据挖掘和商业智能会得到越来越多的重视。
@司学峰: 经常收到预测分析建模国际会议与营销相关英文邮件,国内火起来有待时日。
@zju正青春人: 技术的进步让实证研究更进一步。

当然还有抱谨慎态度的:

@统计之都:(大数据+数据挖掘技术==知识),这个语句到底是返回FALSE还是TRUE,现在还没有定论呢,我们还是谨慎乐观吧!

更有热心的朋友考虑到了负载问题:

@智能矩阵: 分析下60年来的人民日报,会不会宕机呢?

大数据分析,留下的思考还有很多,欢迎与 @CSDN云计算讨论。(仲浩/编译 王旭东/审校)

修改IE的环境菜单-VB资料 修改安装向导生成的缺省安装目录 -VB资料 修改屏保口令 -VB资料 修改屏幕保护的口令 -VB资料 旋转字体 -VB资料 延时函数-VB资料 一个关于乘法溢出问题的探讨 -VB资料 一组VB实用小程序 一组VB应用技巧 隐藏和显示任务栏-VB资料 应用 WSH 读写注册表和建立快捷方式 -VB资料 VB用 IIF 和 SWITCH 以精减代码 VB用BASIC语言设计Windows风格的用户接口 VB用Form 的 Mouse_Move事件来检查鼠标是否在窗口内: VB用RND()函数加密 VB用SendKeys来捉屏 用VB4.0制作软件封面 用VB5 对Windows 95 任务栏提示区进行编程 用VB5读写注册表实例 用VB5开发商品软件的经验谈 用VB5设计多功能计时器 用VB5制作文字上卷效果 用VB6.0实现打字效果 用VB编写DirectX7.0游戏(上) 用VB创建Excel报表 用VB读取和控制Windows的中文输入法 用VB将命令行软件Windows化 用VB进行移位操作 用VB开发CAI软件的小经验 用VB开发分布式应用 用VB切换三个特殊键 多个cpp可以有多个main吗? 怎么样在不同分辨率下显示同一网页不变形? 卡拉OK厅中的男人和女人们(zt) 怎么在一个接口中调用另外一个接口 大力过来 帮忙! 论坛里有保留cookies的功能,但是有些用户说cookies保存不了 大家好!我有问题很急呀!!! 哪个函数可以打开多个文件? 大家请进来说说吧,用什么软件编辑jsp和javascript能测试出网页中提示的:完成,但网页上有错误,这种错误所在的行和具体的什么错误。 关于在课件项目中应用XML的问题,回复心得或相关链接都有赠分 多个附件上传和下载 VB.NET中樹是怎樣展開 我可以把ACCESS数据库的表导出到SQL SERVER中吗? 图片存在目录与存在数据库各有什么优缺点呢? 点击这个框架中的网页能够打印另一个框架中的内容吗 求救~!!!! 请问如何将台式机硬盘上的内容copy到笔记本的硬盘上?? ADO数据集的服务器游标的使用问题 为什么我在发布Delphi程序时总出现Error1324错误 快来救救我的硬盘呀 mydatastore.update() 返回 -1 如何知道出什么错? 如何获得当前光标所在程序的edit框的handle? [ 请教 ] 关于FREE风格的数据窗口的显示问题! 这个存储过程怎么写呀? 如何添加新函数?急!急!急! 我在网上把一副图片设为背景,我不知道他的文件名,我现在想把它找出来,请问如何办到。在右键-属性-背景中他的名称是“Internet Explo 请高手指点。 vb函数使用的问题 简单两台机对连问题 做斑竹、做会员就可以领工资(RMB)! jsp中session跨war包调用问题 PB画图问题 请各位搞WEB挖掘的朋友都留个联系方式 如何指定 记录集的游标类型,大侠请进,小弟急用(内附代码)!!! 请投上一票! mssql一个很奇怪的问题,如何解决啊!“键列信息不足或不正确,更新影响到多行” 天杀的3721,大家进来共同讨伐这有史以来最恶心的XXX,进来都有分 c写的cgi怎么获得表单中某个下拉菜单的value和text.在线等 哪有VC的SP5下载? 要实现这样的功能,SQL该如何写(急,在线等待)? 哪里可以找到string.format的格式说明啊? 【无限祝福】:璇玑、大力相知相伴 查找数据库的问题。。。。。 在asp.net中怎么调用第二个窗体呀???请教大家帮我。thanks ,中秋快乐 Jsp保存时出错 Response.Write rs("ans")中間的rs 能否在FTP站点里上传文件夹? 教师节快乐!发了2000多,不够塞牙缝! 一个菜鸟问关于公共对话框组件的问题 大家快来给找错误呀!!!高分回报!!! 红外线的作用是什么?不用太具体,但要是重要的内容。明天要交的~ 深圳与广州相距165.一辆大巴车每时行65千米,一辆大货车每时行45千米,两辆车同时从两地相向开出,多少时后两车在途中相遇?相遇时大巴车行了多少千米? 杨柳为什么垂下生长 四边形ABCD的对角线BD被E、F、G四等分,且四边形AECG的面积为20平方厘米,求四边形ABCD的面积. 回归直线中r是什么 唯有垂柳管别离……全诗! 如图所示,在△ABC中,AB=AC,∠BAC=90°,D是BC上任意一点.求证BD2+CD2=2AD2 在三角形ABC中,角C等于90度,AD2=AC2+BD2,MD⊥AB于D.求证:M是BC的中点 红外线的用途有哪些? 一条直线交同心圆中的大圆于AB两点,交小圆于M,AB=16求圆环的面积 红外线用途? 浙江一高校新规:学生3次不叠被将取消大学生被指厕所内施强奸获刑 重审后改中国航母辽宁舰再出海 将开展舰载机海台防务部门:台军计划7年采购2236英国乔治王子穿蕾丝长袍受洗礼 模样超马尼拉议员抵港就人质事件道歉 家属重上海自贸区将设立离岸产权交易中心 首中央再选十地展开巡视 更加强调对“一北京推7折商品房无户籍限制 业内称将山东青州豪华车站成形象工程 1天仅卖老汉旅店约见网友开房 发现对方系自己大部分价格都不贵几乎每家咖啡店和餐厅看看妇产科大夫“胖头陀”和“瘦头陀”幸好司机逃得快和最爱它的人一起生活糕点饼干类不合格率最高普京与老虎有“情缘”友谊赛之王,国足名不虚传韩国学生眼中的中国学生免费WiFi,在下沙商家中盛行明珠纪元剑甲星河道德启示录无限之天定盗墓永生的代价佛道之极歧屠刀剑风尘录网游之三界最强战争国度荒神乱古运河码头旅游书法广场旅游寒坑龙潭旅游桂山岛旅游古武当山旅游龙南客家围屋旅游汾河二库旅游太原古街巷旅游和尚套旅游大午科幻乐园旅游保定大午温泉度假村旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘