说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

挑战和机遇并存:大数据时代机器学习与可视化

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的上午时段,众多专家围绕大数据时代的机器学习、数据可视化、磁盘故障预测、DataMPI、Camaro等主题展开了分享与讨论。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


主持人:百度大数据首席架构师林仕鼎

在2013中国大数据技术大会第二天的“大数据技术”专题论坛的上午会议时段,分别由百度系统部资深系统研发工程师胡殿明、浙江大学教授何晓飞、北京大学“百人计划”研究员袁晓如、俄亥俄州立大学博士后研究员鲁小亿、秒针技术经理刘诚忠为我们带来了精彩演讲。上午会议由百度大数据首席架构师林仕鼎主持,他看到现场火爆程度之后,表示对大数据技术推广的前景非常看好。

胡殿明:基于大数据的硬盘故障预测


 百度系统部资深系统研发工程师 胡殿明

在上午场的第一个演讲中,胡殿明指出MTTR在很大程度上决定了存储系统的可靠性,而硬件规格、置换数据放置策略、故障规模资源可用量等是MTTR的重要影响因素。接着,他分析了常见的故障源,指出大数据时代,硬盘在硬件中的比重增大,故障及恢复开销也更加严重,并重点对磁盘故障、三副本与纠删码之间的对比进行了详细讲解。

在磁盘故障预警背景分享中,他主要分享了提升系统可靠性、提升系统可用性及提升运维效率三点,并给出了应用磁盘故障预警的实验数据。他强调,磁盘故障预警在实际应用中,不仅要覆盖全部厂商和型号,还需要支持全部的IDC环境和业务集群,更要严格地标注样本、特征表示和稀疏化及在线自动迭代。最后,他指出基于磁盘故障预警的预修复编码和数据分级存储,可以有效提升集群的可用性与可靠性。

何晓飞:机器学习与大数据


浙江大学教授 何晓飞

第二个演讲者何晓飞带领大家一起回顾了传统机器学习的发展历程,并以人脸识别、社交网络的推荐系统等具体应用对比了传统机器学习与大数据时代机器学习的区别。在大数据时代,人脸识别可以提取更多网页信息,并可以给予结构化显示。他指出,大数据时代机器学习的主要特点——原先各种独立的技术领域将融合在一起。同时,他还分享了大数据时代会带来隐私安全问题。

期间,他分析了深度学习在大数据时代存在的问题:算法方面,面临训练耗时、调参复杂的困难;计算方面,遭遇分布式困难;硬件方面,面临GPU稳定性较差等问题。

他重点突出了大数据时代在线学习的重要性,分析了当前在线学习方法在大数据时代存在的缺点,针对非线性方法提出了具有上界的稀疏在线学习方法。最后,他针对大数据时代精确最近邻检索复杂度太高的问题,着重强调了近似最近邻检索的重要性,解释了传统哈希索引存在的问题及对应的解决方法。

袁晓如:大数据时代可视化和可视分析的机遇与挑战


北京大学“百人计划”研究员 袁晓如

随后进行分享的是袁晓如,演讲之初,他为大家介绍了“大数据”与“可视化”的内涵,特别指出信息图是与可视化不一样的,可视化是对事物建立心理模型或心理图像的过程,需要更多对数据的分析与处理。

他结合生动的案例带领大家一起分析了可视化在大数据时代面临的挑战,主要有:

  • 可感知性(以北京出租GPS和某地点周边交通为例)
  • 可扩展性
  • 交互性
  • 从用户角度出发的可扩展性
  • 可视化系统发展

他认为,可视化是一个数据总结、挖掘、返回原数据的过程,是一个从整体到局部的过程,可以帮助了解世界是如何运行的。最后,他重点强调,目前中国仍然缺乏大数据可视化方面的专家人才,与美国等国家的差距很大,虽然越来越多的公司关注数据可视化,但仍待深入。

鲁小亿:Extending MPI to Big Data Computing: Challengesand Benefits of DataMPI


俄亥俄州立大学博士后研究员、DataMPI开源项目负责人 鲁小亿

鲁小亿进行了上午场的第四个分享,首先对Hadoop中的通信协议进行了总结,接着对当前MPI的现状进行了介绍,指出高性能、可移植性对于大数据的必要性。他也总结了目前MPI扩展到大数据面临几大问题,如:相比Hadoop代码量很大,同时不具备较强的可扩展性;编程上如通信协议、核心数据结构等都面临着较大困难等。

接着,从DataMPI架构设计、MPIDrun、Profile、Core等方面对DataMPI的实现进行了详细讲解,并用实验数据介绍了DataMPI项目在排序、任务进程和GPU处理、扩展性、性能等方面来的效率提升,如在WordCount和排序方面,相对Hadoop约有40%的性能提升。

刘诚忠:Camaro DB–Yet another MPP Database hacking fromCloudera Impala


秒针技术经理 刘诚忠

他为我们解释了秒针关注大数据的原因,及其对大数据的探索。他介绍说,当初选择Cloudera Impala作为项目Camaro开发的基础时,主要考虑到了Cloudera Impala具备以下几个优势:较好的代码范、模块清晰、容易定制、比Hadoop的速度更快、分布式的执行树等。

接着,他从前端、后端等方面对Camaro进行了介绍,并给出了Camaro性能、索引、多用户查询等方面的数据。最后,他为大家带来了Camaro的未来功能展望,如Yarn集成、UDF等,值得期待。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博@CSDN云计算

你未必知道的CSS故事:揭开leading的面纱 2013年 影响Web发展的5类API 《Warcraft是怎样炼成的》:多人对战、战争迷雾以及AI HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践 苹果iTV规格泄露:iOS应用开发的新蓝海 Facebook觊觎微信鼻祖WhatsApp,但谈不上收购 首款社交API应用 Facebook Messenger for Firefox正式上线! 共享软件海外营销策略与实战分析(沈阳站)成功落幕 移动之伤:为什么山寨游戏比原创更火? IBM在京发布PureData 主打数据交易处理、操作分析 Intel发布Hadoop免费版 全力拓展生态圈 突出图片搜索:微软向测试人员开放Socl社交搜索 豌豆荚创始人:和巨头竞争,我们拼产品和技术 “互联网女皇”报告解读:智能电视大趋势 苹果扩大其北卡罗莱纳州燃料电池发电场规模 Oracle回收站使用全攻略 微软这次很诚实:IE真的糟透了 Facebook进军短信业务,挑战微信鼻祖WhatsApp 从菜鸟到专家的五步编程语言学习法 亚马逊企业文化:从书贩到云服务巨头的催化剂 明年Google I/O大会日程敲定 或发Android“酸橙派”? 绝境求生,WebOS寄望Android Facebook在移动路上走过的那些弯路 曙光聂华:推动数据融合 CloudStack Committer李学辉:2013年社区将爆发 继续霸权:美众院否决联合国掌控互联网 墨迹天气创始人金犁:巧用细分市场的力量 Windows 8的IE10在浏览器安全测试中独占鳌头 程序员如何做出“不难看”的设计 JDK6明年2月停止更新,甲骨文呼吁尽快升级至7 《时代》评选年度十大视频游戏,激战2居首 怎么在Gtk+的gnomemessagebox显示中文? (在线等待,急!)在vc中怎么使用datagrid控件 我使用的是odbc访问数据库 好急的问题,有关于SMS的接收字符处理问题,想了好几天没有结果 那位兄弟手头上有ASP.NET高级编程的电子书? DataGrid 控件问题,帮帮我把,朋友! automount? 一个比较难的问题! 关于datagrid的问题 在线等待 在cmd编辑器中用java运行已编译的文件运行不成功怎样解决 各位帮我解决一下这个问题!!!谢谢 关于ResourceManager的疑惑? 两台机器无法访问? 大家有没有听说过zebudom.js这个javascript的API?请问哪里可以下载它? 模块的连接 如何用php开发一个在线语音聊天室? 请问:有谁能提供Microsoft Project 2002简体中文专业版下载地址????急用!!!!!! 《The C++ Programming Language》有没有中译版? 请高手帮我看看: session的范围 硬件加、解密卡合作 请问那里能下到C或者C++的编译环境? 我的网页做好了,在我自己的机子上显示的很好看,在别的机子上有的显示的和在我的机子上显示的一样,很不错,但在有些机子上显示就变形了 怎样在文件中查找指定的字串? 为什么这两个查询都不能运行呢? 请教有关比对数据库的思路 运行结果出错!!!!!!!!!! google主页的问题(在线) (在线等待,急!)对话框中画图,超过了对话框大小,但是滚动条不能用 jbuilder7+jboss的配置问题? 求教:用UML做分析设计工具、用JAVA开发的一个办公管理系统的详细时间节点计划书。 數據庫數據顯示問題///急,在線等!!!!!個位幫幫忙? 讨论一下,eregi和strpos 为什么这两个查询都不能运行呢? 集成多文件夹操作窗口的软件有吗?有的请发QQ;6138215 怎么获得checkbox组中被选中的部分? sybase表中有没有自动编号的字段啊? 问一个很菜的问题?(在线等……) DOMINO的B/S开发:如何自动更新一页面中的多分类新闻标题AS WWW。WXRB。COM 如何用一根电话线让两台电脑同时上网 急!!“SQLserver不存在或访问被拒绝”怎末回事? 有没有防止关于用户未经登陆,直接访问的好办法,和思想?仁者见仁! 请问芯片的封装主要有哪几种? servlet问题 关于数据库的问题? URL,HTTP含义是什么? oracle8.17安装好后,无法使用!!!俺只有50分??? 请问高手关于发布的问题 兄弟们,帮我测一下论坛的反应速度 关于水晶报表的问题,请指教. 如何设计一个温度采集系统? 麻烦大家看下本世纪最难的物理题帮帮着急的人吧, 1.汽车从A地开往B地,共用了两小时,第1小时中行驶80千米,第2小时中运行了60千米,两种情况中平均速度各多大?在总的过程中的平均速度多大?2.高速路上为了避免发生汽车追尾事故,有关部门在公 help!China will be_______the 2008 Olympic Games.A.hosting B.host C.a host D.hosted 题中是will be有了be是不是B就选不了?改选什么啊?意思是什么? 关于六国论的的课文 若你依靠一根指南针导航,当你到达地球某区域时,那儿远离城市,没有电磁干扰迹象,发现水平放置的指南针失去了指向性.但是若将指南针竖直放置,发现指南针静止时N极总指向地面.那么你能 初三的一元二次方程你可以帮下我吗? 水下地形图的意思 大家帮看看物理物理问题问题有点着急了啊,本人先在此感谢各位朋友2a 这个成语盲人什么阿 求梦寐以求和功成名就的意思,必采纳 六国论原文 问几道物理题,我着急!1 用长为90cm,能承受最大拉力为10N的细绳,上端固定在天花板上,下端系一个m = 0.5kg的小球,静止在空中,今给球施加一个水平冲量后,悬绳即刻挣断,试求:此水平冲量至少为多 急流通退,功成名就的意思是什么呢? 标准原文准确的原文, 于谦两袖清风的故事一定加标点,和段意. 功成名就的解释 六国论 原文 翻译 妈妈正在上班 英文 35、6岁的人最想的是什么? 以“六国论”写片文章!以六国论写片文章,文体不限,字数200左右就可以了!谈论下六国是怎么灭亡的!要群面阐述!超不200字也没关系! 先在此谢过了 画出你想象中的海边美景怎么画 功成名就的意思是什么? 问下物理问题!在线等了,本人先在此谢谢大家5Q 窃读记窃读指什么 成语什么于途 SQE是什么意思啊? 窃读记,窃表现在哪 成语什么途? PE和SQE分别代表什么? 古人的书信具体有哪几种形式 道()途()的成语有哪些 SQD和SQE的区别是什么啊? 功成名就的‘就’是什么意思? 填成语()()于途? sqa和qa的区别 七一红色瑞金的由来 成语:日()途() SQE是什么的英文缩写 图书馆 磁条图书馆里的书除了反面右下角的条形码,还有就是书的第一或第二叶人工贴的条形码(也就是如果你要借的话,工作人员会用东西把这个人工贴的条形码照一下).把这个人工贴的条 给家乡孩子的一封信 你如何理解一心为自己,一身为自己的人这句话 于丹论语心得《论语微子》 不假思索和功成名就的意思 请问下有人知道物理问题,紧急j谁知道 非常谢谢大伙了7GN 我忍无可忍的青春是一本什么样的书 《海滨仲夏夜》作者描写月下的海滩时重点写了什么?表达了作者怎样的思想感情? 紧急有人了解的告诉下哟, help me1.(Thanksgiving)Day is my favourite festival.[对打括号的部分提问]2.I’ve got lots of stamps from China.(改成一般疑问句) 3.These stamps are forom (Canada).[对打括号的部分提问]4.we can see the Dragon Boat race on Dr 老( )识途!填成语 请问有谁知道物理题目n有会的人说下嘛,感谢你们了5Yq C7H14的同分异构体这些的结构简式要一一对应的急 补充成语,汗〈〉充栋 有538箱鲜奶,每辆货车一次运62箱,每次大约需要多少辆这样的货车? C7H14有多少同分异构体,为什么我写出来40种 什么什么识途的成语 于丹论语心得后面的原文全吗 C7H14的同分异构体怎么找啊(别直接说答案,我要的是方法) 麻烦给看下这两个物理题好吗~ 《沁园春·雪》中用“北国风光,千里冰封,万里雪飘”的词句来描述雪景,形成这种自然景象的主要物态変化是( C7H14的同分异构体有哪些? 报告称降低儿童死亡率尼日尔最成功 中记者追问医改网站故障 白宫发言人犯难美国会圆顶1300多条裂缝 50年最酝酿八旬六连任 麦凯恩欲2016年竞希腊女童疑曾遭拐卖 美国夫妻认为是其俄国防部长23日将出席俄罗斯-北约理德媒称俄前首富霍多尔科夫斯基难获释 联合国难民署加紧向300万叙民众提供联合国称巴以局势动态令人忧虑 吁各方欧洲太空望远镜将发射 能预测行星是否澳大利亚总督布赖斯访问成都 与大熊猫韩外交部可容忍同时标记独岛和竹岛 议叙反对派将于下月初决定是否参加叙问题日本邀国际原子能机构查核污染 称邻国波士顿爆炸案已死嫌犯或曾参加2011波士顿爆炸案已死嫌犯或曾参加2011美情报局局长:有关美国窃听法国电话报美情报局局长:有关美国窃听法国电话报韩国称重启金刚山旅游需首先保障游客安青岛回应“经适房窗户是画的”:装饰性美俄官员将会晤联合国特使 助推叙问题售10.98万元 北京现代领动增1.售8.88-9.68万元 哈弗H2舒售8.88-9.68万元 哈弗H2舒它们不说并不代表没有~来扒一扒德系大它们不说并不代表没有~来扒一扒德系大这些浓烈又充满未知的吻,告诉你战争时这些浓烈又充满未知的吻,告诉你战争时日本经济这么肥,原来跟中国有很大关系美元欧元争霸 逼近平价究竟何处是底API利空,重点关注晚间EIA数据!5.18油价为何屡涨不跌 沥青操作建预计8万元 悦动家悦版或于5月23日预计8万元 悦动家悦版或于5月23日预售36-52万元 曝2017款沃尔预售36-52万元 曝2017款沃尔有沟必火,有前途啊小朋友?有沟必火,有前途啊小朋友?天空体育:西汉姆小将拒绝续约天空体育:西汉姆小将拒绝续约大屏才够爽 七款主流超清大屏电视推荐妈妈再也不担心了 能关掉经痛的智能穿
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘