说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

挑战和机遇并存:大数据时代机器学习与可视化

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的上午时段,众多专家围绕大数据时代的机器学习、数据可视化、磁盘故障预测、DataMPI、Camaro等主题展开了分享与讨论。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


主持人:百度大数据首席架构师林仕鼎

在2013中国大数据技术大会第二天的“大数据技术”专题论坛的上午会议时段,分别由百度系统部资深系统研发工程师胡殿明、浙江大学教授何晓飞、北京大学“百人计划”研究员袁晓如、俄亥俄州立大学博士后研究员鲁小亿、秒针技术经理刘诚忠为我们带来了精彩演讲。上午会议由百度大数据首席架构师林仕鼎主持,他看到现场火爆程度之后,表示对大数据技术推广的前景非常看好。

胡殿明:基于大数据的硬盘故障预测


 百度系统部资深系统研发工程师 胡殿明

在上午场的第一个演讲中,胡殿明指出MTTR在很大程度上决定了存储系统的可靠性,而硬件规格、置换数据放置策略、故障规模资源可用量等是MTTR的重要影响因素。接着,他分析了常见的故障源,指出大数据时代,硬盘在硬件中的比重增大,故障及恢复开销也更加严重,并重点对磁盘故障、三副本与纠删码之间的对比进行了详细讲解。

在磁盘故障预警背景分享中,他主要分享了提升系统可靠性、提升系统可用性及提升运维效率三点,并给出了应用磁盘故障预警的实验数据。他强调,磁盘故障预警在实际应用中,不仅要覆盖全部厂商和型号,还需要支持全部的IDC环境和业务集群,更要严格地标注样本、特征表示和稀疏化及在线自动迭代。最后,他指出基于磁盘故障预警的预修复编码和数据分级存储,可以有效提升集群的可用性与可靠性。

何晓飞:机器学习与大数据


浙江大学教授 何晓飞

第二个演讲者何晓飞带领大家一起回顾了传统机器学习的发展历程,并以人脸识别、社交网络的推荐系统等具体应用对比了传统机器学习与大数据时代机器学习的区别。在大数据时代,人脸识别可以提取更多网页信息,并可以给予结构化显示。他指出,大数据时代机器学习的主要特点——原先各种独立的技术领域将融合在一起。同时,他还分享了大数据时代会带来隐私安全问题。

期间,他分析了深度学习在大数据时代存在的问题:算法方面,面临训练耗时、调参复杂的困难;计算方面,遭遇分布式困难;硬件方面,面临GPU稳定性较差等问题。

他重点突出了大数据时代在线学习的重要性,分析了当前在线学习方法在大数据时代存在的缺点,针对非线性方法提出了具有上界的稀疏在线学习方法。最后,他针对大数据时代精确最近邻检索复杂度太高的问题,着重强调了近似最近邻检索的重要性,解释了传统哈希索引存在的问题及对应的解决方法。

袁晓如:大数据时代可视化和可视分析的机遇与挑战


北京大学“百人计划”研究员 袁晓如

随后进行分享的是袁晓如,演讲之初,他为大家介绍了“大数据”与“可视化”的内涵,特别指出信息图是与可视化不一样的,可视化是对事物建立心理模型或心理图像的过程,需要更多对数据的分析与处理。

他结合生动的案例带领大家一起分析了可视化在大数据时代面临的挑战,主要有:

  • 可感知性(以北京出租GPS和某地点周边交通为例)
  • 可扩展性
  • 交互性
  • 从用户角度出发的可扩展性
  • 可视化系统发展

他认为,可视化是一个数据总结、挖掘、返回原数据的过程,是一个从整体到局部的过程,可以帮助了解世界是如何运行的。最后,他重点强调,目前中国仍然缺乏大数据可视化方面的专家人才,与美国等国家的差距很大,虽然越来越多的公司关注数据可视化,但仍待深入。

鲁小亿:Extending MPI to Big Data Computing: Challengesand Benefits of DataMPI


俄亥俄州立大学博士后研究员、DataMPI开源项目负责人 鲁小亿

鲁小亿进行了上午场的第四个分享,首先对Hadoop中的通信协议进行了总结,接着对当前MPI的现状进行了介绍,指出高性能、可移植性对于大数据的必要性。他也总结了目前MPI扩展到大数据面临几大问题,如:相比Hadoop代码量很大,同时不具备较强的可扩展性;编程上如通信协议、核心数据结构等都面临着较大困难等。

接着,从DataMPI架构设计、MPIDrun、Profile、Core等方面对DataMPI的实现进行了详细讲解,并用实验数据介绍了DataMPI项目在排序、任务进程和GPU处理、扩展性、性能等方面来的效率提升,如在WordCount和排序方面,相对Hadoop约有40%的性能提升。

刘诚忠:Camaro DB–Yet another MPP Database hacking fromCloudera Impala


秒针技术经理 刘诚忠

他为我们解释了秒针关注大数据的原因,及其对大数据的探索。他介绍说,当初选择Cloudera Impala作为项目Camaro开发的基础时,主要考虑到了Cloudera Impala具备以下几个优势:较好的代码范、模块清晰、容易定制、比Hadoop的速度更快、分布式的执行树等。

接着,他从前端、后端等方面对Camaro进行了介绍,并给出了Camaro性能、索引、多用户查询等方面的数据。最后,他为大家带来了Camaro的未来功能展望,如Yarn集成、UDF等,值得期待。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博@CSDN云计算

如何基于Vert.x实现远程调用? Go 1.5如期发布,完全告别C代码 Rust一周集锦(三):关闭3个RFC并为1.4版本做准备 【CTO讲堂】多备份创始人陈元强:在线灾备革命背后的事 探索React:组件间通信过程解析 机智云完成2亿元B轮融资 将围绕信息安全与机器学习创建“机智云联合实验室” 【CTO讲堂】深度?广度?浅析技术人员的职业发展之路 详解React Flux架构工作方式 专访Tiny框架创始人悠然:好的软件设计是“品”出来的 开发移动应用的7大设计要点 历时一年半 现代Web框架Phoenix 1.0正式发布 【七问七答】对话Erlang核心成员Eric Merritt 分布式文档数据库MongoDB开发版本3.1.7发布 年末巨献!SDCC 2015中国软件开发者嘉年华全面开启 Qualcomm中国2015高峰论坛:新品牌与5G技术展望 福利!MDCC 2015 免费展位等你来申请! 《近匠》Gamegou:多些坚持,瞄准海外的小团队也有春天 细说JavaScript异步函数发展历程 YoMail创始人Albert Yang:我与Email交织的程序人生 TIOBE 2015年9月编程语言排行榜:时髦语言Rust进前50 50张999元限量特惠票!SDCC2015软件开发嘉年华 首批讲师名单公布 百度安全:XcodeGhost大爆发可能只是冰山一角 北京市计算中心云计算转型:缘定OpenStack MDCC 2015移动开发者大会 八大技术专场首批议题剧透 Apple TV指南:从零开始用Swift开发个tvOS应用 React Native、开源:MDCC平台与技术Android专场全揭秘! 相约MDCC 2015 首批免费展位破茧而出 MDCC 2015召开在即,平台与技术iOS专场大咖来了! 一个iOS开发者对tvOS SDK的初探 前Twitter iOS技术团队负责人:使用第三方库的四大准则 【SDCC讲师专访】巨杉数据库创始人兼CTO王涛:SequoiaDB为何要开源? 技术的挑战,在线等待 有关csdn的一个小的问题? 显示模式的设置 怎么样删除在DATAGRID中选定的行? 如何自动滚动edit控件多行显示时的文字 win2000系统关闭后但不会自动断电源 寻找资料,请帮忙 难啊 统计数据 求:做得漂亮的学校主页 麻烦看一下下面的代码 C#和C++builder比各有什么优缺点?哪一个更灵活更稳定?C#和C++哪个好? bug管理工具有没有web方式的? cs文件中,如何获取confirm对话框的返回值? 如何将jpg的图片加入到sql server 的 image类型的字段中阿,使用ado 配置了win2000的服务器 兄弟们。我在JAVA区竟然得不到答案。只能期望在这里找到帮助了(共200分的问题) 在ACCESS中设置数据表,如何实现数据库中多表间的关联访问,用VC的DAO实现 ORA-12560: TNS:协议适配器错误 vb+asp.net中的datagrid分页遇到问题?附代码 改了IIS账户的密码,ASP不能运行,但原先的密码不记得了!现在要修改什么文件才可以? 为什么反向工程失败? 关于ER图的做法 窗口最大化、最小化问题 本站提供能成为QQ会员的QQ代理,快来~~~ 请帮个忙好吗? 硬盘保护的问题 轻轻地温柔地任人宰割 小程序一个,很简单的,但是这样的问题经常遇到的 关于交换区的问题 d7的序列号码 刚做好的编程技术文章系统,欢迎来翻阅技术文章. ★★★★★ 那位高手有这样的好东东。。。 ★★★★★ 最近流行什么歌? PHP新手: 给一篇在Windows2000环境下PHP的安装,及apache的配置的文章,来者有分 怎么给MM送花 在哪儿下载<WINDOWS 程序设计>? HELP ME!关于TCP/IP传输位图的问题. 刚做好的编程技术文章系统,欢迎来翻阅技术文章. 刚做好的编程技术文章系统,欢迎来翻阅技术文章. 请问怎么在对一个设备发送数据的时候又接受这个设备返回的返回码呢? C++ builder的密码! 如何使用微软自带的扑克牌动态库(crads.dll)? 哪里可以得到teechart pro5? 刚做好的编程技术文章系统,欢迎来翻阅技术文章. 大哥好,我向大家要个数据库,高分求救 这是条什么内存??? 怎样改变上传附件“浏览”按钮的颜色? 请问怎样显示动态的时间? 如何理解? JBuilder 7中如何增加一个Server I've tried my best to make you see 而应该这么回答呢 《送友人》中李白哪句诗说明了与朋友依依不舍?在最后两句中! i saw him ____ the supermarket just nowA,go b,come c,enter d,arrive I tried my best to make the baby __.A.not to cry B.to not cry C.not cry Ddoesn't cry. we can fly kites seven years ago. 我相信你有能力做好那份工作 I believe you ___ ____ ____ ____ ____ the job well. 6.Mary _______ be at home.I saw her in the building just now.A mustn’t.B.needn’t C.can’t为什么是C,不是A吗 I can fly kites when I was seven years old 改错 i believe you什么意思 26.Mary _______ be at home.I saw her in the library just now.A.mustn’t B.needn’t31.It may be more of a suggestion than an invitation.A这样或许比起邀请,有更多的建议.B这样或许邀请比建议更多.C这样说更像是建议,而不 送友人(李白) 那一句让我们体会到朋友之间的真情.那 浮云游子意 落日故人情 呢 我们考试很多人都写这个的阿.那正确答案到底是什么? 技术创新对产业产业组织结构的变化有什么影响?有点急,谁知道我给加分. Henry ( ) be at home because he phoned me from the farm just now.a.mustn't b.isn't able toc may not d can't 为什么不选c,意思不是有可能吗? 造句:I've just. 如何评价上海产业结构发生的变化?评价的理由是什么?速 如何评价上海产业结构发生的变化?评价的理由是什么?速 我不禁想用_____、______等成语来形容母校谁先回答追问给谁满意答案 急需100字初1暑假日记速度15篇啊 记得不要跟网上的一样否则我不会要的!! 阐述人类需求如何对三次产业结构的变化产生影响 表达对母校老师的感情用哪个成语 People usually hate mice,but people almost all over the world like one mouse----- the famous Mickey Mouse.Fifty years ago,most films had no sounds.A man called Walt Disney made a cartoon mouse.The cartoon mouse could talk in these films.He named his People eat hamburgers and hot dogs all over the world.翻译成中文 he( )not be there.I saw him in you home just now 本人的女儿急需一篇关于茉莉花的描写的作文.字数在500字左右. 钓一条鱼中译英钓是fish吗? just now 和 just 的区别 "六级568,BEC中级A,BEC高级B" 请我这种情况,考口译可以直接考二级口译吗,我怕浪费钱!”尤其是内行的哥哥姐姐们, 组句:eat,hot dogs,all,people,hamburgers,the,over,and,world如题. 狼王梦是谁写的 茉莉如何描写 1 usually,food,people,with,cut,knife,the.2 all,the,hamburgers,people,eat,over,world.3 please,I,may,a,spoon,have?4 wipe,please,mouth,your.连词成句 狼王梦是谁写的我还不知道呢 when i saw him,he was doing his homework in the classroom 同义句I saw —— ——his homework in the classroom 连词成句:the,Chinese,spring,over,people,all,world,enjoy,festival拜托了各位 谢谢 狼王梦谁写的 The book was read by many people all over the world请高手翻译全句.词组写下来本人总是看不同顺.all over the world。all over Yesterday the police were joinedby more than 20 volunteers有关阅读理解 《狼王梦》是谁写的 i,was,just,now,doing,homework Yesterday the police were joined by more than 20 volunteers in the continuin 狼王梦主要写了什么,急你是抄的吧 I helped him _____ his homework.A.doing B.do C.did D.does Yesterday the police were joined by more than 20 volunteers in the continuing search for the two missing teenagers,Vicky Gray and Tom Hunter,and their guide,Gavin Jones.The police said that they had disappeared during an adventure tour of Cape York P I can fly kites seven years ago.did you saw him just now?改正错句 上海居民用电价格第一档用完还有电吗 Believe that you可以变成Believe you么 小苏打的妙用 小苏打在生活中有什么妙用呢?最好科学一点,要有科学根据. 心经里的“是诸法空相”有什么含义? 我国人口环境变化有哪些主要趋势?(市场营销学问题) 有读《狼王梦》后感的文章? 改错:1 I can fiy kites seven years ago 2 Did you saw him just now?3 Who find it just now? I have a very h. life, h.填什么单词?是初一下What time do you go to school的知识,谢谢了! A:---the children ---(help) Grandma Li now?B:Yes,it's Saturday afternoon.The chlidrenalways ---(go) to Grandma's house on Saturday.A:What --- they usually ---(do) there?B:They ---(clean) the house and ----(wash) her clothes. 古诗阅读 送友人 【送友人】李白 【诗的内容我就不说了,抓紧时间啊】这是一首送别诗,送别的地点是______.请简要描绘送别地的景致答:________________.本诗“挥手自兹去,萧萧班马鸣”主要表 I have a very h.life,h.是什么单词,是初一下What time do you go to school 的 let ^s make it at 5 o^clock in the afternoon.这句话对吗at 要不要省略 小苏打在生活中叫什么?小苏打和见面一样吗? I believe you 是我相信你说的话 我相信你这个人 怎么说如题 也是I..you The scientist tried his best to make his view understood.这里的understood做什么成分? I can fly kites seven years ago.这句话错在哪里?为什么 我相信你说的话.I __________what you said.是填 believe 还是 believe in?为什么?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘