说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

挑战和机遇并存:大数据时代机器学习与可视化

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的上午时段,众多专家围绕大数据时代的机器学习、数据可视化、磁盘故障预测、DataMPI、Camaro等主题展开了分享与讨论。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


主持人:百度大数据首席架构师林仕鼎

在2013中国大数据技术大会第二天的“大数据技术”专题论坛的上午会议时段,分别由百度系统部资深系统研发工程师胡殿明、浙江大学教授何晓飞、北京大学“百人计划”研究员袁晓如、俄亥俄州立大学博士后研究员鲁小亿、秒针技术经理刘诚忠为我们带来了精彩演讲。上午会议由百度大数据首席架构师林仕鼎主持,他看到现场火爆程度之后,表示对大数据技术推广的前景非常看好。

胡殿明:基于大数据的硬盘故障预测


 百度系统部资深系统研发工程师 胡殿明

在上午场的第一个演讲中,胡殿明指出MTTR在很大程度上决定了存储系统的可靠性,而硬件规格、置换数据放置策略、故障规模资源可用量等是MTTR的重要影响因素。接着,他分析了常见的故障源,指出大数据时代,硬盘在硬件中的比重增大,故障及恢复开销也更加严重,并重点对磁盘故障、三副本与纠删码之间的对比进行了详细讲解。

在磁盘故障预警背景分享中,他主要分享了提升系统可靠性、提升系统可用性及提升运维效率三点,并给出了应用磁盘故障预警的实验数据。他强调,磁盘故障预警在实际应用中,不仅要覆盖全部厂商和型号,还需要支持全部的IDC环境和业务集群,更要严格地标注样本、特征表示和稀疏化及在线自动迭代。最后,他指出基于磁盘故障预警的预修复编码和数据分级存储,可以有效提升集群的可用性与可靠性。

何晓飞:机器学习与大数据


浙江大学教授 何晓飞

第二个演讲者何晓飞带领大家一起回顾了传统机器学习的发展历程,并以人脸识别、社交网络的推荐系统等具体应用对比了传统机器学习与大数据时代机器学习的区别。在大数据时代,人脸识别可以提取更多网页信息,并可以给予结构化显示。他指出,大数据时代机器学习的主要特点——原先各种独立的技术领域将融合在一起。同时,他还分享了大数据时代会带来隐私安全问题。

期间,他分析了深度学习在大数据时代存在的问题:算法方面,面临训练耗时、调参复杂的困难;计算方面,遭遇分布式困难;硬件方面,面临GPU稳定性较差等问题。

他重点突出了大数据时代在线学习的重要性,分析了当前在线学习方法在大数据时代存在的缺点,针对非线性方法提出了具有上界的稀疏在线学习方法。最后,他针对大数据时代精确最近邻检索复杂度太高的问题,着重强调了近似最近邻检索的重要性,解释了传统哈希索引存在的问题及对应的解决方法。

袁晓如:大数据时代可视化和可视分析的机遇与挑战


北京大学“百人计划”研究员 袁晓如

随后进行分享的是袁晓如,演讲之初,他为大家介绍了“大数据”与“可视化”的内涵,特别指出信息图是与可视化不一样的,可视化是对事物建立心理模型或心理图像的过程,需要更多对数据的分析与处理。

他结合生动的案例带领大家一起分析了可视化在大数据时代面临的挑战,主要有:

  • 可感知性(以北京出租GPS和某地点周边交通为例)
  • 可扩展性
  • 交互性
  • 从用户角度出发的可扩展性
  • 可视化系统发展

他认为,可视化是一个数据总结、挖掘、返回原数据的过程,是一个从整体到局部的过程,可以帮助了解世界是如何运行的。最后,他重点强调,目前中国仍然缺乏大数据可视化方面的专家人才,与美国等国家的差距很大,虽然越来越多的公司关注数据可视化,但仍待深入。

鲁小亿:Extending MPI to Big Data Computing: Challengesand Benefits of DataMPI


俄亥俄州立大学博士后研究员、DataMPI开源项目负责人 鲁小亿

鲁小亿进行了上午场的第四个分享,首先对Hadoop中的通信协议进行了总结,接着对当前MPI的现状进行了介绍,指出高性能、可移植性对于大数据的必要性。他也总结了目前MPI扩展到大数据面临几大问题,如:相比Hadoop代码量很大,同时不具备较强的可扩展性;编程上如通信协议、核心数据结构等都面临着较大困难等。

接着,从DataMPI架构设计、MPIDrun、Profile、Core等方面对DataMPI的实现进行了详细讲解,并用实验数据介绍了DataMPI项目在排序、任务进程和GPU处理、扩展性、性能等方面来的效率提升,如在WordCount和排序方面,相对Hadoop约有40%的性能提升。

刘诚忠:Camaro DB–Yet another MPP Database hacking fromCloudera Impala


秒针技术经理 刘诚忠

他为我们解释了秒针关注大数据的原因,及其对大数据的探索。他介绍说,当初选择Cloudera Impala作为项目Camaro开发的基础时,主要考虑到了Cloudera Impala具备以下几个优势:较好的代码范、模块清晰、容易定制、比Hadoop的速度更快、分布式的执行树等。

接着,他从前端、后端等方面对Camaro进行了介绍,并给出了Camaro性能、索引、多用户查询等方面的数据。最后,他为大家带来了Camaro的未来功能展望,如Yarn集成、UDF等,值得期待。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博@CSDN云计算

电池革命:超级充电器来袭,30秒为手机充满电 风雨13载,Windows XP今起正式退役 向Facebook看齐,Twitter收购Android屏幕待机应用开发商Cover 绝对的超现实!Jaunt打造360°全景VR电影 Unite China 2014课程解析:行业解决方案专场免费开放 Manhattan,Twitter规模的实时、多租户分布式数据库 Ceph浅析(中):结构、工作原理及流程 孙元浩:基于Spark引擎的高速内存分析和挖掘工具应用 腾讯私有云背后的团队,品高要做企业云计算的产品经理 撼动企业应用架构的十大技术趋势 Airbnb的管理之道:产品设计的点评策略与技巧 Windows 8.1 Update 1的下载地址和八点须知 《近匠》棱镜:手游渠道SDK平台的技术历程 OpenSSL究竟为何物,为何它的影响力如此之大? Redis大冒险:如何跳出SQL这个坑 【走近院士】张尧学:基于透明计算的云操作系统 微软转型之路:从Build 2014开始 大势所趋 HTML5成Web开发者最关心的技术 从火种到核心,浅析Hadoop大数据用户的演变 搭建高可用的MongoDB集群(上):MongoDB的配置与副本集 软硬件协同创新,共建未来数据中心 优秀Unix管理员的七个习惯 2014Unity亚洲开发者大会倒计时 干货内容日程汇总 TIOBE 2014年4月编程语言排行榜:Perl跌至历史最低点 Hadoop集群环境下网络架构的设计与优化 CloudFoundry架构优化:NATS集群化方案 Dropbox推独立应用,公司估值已达100亿美元 【走近院士】梅宏:云计算时代软件技术发展需求和挑战 云计算战争:OpenStack vs. VMware Cortana与Siri、Google Now的较量:支持功能更多 代码面试最常用的10大算法 *.chm文件能作在线帮助吗?在窗体的helpfile、和helpcontext如何设置??? 如何根据列名用object来取出字段,急!!!! 关于箭头在数据窗口移动的问题? 再问个菜鸟问题,showmodaldialog的title怎样控制 javascript中如何取整? ALT和MFC的区别是什么?? 试用DELPHI6,BUG太多了! 我是新手,请问在delphi5中如何建库(orcle和sybase)? 问一个比较弱智的问题 js文件里如何使用另一个js文件里的函数30? 哪位大虾知道可以在哪里下载mpeg-1的codec,谁先告诉有效地址谁先得分!(不给分是小狗!) 可能很菜的问题,送分的问题!! 一个关于CDaoTableDefInfo的问题 ado的问题??求救!!!高分!!! 有关代码重用的问题,对Form的继承。 一个关于CString.Format的问题 学习编程时学图算法怎么学好? 一个很简单的CREATE TABLE语句为什么出错呢?向大家请教! jbuilder5运行需要最低配置 ,傻傻的问 Delphi6的盗版已经到了@_@ 喂,为什么我提问只能给最多37分,原先可比这要多的多 一个关于派生类的问题 关于页面关闭的问题 用new JTalbe(10, 20)创建了一个table,如何设置该table列(column)的宽度 请教一个关于用VC6开发outlook\exchange的问题。急!急! 时间服务器 请问一下,用DBM,如果用户注册的数量多了以后,程序的速度很一般的文本速度比较哪个快 纯数学问题:如何求模逆元? VB中实现进程间通信的方法?VB中的CallWindowProc的用法?VB中如何发送自定义的消息? 请问哪里能免费下载BCB5?下载多长时间没有关系,只要能够正确使用就可以了。 怎样得知CListCtrl中当前选项? 我想从WINME中自带的一个驱动程序提取出来在WIN97中安装,请问应如何做? 菜问题(2) 请教:为何数据库数据无法在网页上显示? CEditView 一定要override onChange function(ON_CONTROL_REFLECT(EN_CHANGE, OnChange))????;否则input 时不我待会错??? 请教:不通过页面,用VB如何得知来访者的IP? 如何将vcd转化为real的格式???????????急!!!!!!!!!!!!!! 对DMO播放内存MPEG2数据没有头绪,谁能给点提示? 支持bestbestbest!!!!!!!!!!!! 如何在win98下使用EJB? applet 可以打开到一个server的socket么 谁知道国内哪有下载jdk1.4,Thanks! 如何配置For Oracle8i 的ODBC? 请教如何动态改变窗口大小 弟兄们救命啊!!!rational rose中mdl的导出 Jbuilder5.rar的密码? 这条语句为何通不过?请指教! 各位大虾:一个WWW服务器,不通过页面,要得到访问者的IP怎么办? 劳改犯严正声明:支持3B、蝈蝈的正确领导,声讨"捣蛋杂碎"及"跳梁小丑".坚决维护水园的安定团结. 哪位高手能给我解释一下,关于Hook技术,谢谢 pcb板什么什么东东? 学校开展“爱心捐款”,六年级同学捐款1485元五年级同学捐款的钱数比六年级少五分之一,五年级捐款多少元 在一条公路的两侧栽树,每隔5米栽一棵,公路的两端都有树,公路长400米,公路两侧一共要值几棵树? 绿色行动中,学校把560棵树苗按人数分给六年级3个班栽,一班47人,二班45人,三班48人.3个班各栽多少棵? 学校把360本科技书分配给甲、乙、丙三个班,甲班的2分之1等于乙班的3分之1,等于等于丙班的4分之1,甲、乙、丙三个班各分得多少本?要算式 在一条长25米的公路一边栽树,从一端起,每隔5米在一棵树,路两边都要载,一共载多少 一个鱼塘的周长是1500米,沿鱼塘周围每隔6米栽一棵杨树,需要种多少棵杨树? 七年级甲、乙、丙三个班分别想贫困地区的学生捐赠图书,已知这三个班级捐赠图书的册数为7:8:9.问(1)若三个班级捐赠图书捐赠图书2112册,试问这个三个班级各捐赠图书多少侧?(2)若甲、 一条公路长500米,在路的一边栽树,起点和终点都栽,一共栽了26棵树,平均每隔几米栽一棵? 一个圆形鱼塘的周长是1500米,沿鱼塘周围每隔6米栽一棵杨树,需要在多少棵杨树? 甲乙丙三位同学向贫困地区的少年儿童捐赠图书的册数之比是5;6;9,如果甲丙两位同学捐书册书的和是.甲乙丙三位同学向贫困地区的少年儿童捐赠图书的册数之比是5;6;9,如果甲丙两位同学捐书 一条路长525米,在路的一旁栽树,每隔5米一棵,两端都栽,一共需要栽多少棵树 一个圆形养鱼池的周长是150米,现在要在他的周围种上柳树,每隔6米栽一棵树,一用需要多少棵树? 甲、乙、丙三位同学向贫困地区的少年儿童捐赠图书,已知这三位同学捐赠图书册数的比是5:6:9.(1甲、乙、丙三位同学向贫困地区的少年儿童捐赠图书,已知这三位同学捐赠图书册数的比是5:6: 同学们给90米的小路一侧栽树,每隔3米栽一棵.如果两端都不栽树,一共需要多少棵树苗? 一个鱼塘的周长是1500米,沿鱼塘周长每隔6米载一棵杨树,需要载多少棵杨树? 光明小学在六一前开展了为贫困地区的“希望小学”捐赠图书的活动.六一节一大早,满载的图书汽车从校园出了.4小时过去了,校长打电话问随行的大队长,询问有没有到达,大队长说:我们4小 学校有一条长600米的小路,准备再小路的两旁栽树,每隔4米栽一棵,如果两端都栽树,共需要多少棵树苗? 在一个长方形鱼塘四周每隔4米栽一棵树,一共栽了120棵《四个角各在一棵》,这个鱼塘周长多少米? 光明小学在六一前开展了为贫困地区的希望小学捐赠图书的活动,61节一大早,满载着图书的汽车从校园出发了4小时过去了,校长拨通了随行大队辅导员的手机,询问有没有到达.大队辅导员说: 在一条长300米的公路两边栽树,每隔4米栽一棵,共栽多少棵 一个湖泊周长1800米,现在每隔6米栽一棵柳树,每两棵柳树之间栽一棵桃树.湖泊周围柳树和桃树各栽多少 六年级三个班共有120,六一班是六二班人数的百分之90,六三班是六二班人数百分之110.求这三个各有多少人? 在一条长20米的小路两旁栽树,每隔5米在一棵树,一共栽多少棵? 1个湖泊周长1800米,现在每隔6米栽1棵柳树,每2棵柳树之间栽1棵桃树.湖泊周围一共栽了多少棵柳树和多少棵桃树? 环保活动中六一班,六二班,六三班,捡塑料袋的比是5:3:4,六一班比六二班多拣了120个,六三班拣了多少 绿化队栽树第一天栽了120棵第二天栽了136棵这时已栽的棵树与剩下的棵树的比是4:9还剩多少没有栽(用比例解 在周长为8040米的大堤,堤上每隔8米栽柳树一棵,然后在相邻两棵柳树之间每隔2米栽桃树一棵,准备桃树几棵? 已知六一班和六二班共81人,六二班和六三班共83人,六三班和六四班共86人,六一班比六一班比六四班多2人,每班各有多少人 小芳小明小林共栽120棵树,其中小芳栽棵树是总棵树的一半,小林栽的棵数是其他三人栽的总棵数的3分之1小明栽的棵数是其他三人的4分之1小红栽几颗 池塘周长450米,沿池塘周围每隔3米栽一棵柳树,每两柳树中间栽一棵桃树,池塘周围各栽多少棵柳树和桃树 六一班比六二班多18人,六三班比六二班少2人,六一班与六二班的人数比是5:8,三个班各多少人 小明小芳走一段路,小明走的路程比小芳多5分之1,小芳用的时间比小明多8分之1,小明与小芳的速度之比是? 一湖泊周长1800米,沿湖泊周围每隔3米栽一棵柳树,每2棵柳树中间栽2棵桃树,湖泊周围栽柳树几棵?桃树几棵给下算式 六一班和六二班为四川地震的灾区共捐款8800元,已知六一班比六二班多捐20%,问两个班各捐多少元? 小红小明小芳在400米一圈的环形跑道上跑步.小红每分钟跑80米,小明每分钟跑120米,小芳每分钟跑140米,他他们三人同时在同一起点出发,小红和小明相反跑,几分钟后祥云?小明和小芳同一方向跑, 在某淡水湖四周筑成周长8040米的大提,提上每隔8米栽柳数一棵,然后在相邻两棵柳树之间每隔2米栽桃树一棵.应该准备柳树和桃树各多少棵/ 为地震灾区捐款,六一班捐款550元,六二捐款440元...接上——后来六二班王小明又捐了一些钱,这时六一和六二捐款数的比是11:9,王小明又捐了多少? 小明、小林、小芳共采集树种17千克.小明说:我采集了其中的2分之1.小林说:我采集了其中的3分之1.小芳说,我采集了其中的9分之1.已知这三个小朋友个采集的树种都是整千克数,问各采集树 在某淡水湖四周筑成周长为8040米的大堤,堤上每隔8米栽柳树一棵,然后在相邻两棵柳树之间每隔2米栽桃树一棵,应准备柳树和桃树各多少棵? 请用脱式计算下题:(1) 园林局为了绿化公路,在一段公路的两边每隔4米栽一棵树,一共栽树74棵,现在要改每隔6米栽一棵树.那么,不移栽的树有多少棵?(2)一台机器3小时耕地15公顷,照这样计算 小明与小芳各走一段路,小明走的路程比小芳多六分之一,小芳用的时间比小明少八分之一,小明小芳速度比 一个正方形水库的周长是1600米,在水库的周围每隔8米栽一棵柳树,每两棵柳树中间再载两棵白杨树共种多少树一个正方形水库的周长是1600米,在水库的周围每隔8米栽一棵柳树,每两棵柳树中间 园林局为了绿化公路,在一段公路的两旁每隔4米栽一棵树,一共栽树74棵,现在要改成每隔6米栽一棵树.那么,不移栽的树有多少? 沿着400米的环形跑道跑步,同时从同一地点出发,同向而行,小明每分钟跑300米,小方每分钟跑260米.经过多少分钟小明可以追上小方?那是相遇,这是追及 水库大坝是一个近似圆形,周长是2430米,每隔9米种柳树1棵,可种柳树多少棵?相邻两棵柳树之间每隔3米又种水库大坝是一个近似圆形,周长是2430米,每隔9米种柳树1棵,可种柳树多少棵?相邻 为防沙固土,市园林局沿着一条公路栽树第一棵栽在路的始端,以后每隔50米栽一棵树,要求在路的末端栽一棵,这样就缺少21课,如果每隔55米栽一棵,要求在路的末端栽一棵,这样只缺少1课树,求树 小明,小方两人在400米的环形跑道上练习跑步,小明每分钟跑300米,小杰每分钟跑230米.小明,小杰两人同时同出发,出发时,他们在同一点 问 小明几分钟追上小杰 如图在某一平地上,有一棵树高八米的大树,一棵高三米的小树,两树之间相距12米,今有一只小鸟在其中一棵树梢上,要飞到另一棵树的树梢上,问它飞行的最短距离是多少 为放沙固土,市园林局沿着一条公路栽树,第一棵栽在路的始端,以后每隔50米栽一棵树,要求在路的末端栽一棵树,这样就缺少21棵,如果每隔55米栽一棵,要求在路的末端栽一棵,这样只缺少1棵树.求 一条环形跑道长400米,小红练习骑自行车,平均每分钟骑550米,小明跑步,每分钟跑250米,两人同时同地出发.问:若两人同向而行经过多长时间首次相遇 在某一平地.有一棵高8米的树.在距离12米的地方有一棵小树.问两树尖相距多少米(解法) 在爱心捐款活动中,昆明小学四年级捐款180元比五年级烧捐125元, 在一段公路的两边每隔4米栽一棵树,一共栽树74棵,现在要改每隔6米载一棵树.那么,不栽的树有多少棵?帮帮我吧~教科书的答案是26棵,不知你们怎样做~~~~谢谢!不是不栽,而是不移栽~~~~~sorry~~~拜 小红小明小芳在400米一圈的环形跑道上跑步小红每分钟跑80米小明没分钟跑120米小芳每分钟跑140米他们三人同时一起点出发小红和小明相反跑几分钟后再次相遇?小明和小芳同一方向跑,几分钟 在献爱心捐款活动中,爱心小学四年级捐款220元,比五年级少捐25%, 公路两边栽树,每隔4米栽一棵,共栽74棵,现改成每隔6米栽一棵,那么不要移栽的树有多少棵? 小明和小亮沿400米长的环形跑道跑步,他们从某处同时出发,如果同向而行,那么经过200s小明追上小亮,如果背向而行,那么经过40s两人相遇,求两人的跑步速度.最好用二元一次方程解 在献爱心捐款活动中光明小学四年级捐献180元五年级比四年级少捐献了百分之25四五年级一共捐了多少元 在一条长300米的公路两旁栽树,每隔4米栽1棵(两头都栽),一共要栽多少棵树 学校把栽70棵树的任务,按照六年接三个班的人数分配给各班,一班有46,二班有44人,三班有50人.求三个班给应栽多少棵树是求3个班各栽多少棵树
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn