说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

挑战和机遇并存:大数据时代机器学习与可视化

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的上午时段,众多专家围绕大数据时代的机器学习、数据可视化、磁盘故障预测、DataMPI、Camaro等主题展开了分享与讨论。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


主持人:百度大数据首席架构师林仕鼎

在2013中国大数据技术大会第二天的“大数据技术”专题论坛的上午会议时段,分别由百度系统部资深系统研发工程师胡殿明、浙江大学教授何晓飞、北京大学“百人计划”研究员袁晓如、俄亥俄州立大学博士后研究员鲁小亿、秒针技术经理刘诚忠为我们带来了精彩演讲。上午会议由百度大数据首席架构师林仕鼎主持,他看到现场火爆程度之后,表示对大数据技术推广的前景非常看好。

胡殿明:基于大数据的硬盘故障预测


 百度系统部资深系统研发工程师 胡殿明

在上午场的第一个演讲中,胡殿明指出MTTR在很大程度上决定了存储系统的可靠性,而硬件规格、置换数据放置策略、故障规模资源可用量等是MTTR的重要影响因素。接着,他分析了常见的故障源,指出大数据时代,硬盘在硬件中的比重增大,故障及恢复开销也更加严重,并重点对磁盘故障、三副本与纠删码之间的对比进行了详细讲解。

在磁盘故障预警背景分享中,他主要分享了提升系统可靠性、提升系统可用性及提升运维效率三点,并给出了应用磁盘故障预警的实验数据。他强调,磁盘故障预警在实际应用中,不仅要覆盖全部厂商和型号,还需要支持全部的IDC环境和业务集群,更要严格地标注样本、特征表示和稀疏化及在线自动迭代。最后,他指出基于磁盘故障预警的预修复编码和数据分级存储,可以有效提升集群的可用性与可靠性。

何晓飞:机器学习与大数据


浙江大学教授 何晓飞

第二个演讲者何晓飞带领大家一起回顾了传统机器学习的发展历程,并以人脸识别、社交网络的推荐系统等具体应用对比了传统机器学习与大数据时代机器学习的区别。在大数据时代,人脸识别可以提取更多网页信息,并可以给予结构化显示。他指出,大数据时代机器学习的主要特点——原先各种独立的技术领域将融合在一起。同时,他还分享了大数据时代会带来隐私安全问题。

期间,他分析了深度学习在大数据时代存在的问题:算法方面,面临训练耗时、调参复杂的困难;计算方面,遭遇分布式困难;硬件方面,面临GPU稳定性较差等问题。

他重点突出了大数据时代在线学习的重要性,分析了当前在线学习方法在大数据时代存在的缺点,针对非线性方法提出了具有上界的稀疏在线学习方法。最后,他针对大数据时代精确最近邻检索复杂度太高的问题,着重强调了近似最近邻检索的重要性,解释了传统哈希索引存在的问题及对应的解决方法。

袁晓如:大数据时代可视化和可视分析的机遇与挑战


北京大学“百人计划”研究员 袁晓如

随后进行分享的是袁晓如,演讲之初,他为大家介绍了“大数据”与“可视化”的内涵,特别指出信息图是与可视化不一样的,可视化是对事物建立心理模型或心理图像的过程,需要更多对数据的分析与处理。

他结合生动的案例带领大家一起分析了可视化在大数据时代面临的挑战,主要有:

  • 可感知性(以北京出租GPS和某地点周边交通为例)
  • 可扩展性
  • 交互性
  • 从用户角度出发的可扩展性
  • 可视化系统发展

他认为,可视化是一个数据总结、挖掘、返回原数据的过程,是一个从整体到局部的过程,可以帮助了解世界是如何运行的。最后,他重点强调,目前中国仍然缺乏大数据可视化方面的专家人才,与美国等国家的差距很大,虽然越来越多的公司关注数据可视化,但仍待深入。

鲁小亿:Extending MPI to Big Data Computing: Challengesand Benefits of DataMPI


俄亥俄州立大学博士后研究员、DataMPI开源项目负责人 鲁小亿

鲁小亿进行了上午场的第四个分享,首先对Hadoop中的通信协议进行了总结,接着对当前MPI的现状进行了介绍,指出高性能、可移植性对于大数据的必要性。他也总结了目前MPI扩展到大数据面临几大问题,如:相比Hadoop代码量很大,同时不具备较强的可扩展性;编程上如通信协议、核心数据结构等都面临着较大困难等。

接着,从DataMPI架构设计、MPIDrun、Profile、Core等方面对DataMPI的实现进行了详细讲解,并用实验数据介绍了DataMPI项目在排序、任务进程和GPU处理、扩展性、性能等方面来的效率提升,如在WordCount和排序方面,相对Hadoop约有40%的性能提升。

刘诚忠:Camaro DB–Yet another MPP Database hacking fromCloudera Impala


秒针技术经理 刘诚忠

他为我们解释了秒针关注大数据的原因,及其对大数据的探索。他介绍说,当初选择Cloudera Impala作为项目Camaro开发的基础时,主要考虑到了Cloudera Impala具备以下几个优势:较好的代码范、模块清晰、容易定制、比Hadoop的速度更快、分布式的执行树等。

接着,他从前端、后端等方面对Camaro进行了介绍,并给出了Camaro性能、索引、多用户查询等方面的数据。最后,他为大家带来了Camaro的未来功能展望,如Yarn集成、UDF等,值得期待。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博@CSDN云计算

2014年首场百度轻应用高级训练营落幕 现场展示云端结合能力 销售易史彦泽:企业应用,自上而下的革命 专访寻医问药网创始人:轻应用背后的长尾效应 轻松打造品牌轻应用:实时Web App开发框架Clouda Intel强势入驻,Cloudera新一轮融资总额已达9亿美元 每个Web开发者必备的9个软技能 4月1日:闻名世界的苹果公司正式成立 AMD正在探索一种新颖的Linux开源驱动模式 QQ手机浏览器推出5.1播霸版 内置强解码引擎支持22种视频格式 Ceph浅析(上):概况与设计思想 IBM:你好,互联网 光网络SDN化的四大驱动力及两条路径 《近匠》酷传:解除App发布和监控痛苦 有道heX正式开源:用HTML5和NodeJS开发桌面应用 在3D空间创作:英大学生发明增强现实设计产品 2014年3月浏览器份额:Chrome终超Firefox 成市场第二大浏览器 2014年3月操作系统份额:Windows 7大涨,Windows XP仍未跌破27%大关 路透社:iPhone 6仅有4.7寸版本,将于5月量产,5.5寸遭冷冻 高端实战技术培训:OpenStack企业应用之路 据统计,Oracle已击败IBM跃居软件行业第二 【技术博客推荐】2014年值得关注的10个开源项目 Intel在深圳建立智能设备创新中心 将投入1亿美元 免费获得价值1200元Unity2014顶级盛会门票! IBM公布Softlayer中国业务落地时间表 推荐30款最佳的数据可视化工具 数据库迁移测试:选白盒还是黑盒? 东软发布首款英特尔架构企业级移动终端解决方案 英特尔与腾讯创立游戏创新实验室 推进RealSense技术 《近匠》系列沙龙之探寻绝密武器:移动跨平台开发 iOS走向开放:苹果新推iAd Workbench广告服务 腾讯薛伟:快速模型更新在精准广告推荐中的应用 dot menu是什么意思? 请教大侠为什么(333)这句不执行 如何将olecontainer载入的word文件全部显示,而不只显示第一页? 简单问题! 高手帮忙!如何通过服务器来自动查找、替换客户端文件 为何timer控件失效? @这个字符在C#中有何具体意义?不解 如何将sql server的检查约束延迟到Commit时 ado连接sql库问题 为何无法ping自己的地址呢? 滚动条判断 单个窗口程序可以运行,但是几个窗体连在一起就不可以了,好像是多线程的问题,请教各位 关于DBgrid再次求救 今天我好失败——斑竹过两天删除吧,让我宣泄一下 哎呀!!各位何必拉帮结派呢!!!这样不好啦!!影响水园大团结啊~~~没有加入帮派的人就很难在水园呆下去啦。。猪猪。。只有和他们沦为 CreateBitmap 与 CreateCompatibleBitmap 弹出一个窗体但是又不抢占其他窗体得焦点,怎么办? 利用DW-MX制作ASP.NET程序教程! vc中 调用 VB dll 时参数类型如何确定? 谢谢! 如何才能得知当前路径?比如VB的App.Path? Conn.OpenSchema怎么得到字段的信息? 一个进程写在共享内存中的数据被另一个进程读出去后的问题 大家开心开心吧! 笑过后体会体会...... asp与数据库连接的问题?急,急!(在线等待) 大家是怎么查VCL类库的类及函数的? 在线程里有无限循环时,好象不跳出循环就无法终止线程,是吗 UNIX的线程有没有类似Windows线程的消息队列和消息机制? 哪位大虾知道如何在网页中快速刷新显示后台计算的数据? 请问有谁知道PrinterResolution怎么和打印机对象连在一起呀, 偶有一个惊人的发现! 对话框中的按钮我怎么让它继承我自己的类? 请问有谁知道PrinterResolution怎么和打印机对象连在一起呀, 装了腾讯的浏览器现在删了 可是用cterm点击里面的网址还会调用腾讯的浏览器 如何修改注册表 那个键值? 电子邮件的问题 怎样给为我解答问题的注册用户打分? 谁做过这样的新闻系统! 为什么RealPlayer放有些网站的流媒体文件时会出错? 请问什么地方有软件开发标准。如国标,国军标等。 如何取得读网页时ie的状态,如正在下载,完毕等等? 朋友们能不能提供我一些关于VC读取文件操作的资料? 关于数据库服务器和备份的问题 win2kPRO 简单问题,高分相送!!在线发分,第一个答对者,定送此分!!!!!! c程序总出现"out of memory..." bzszp(蝎子)和ATCG(ATCG),谢谢!请问可以给我你们的E-mail吗?我以后还有些问题想请教你们! 如何设置java环境 更改工作站的下载等权限 制作一个修改程序外表的东西 怎样ENABLE 注册表编辑 MFC向导生成的基本对话框程序,一按回车就会退出,怎么设置都没有用.怎么办? 小弟下个学期就学vc了,想在这个暑假里好好的去接触接触但是不知道改看那些书好!还请~~~~~~~?高分!! 在月球表面能听见月球车开动的声音吗?到底能不能? 小刚同学用如图所示的电路研究电流跟电阻的关系.在实验过程中,当A、B两点间的电阻友欧姆更换为10欧姆后,他下一步的操作是( )A、记录电流表和电压表的示数 B、将变阻器滑片向右移动C 全球变暖的好处希望详细一些,因为是辩论会要用的材料所以希望能够详细 最好能配上数据,事实之类的东西能加以证明 (如果哪位大虾有心能给翻译成英文就更感谢了,中英对照的我会多加10 为什么雪会融化? 求5个人教版高一数学必修1函数的题目及解答过程 函数的表示法.求最佳解题方法,也欢迎各种解题思路. 雪为什么会融化 在水平上一轻质弹簧竖直放置,在它正上方,一物体自由落下,在物体开始压缩弹簧到速度为零的过程中,则A物体的动能不断减少 B物体所受的合力减少为零C弹簧的弹性势能不断少 D物体的机械守 请问株洲市环境最好的幼儿园, 关于烤箱的温度和烤箱温度计的温度烤箱温度调控,我始终找不到合适的方式控制,我买的温度计和烤箱的温度显示有些差异,比如我要用190度的温度,我要把烤箱调到215度左右才能到达预 函数的表示法 书24页A组1.打得好有多多分哦. 株洲属于哪种气候类型这可气候类型又有什么特点 烤箱温度计怎么使用我用的是ACA M-16A的烤箱,看到网上普遍说这个烤箱温度偏高,于是今天买了个温度计准备拿来测测.把温度计放在烤箱里,说是测温需要空转烤箱,再有我也只是想测试一下所 在第一次世界大战中,一名法国飞行员在空中飞行时,顺手抓住了机舱外的一颗子弹,这件事发生的条件是( )A子弹在空中浮着不动B子弹与飞机飞行的方向和快慢一样C子弹飞行得很慢D子弹与 日本太阳神塔英文翻译是什么 浓硫酸为什么只能干燥中性气体和酸性气体,而不能干燥碱性气体?什么是中性气体?什么是碱性气体?什么是酸性气体?怎样判别?请会的人教教我吧, 在平直的公路上,有甲乙丙三辆车,先后离开车站向东驶去,甲车速度最大,乙车丙车两车速度相等,下列说法正确的是( )A以甲车为参照物,乙车向东,丙车向西行驶B以甲车为参照物,乙丙两车都 一个重6N的实心物体.一个重6N的实心物体,用手拿着使它刚好浸没在水中,此时物体排开的水重是10N,则物体受到的浮力大小为多少N? HCl气体是酸性还是碱性或中性?气体! 1.一物体容积一般小于它的体积( )2.墨水瓶的体积就是墨水瓶的容积( )3.仓库中小麦的体积一定等于仓库的容积( ) 一个实心物体,重为6N,当它三分之一的体积浸在酒精中时,测力计示数为6.6N.求1、物体的密度.一个实心物体,重为6N,当它三分之一的体积浸在酒精中时,测力计示数为6.6N.求1、物体的密度.2、物体 生物圈=什么+什么 ? 生态系统=什么+什么=(什么+什么+什么)+什么 初一生物问题求各位大神解答! HCl 气体显酸性吗? 1.图文简述的受热过程,分析大气的热力作用是"地面是近地面大气主要直接的热源"的原因.2.简述月球表面的气温日表差大于地球表面的原因3.图文简述热力环流的形成过程并比较B和A,A’ B'死 初一生物题(生物圈)蚯蚓一般营穴生活,但夏季雨后蚯蚓在地面上活动,原因是()A.土壤中蚯蚓缺乏食物B.蚯蚓得不到足够的氧气C.喜欢雨后晒太阳D.承受不了土壤的压力在鱼苗长途运输的前 雪融化之后阅读答案雪融化之后是什么呢?  是不堪的泥泞?湫隘破败的小巷里,歪歪斜斜地印着行人的脚印,或深或浅的印子里溢满了泥水,几只调皮的小黄鸭嘎嘎地走过时,身上开满了一朵朵 夏季天气特点 生物圈中最大的生态系统是什么?A 草原生态系统 B 城市生态系统 C 森林生态系统 D 海洋生态系统 即:生态系统的组成成分中,生物与环境缺一不可.将“草→鼠→猫头鹰”看作是一个生态系统,还应该添补的成分是() 生石灰与水反应生成氢氧化钙,再加水,搅拌后静置,观察得到什么现象? 生物部分和非生物部分组成的是生态系统还是生物圈?如果给你一个食物链的图,问你还需要什么才能组成一个完整的生物圈?或者需要什么才能组成一个完整的生态系统? 雪为什么先融化下面的?最好说明用到的理论. 骑自行车上坡前一般要加紧蹬几下,这是为了 ( ) A.增大惯性 B.减小阻力 C.增大动能 D.增大势能 初一生物生物圈中的动物试题急求.初一生物济南版的初一生物上册的 别给我初二的谢谢 快的我在加50分 如果只提供刻度尺、三角尺,如何测出一个装有大半瓶的墨水瓶的容积?如果只提供刻度尺、三角尺,如何测出一个装有大半瓶的圆柱形墨水瓶的容积? 在蒸发皿中放1小块生石灰,加少量水,搅拌,有什么现象发生?(如何描述) 库仑(C)是什么单位,其意义是什么? 雪融化了是什么? 取少量过氧化钙放入试管,加水,会有什么现象 关于水对生命体及经济发展有什么影响 现有一个墨水瓶,一个瓶盖,一把刻度尺和一些水,试粗略测出墨水瓶容积 与大气的热力作用有关的自然现象 你能画出几个面积是12平方厘米且边长是整厘米的长方形 现有一个墨水瓶、一个瓶盖、一把刻度尺和一些水,试粗略测出墨水瓶的容积 湖南属于什么气候类型,该气候有什么特点,主要分布在世界什么地方. 生态系统中各种生物的 和 相对稳定,原因是生态系统具有一定的 能力,但这种调节能 现在一个墨水瓶,一个瓶盖,一把刻度尺和一些水,试粗测出墨水瓶的容积大神们帮帮忙 选择台灯要注意的问题? 物理总是考不好,好苦恼啊 5555~5555~非晶体没有固定的熔点,那么它有没有熔点,写仔细一点,我不聪明哦! 若给你刻度尺,三角板,如何测量装有一大半的墨水瓶的容积 选择台灯应该注意些什么? 库仑是如何定义的? 大气的热力作用原理是什么? 买台灯要注意什么比如说要多少瓦,什么灯泡,LED还是白炽灯,灯架多大够学习这些 等物质的量的CH4与Cl2恰好反应时,生成CH3Cl与HCl为什么错 已知函数f(x)=(x²+4)/x(x≠0)是奇函数,且满足f(1)=f(4)证明:函数f(x)在区间(0,2】单调递减,在区间(2,+∞)单调递减(PS:原来前面还有1小题,我已经把那1小题的答案当作已知条件打在上面 作为儿童使用的台灯要充分注意孩子在使用过程中的安全问题,那么如何的选择这个儿童台灯才符合标准? 在月球表面,航天员能清楚的听道月球车开动的声音麽?快 为了传递信息,我国古代周朝形成邮驿制度,到宋朝时设金牌,银牌,铜牌三种邮递快慢等级."金牌"一昼夜(24h)行500里(1里=517米),每到一个驿站换人换马接力传递.下面所列速度与"金牌"的平均速度 由于大气的热力作用 ③产生的温室效应,影响到人类的生存 ④“高处不胜寒”哪句不正确,为什么?我觉得是"③产生的温室效应,影响到人类的生存 "错了。
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘