说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

挑战和机遇并存:大数据时代机器学习与可视化

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的上午时段,众多专家围绕大数据时代的机器学习、数据可视化、磁盘故障预测、DataMPI、Camaro等主题展开了分享与讨论。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


主持人:百度大数据首席架构师林仕鼎

在2013中国大数据技术大会第二天的“大数据技术”专题论坛的上午会议时段,分别由百度系统部资深系统研发工程师胡殿明、浙江大学教授何晓飞、北京大学“百人计划”研究员袁晓如、俄亥俄州立大学博士后研究员鲁小亿、秒针技术经理刘诚忠为我们带来了精彩演讲。上午会议由百度大数据首席架构师林仕鼎主持,他看到现场火爆程度之后,表示对大数据技术推广的前景非常看好。

胡殿明:基于大数据的硬盘故障预测


 百度系统部资深系统研发工程师 胡殿明

在上午场的第一个演讲中,胡殿明指出MTTR在很大程度上决定了存储系统的可靠性,而硬件规格、置换数据放置策略、故障规模资源可用量等是MTTR的重要影响因素。接着,他分析了常见的故障源,指出大数据时代,硬盘在硬件中的比重增大,故障及恢复开销也更加严重,并重点对磁盘故障、三副本与纠删码之间的对比进行了详细讲解。

在磁盘故障预警背景分享中,他主要分享了提升系统可靠性、提升系统可用性及提升运维效率三点,并给出了应用磁盘故障预警的实验数据。他强调,磁盘故障预警在实际应用中,不仅要覆盖全部厂商和型号,还需要支持全部的IDC环境和业务集群,更要严格地标注样本、特征表示和稀疏化及在线自动迭代。最后,他指出基于磁盘故障预警的预修复编码和数据分级存储,可以有效提升集群的可用性与可靠性。

何晓飞:机器学习与大数据


浙江大学教授 何晓飞

第二个演讲者何晓飞带领大家一起回顾了传统机器学习的发展历程,并以人脸识别、社交网络的推荐系统等具体应用对比了传统机器学习与大数据时代机器学习的区别。在大数据时代,人脸识别可以提取更多网页信息,并可以给予结构化显示。他指出,大数据时代机器学习的主要特点——原先各种独立的技术领域将融合在一起。同时,他还分享了大数据时代会带来隐私安全问题。

期间,他分析了深度学习在大数据时代存在的问题:算法方面,面临训练耗时、调参复杂的困难;计算方面,遭遇分布式困难;硬件方面,面临GPU稳定性较差等问题。

他重点突出了大数据时代在线学习的重要性,分析了当前在线学习方法在大数据时代存在的缺点,针对非线性方法提出了具有上界的稀疏在线学习方法。最后,他针对大数据时代精确最近邻检索复杂度太高的问题,着重强调了近似最近邻检索的重要性,解释了传统哈希索引存在的问题及对应的解决方法。

袁晓如:大数据时代可视化和可视分析的机遇与挑战


北京大学“百人计划”研究员 袁晓如

随后进行分享的是袁晓如,演讲之初,他为大家介绍了“大数据”与“可视化”的内涵,特别指出信息图是与可视化不一样的,可视化是对事物建立心理模型或心理图像的过程,需要更多对数据的分析与处理。

他结合生动的案例带领大家一起分析了可视化在大数据时代面临的挑战,主要有:

  • 可感知性(以北京出租GPS和某地点周边交通为例)
  • 可扩展性
  • 交互性
  • 从用户角度出发的可扩展性
  • 可视化系统发展

他认为,可视化是一个数据总结、挖掘、返回原数据的过程,是一个从整体到局部的过程,可以帮助了解世界是如何运行的。最后,他重点强调,目前中国仍然缺乏大数据可视化方面的专家人才,与美国等国家的差距很大,虽然越来越多的公司关注数据可视化,但仍待深入。

鲁小亿:Extending MPI to Big Data Computing: Challengesand Benefits of DataMPI


俄亥俄州立大学博士后研究员、DataMPI开源项目负责人 鲁小亿

鲁小亿进行了上午场的第四个分享,首先对Hadoop中的通信协议进行了总结,接着对当前MPI的现状进行了介绍,指出高性能、可移植性对于大数据的必要性。他也总结了目前MPI扩展到大数据面临几大问题,如:相比Hadoop代码量很大,同时不具备较强的可扩展性;编程上如通信协议、核心数据结构等都面临着较大困难等。

接着,从DataMPI架构设计、MPIDrun、Profile、Core等方面对DataMPI的实现进行了详细讲解,并用实验数据介绍了DataMPI项目在排序、任务进程和GPU处理、扩展性、性能等方面来的效率提升,如在WordCount和排序方面,相对Hadoop约有40%的性能提升。

刘诚忠:Camaro DB–Yet another MPP Database hacking fromCloudera Impala


秒针技术经理 刘诚忠

他为我们解释了秒针关注大数据的原因,及其对大数据的探索。他介绍说,当初选择Cloudera Impala作为项目Camaro开发的基础时,主要考虑到了Cloudera Impala具备以下几个优势:较好的代码范、模块清晰、容易定制、比Hadoop的速度更快、分布式的执行树等。

接着,他从前端、后端等方面对Camaro进行了介绍,并给出了Camaro性能、索引、多用户查询等方面的数据。最后,他为大家带来了Camaro的未来功能展望,如Yarn集成、UDF等,值得期待。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博@CSDN云计算

“DIY”可穿戴设备:索尼开放智能手表固件 在微软的八个月里,我学到了这些 谷歌实习生每月都拿$6000,你呢? 【第五届中国云计算大会】由瓦特变比特输出,新疆要做中亚云服务中心 应用程序扩展性实现的十宗罪 图文:看谷歌实习生的惬意生活 为移动而设计:交互设计篇 小米游戏中心月度报告:极品、神庙、找你妹 中科院:常温下的液态金属电路3D打印机 细数IE10里的HTML5特性 使用Twitter Bootstrap的五大理由 Twitter重塑API战略 开启V1.1时代 Sony开放SmartWatch 支持第三方定制固件 甩啦甩啦!Apptopia帮开发者在线买卖App所有权 聚焦全球移动市场:印度,这块肥肉不太肥 Google决定明年一月份停止对Chrome Frame支持与更新 你应该关注的几个Eclipse超酷插件 华为王丰:FusionCube打造下一代融合一体机 上海云人联合创始人吴朱华:中国人也能做出最好的实时数据库产品 Facebook RSS替代Google Reader?或因其社交属性失败 让这么多国外开发者如此兴奋,iOS 7到底好在哪里? Web开发中那些不招人“待见”的功能 最好的超级计算机在中国 为开发者提供的10款Web应用程序 5000万次下载:HandyGames如何征服Google Play? 红帽大战Ubuntu:750小时免费企业版红帽套餐即将登陆AWS EMC Sanjay Mirchandani:92%虚拟化,使更少IT人拥有更大交付能力 从NSA携谷歌、微软等9家名企监控用户行为看数据安全 【专访间】新科兰德创始人左磊:我们的“卖点”是“数据弹药” 甲骨文公司宣布推出最新Java EE 7 10款最佳CSS/jQuery开源图片说明 菊花在水里跳舞!!! 用什么来写啊!!!jdk还是jbuilder TP-LINK的RTL8029(AS)芯片的网卡怎么装? w32dasm怎么把程序中的中文字符串反汇编成指令了呢? 曾用B/S四层结构开发过OA的,请进!! sql语句的问题? 关于QUERY->SQL的赋值 c++学习中的问题,拿来和大家一起讨论。 求助!要写一个MP3的播放程序~~ Project Settings里面的设置怎么设为默认值,让以后新建的每个工程都适用? 怎样读取数码相机的照片,并将它存入sqlserver数据库中(100分) VB6菜单设计器设计的菜单跟到WINDOWSXP下面,会自动变成XP类型的菜单吗? 请问openpicturedialog的用法? 紧急求教:ScktSrvr(Borland Socket Server)设置问题????????? 关于com与asp的疑惑 怎样读取数码相机的照片,并将它存入sqlserver数据库中 JSP里连接DB2的疑问? 为什么dbgrid的网格颜色属性的更改不是每次都可以。 请教名位大虾!~怎么安装.NET?今天刚买的,却不会装,七张光盘的!~ rose 的问题, SELECT 语句中的WITH TIES作用是什么? 西南交大 农历这么转换成公历?UP有分!急用!问题解决马上给分!不够再加。 关于数组的问题!在线等,谢谢了 不从新发送信息,则无法刷新页面!!! 一个旧声卡怎么才能知道它的型号? 我使出浑身解数,还是装不上sql server2000 ,怎么办? 各位师兄,想问一本书(王国荣的)的书具体内容?! 请问该如何处理?? 请教:关于excel2000链接对象.谢谢() CBC6使用手记--鸡肋 在线等待 如何从一个数据表的某字节中只提出来N个字符!!!!(帮我看一下,谢谢) dbgrid 与 adoquery 的记录如何...? 难道没有人懂水晶报表!??? 季老大帮我搞定!!!!!!!!! 请问该如何处理??在线等 谢谢了!!! 谢谢提供需求分析、概要设计、详细设计、等步骤的样本!!! 用HWiNFO32 V1.22检测机器硬件信息,当检测到“IDE/SCSI Drive(s)”时,硬盘灯常亮并死机,请问是什么原因?是硬件的问题吗? HELP ME AGAIN! 我新买的机器,看看是不是被骗了 谢谢提供需求分析、概要设计、详细设计、等步骤的样本!!! 两个笑话,大家也来帖帖 一个算法,如何快速的从一个大字符串数组里面删除一个小的字符串数组的内容 紧急求救 http://www.driverdevelop.com 好像关了!!! 请问:构件,com,activeX,bean是不是相同的概念?com+和EJB呢? 哪有c++primer第三版? 为何sun one studio在安装模拟器中安装不了6688i 的模拟器?? ComboBox 有问题 桃核手串单数好还是双数好 要写一篇演讲稿【祖国我为你骄傲】,给点思路!不要范文 Our head teacher will be back in a week.对 in a week提问. 手串单数还是双数 vegetable英语怎么读 Have you got used to your school life here英语选择题Have you got used to your school life hereyes but i didn't like ( )when we have to get up early,especialy on cold winter mornings.请问这里为什么不用that I ()often ( ) sweet food ( )填什么 英文vegetable是否可数? 、蝴蝶的幼虫危害农作物,所以蝴蝶是害虫,应消灭它.请判断 I seldom eat sweet food.(同义句) I _____ ______ eat sweet food. 求一个题目是“祖国,我为你骄傲”的演讲稿 是在国旗下讲话的稿子,求了 go bike riding能不能用在How do you get to school的回答一般情况下问How do you get to school?回答是ride a bike.但是go bike riding作为回答可以吗? There is( ) "a" in the word "apple" .A.a B.an C.the 选哪个? 关于“vegetable”的英语单词谁有关于蔬菜的单词如:tomato His bag is different from her bag.(改为同义句) 在正方形ABCD中,点E、F分别在AB上和AD的延长线,且BE=DF,连接EF,G为EF的中点,求证:CE=CF;DG 垂直平分AC 苍蝇的寿命是多少?昨天跟朋友在饭店看到了苍蝇,禁不住疑惑起来.现在天气这么冷,苍蝇是怎么存活的? 鲨鱼.鲫鱼.带鱼.草鱼.鲸鱼.那个不是一类的 全诗是诗人杜甫对李白哪几个方面的描绘 祖国我为你骄傲演讲稿 His bag is different from others'others'对吗 Does she often drive to Perth? 一个圆锥形沙堆,它的底面周长是9.42m,2m.用这堆沙子在6m宽的公路上铺2cm厚的路面,能铺多少米 鲨鱼,鲤鱼,草鱼,鲸鱼,带鱼,哪一种不属于同类. 将《负荆请罪》改写成一篇记叙文 有比较好的二元、三元仔猪繁殖基地吗? 英超联赛用英语怎么说 六年级上册第5课负荆请罪第1幕改写成记叙文,尽量少一点 三元母猪 猪仔拉白色物质是怎么回事 things you eat between meals means s______填什么?快哈! 改编记叙文 毛毛虫怎么用英文? things you eat between meals 把负荆请罪的第一幕改成记叙文 请问毛毛虫的英文怎么写?谢谢! I love to eat sweet( ).提示 (things you eat between meals).Mr.Chen,our( ) is very busy every day.提示( the head of a school) 注视是一个表示看的词语,还能写出三个表示看的词语吗? 究竟谁是害虫?害虫控制成就小动物位置大全 we pour drinks into there是什么东西限四个字母 是填字游戏 there were times when i thought i was foolish to leave the comfort of family 小猪仔出生3天就死亡第一次养猪,不是很明白,老母猪下仔了,小猪仔出生没有问题,可是过了3天,就开始上吐下泄,吐干的,拉浠的,用不多长时间就死掉了,一共11头母猪,下的小猪仔,剩下不到一半, Where do we pour drinks into?限一个单词4个字母 He shook his hesd from time to time when questioned about his family.这个句子怎么回事,从句没有主语 为什么小猪仔出生几个小时就死了 两地相距480千米,甲乙两车同时从两地相向开出,三小时后,甲车行了全程的三分之二,乙车行了全程的四分之三,哪一辆车距离终点近一些?该车距中点多少千米? 毛毛虫有毒吗?/?/?/ 小猪仔防疫最佳时期是什么时侯?分几次打防疫? 单词拼写.You should get your p____right.You'd better listen to the tapes every day.快.五分钟.有分、、谢谢 they had just had enough time to swim out of danger when the boat again completed a circle.解释两个had 越清楚越好 苍蝇的寿命有多长具体点 橘子每千克1.6元,3.1千克橘子多少元?(估算) 以《歌》为题写一篇文章?文体不限从哪些方面写比较好写呢? 苍蝇的寿命多长 用13.2元买了3千克橘子,用1元钱可以买多少千克橘子? 负荆请罪后半部分的改写要好的 苍蝇有多长寿命? 如何指导孩子做好阅读理解题 红木手串一般是双数还是单数 苍蝇寿命是多长? 一段长24米的篱笆可以为在一个长8米,宽4米的长方形菜地周围,如果用它围成一个正方形菜地.正方形菜地的面积比长方形菜地的面积多百分之几? 勒紧腰带节俭办展 浙江临海户外休闲用菲人质事件赔偿谈判开启 马尼拉代表语俄媒:中美等十余国将参与2014年在奥巴马出席投资美国峰会 游说外商投资日韩两国或围绕慰安妇问题大闹法国国际朴槿惠称决不容忍腐败 要求根除核电腐日俄拟举行联合军演 被指意遏制中国进法媒称4名被绑法国人雇主为救人交付高美国将建全球最高摩天轮 超越伦敦眼西班牙走出两年经济衰退 首次出现经济俄副总理:俄能够在举办冬奥会的同时保美国指责德国过度依赖出口危害世界经济俄罗斯富人与穷人代名词:寡头、工薪族斯诺登在俄觅得网站工作 11月1日开以色列再次兴建犹太人定居点 被指破坏巴官员称以色列炮击加沙地带 一名武装欧洲或限美企处理数据 封杀数百亿美元智利沿海发生6.6级地震 未引发海啸律师:斯诺登在俄找到网站工作 今日开巴西前首富申请破产保护 身家蒸发99印尼强烈抗议美国监听 指其违反外交准西宝高铁开“杨凌农高会”专线责编:赵晓霞邮箱:haiwaixue市政务中心运行一周年 群众满意率达9生命因运动精彩 健康让梦想成真因违法用地、违法建筑 145户入“黑“达人秀”下周六市区海选 有才你就报5男子冒充地震局人员雇人挖坑诈骗40咸阳九龙医院加强实战 举办急救模拟演裕塬·城市风景广场 下周六我们不见不“全国优秀县委书记”孙矿玲任安康市副榆阳区入选全国中小学生艺术素质测评实通行费定价过高 25人参会听证 21市民摩托被盗 几日后在街头巧遇乾县文化馆馆长齐旭峰获称“中国文化馆办CA 我买单 你开户 我送大礼为给孩子们筹集学费 两口子没少遭人白榆林城镇居民大病医保19日起实施“土豪金版”百元人民币来了海马汽车渭南金秋车展 现场20余人达乾县文化馆馆长获称“中国文化馆榜样人“小场子”大舞台
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘