说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

挑战和机遇并存:大数据时代机器学习与可视化

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的上午时段,众多专家围绕大数据时代的机器学习、数据可视化、磁盘故障预测、DataMPI、Camaro等主题展开了分享与讨论。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


主持人:百度大数据首席架构师林仕鼎

在2013中国大数据技术大会第二天的“大数据技术”专题论坛的上午会议时段,分别由百度系统部资深系统研发工程师胡殿明、浙江大学教授何晓飞、北京大学“百人计划”研究员袁晓如、俄亥俄州立大学博士后研究员鲁小亿、秒针技术经理刘诚忠为我们带来了精彩演讲。上午会议由百度大数据首席架构师林仕鼎主持,他看到现场火爆程度之后,表示对大数据技术推广的前景非常看好。

胡殿明:基于大数据的硬盘故障预测


 百度系统部资深系统研发工程师 胡殿明

在上午场的第一个演讲中,胡殿明指出MTTR在很大程度上决定了存储系统的可靠性,而硬件规格、置换数据放置策略、故障规模资源可用量等是MTTR的重要影响因素。接着,他分析了常见的故障源,指出大数据时代,硬盘在硬件中的比重增大,故障及恢复开销也更加严重,并重点对磁盘故障、三副本与纠删码之间的对比进行了详细讲解。

在磁盘故障预警背景分享中,他主要分享了提升系统可靠性、提升系统可用性及提升运维效率三点,并给出了应用磁盘故障预警的实验数据。他强调,磁盘故障预警在实际应用中,不仅要覆盖全部厂商和型号,还需要支持全部的IDC环境和业务集群,更要严格地标注样本、特征表示和稀疏化及在线自动迭代。最后,他指出基于磁盘故障预警的预修复编码和数据分级存储,可以有效提升集群的可用性与可靠性。

何晓飞:机器学习与大数据


浙江大学教授 何晓飞

第二个演讲者何晓飞带领大家一起回顾了传统机器学习的发展历程,并以人脸识别、社交网络的推荐系统等具体应用对比了传统机器学习与大数据时代机器学习的区别。在大数据时代,人脸识别可以提取更多网页信息,并可以给予结构化显示。他指出,大数据时代机器学习的主要特点——原先各种独立的技术领域将融合在一起。同时,他还分享了大数据时代会带来隐私安全问题。

期间,他分析了深度学习在大数据时代存在的问题:算法方面,面临训练耗时、调参复杂的困难;计算方面,遭遇分布式困难;硬件方面,面临GPU稳定性较差等问题。

他重点突出了大数据时代在线学习的重要性,分析了当前在线学习方法在大数据时代存在的缺点,针对非线性方法提出了具有上界的稀疏在线学习方法。最后,他针对大数据时代精确最近邻检索复杂度太高的问题,着重强调了近似最近邻检索的重要性,解释了传统哈希索引存在的问题及对应的解决方法。

袁晓如:大数据时代可视化和可视分析的机遇与挑战


北京大学“百人计划”研究员 袁晓如

随后进行分享的是袁晓如,演讲之初,他为大家介绍了“大数据”与“可视化”的内涵,特别指出信息图是与可视化不一样的,可视化是对事物建立心理模型或心理图像的过程,需要更多对数据的分析与处理。

他结合生动的案例带领大家一起分析了可视化在大数据时代面临的挑战,主要有:

  • 可感知性(以北京出租GPS和某地点周边交通为例)
  • 可扩展性
  • 交互性
  • 从用户角度出发的可扩展性
  • 可视化系统发展

他认为,可视化是一个数据总结、挖掘、返回原数据的过程,是一个从整体到局部的过程,可以帮助了解世界是如何运行的。最后,他重点强调,目前中国仍然缺乏大数据可视化方面的专家人才,与美国等国家的差距很大,虽然越来越多的公司关注数据可视化,但仍待深入。

鲁小亿:Extending MPI to Big Data Computing: Challengesand Benefits of DataMPI


俄亥俄州立大学博士后研究员、DataMPI开源项目负责人 鲁小亿

鲁小亿进行了上午场的第四个分享,首先对Hadoop中的通信协议进行了总结,接着对当前MPI的现状进行了介绍,指出高性能、可移植性对于大数据的必要性。他也总结了目前MPI扩展到大数据面临几大问题,如:相比Hadoop代码量很大,同时不具备较强的可扩展性;编程上如通信协议、核心数据结构等都面临着较大困难等。

接着,从DataMPI架构设计、MPIDrun、Profile、Core等方面对DataMPI的实现进行了详细讲解,并用实验数据介绍了DataMPI项目在排序、任务进程和GPU处理、扩展性、性能等方面来的效率提升,如在WordCount和排序方面,相对Hadoop约有40%的性能提升。

刘诚忠:Camaro DB–Yet another MPP Database hacking fromCloudera Impala


秒针技术经理 刘诚忠

他为我们解释了秒针关注大数据的原因,及其对大数据的探索。他介绍说,当初选择Cloudera Impala作为项目Camaro开发的基础时,主要考虑到了Cloudera Impala具备以下几个优势:较好的代码范、模块清晰、容易定制、比Hadoop的速度更快、分布式的执行树等。

接着,他从前端、后端等方面对Camaro进行了介绍,并给出了Camaro性能、索引、多用户查询等方面的数据。最后,他为大家带来了Camaro的未来功能展望,如Yarn集成、UDF等,值得期待。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博@CSDN云计算

MDCC之移动娱乐游戏峰会:百家手游齐逐金玩奖 专访Mozilla宫力:基于Web是Firefox OS最大的资本 如何设计一款Java框架? AngularJS优化最佳实践:从1200ms缩减到35ms Linus Torvalds宣布Linux kernel3.12正式发布! 硅谷的技术文化——渴求独处! MDCC为移动开发者服务:一看、一聊、一聚 做华为合伙人:华为开发者联盟沙龙&#183;北京站纪实 Q3全球智能手机报告:Android和iOS基本不变 WP最得意 Google Apps不再支持IE9 IE9用户或将无法使用Gmail等服务 [开源推荐]CecOS:企业级的云操作系统和虚拟化平台 Avangate SaaS模式开启全球软件新营销之门 Android平台的两大移动威胁现状与变化趋势 推荐五款优秀的PHP代码重构工具 11个值得注意的安全问题及应对,第12个高端黑 微软新举措:打通Windows和WP开发者账户,下调注册费用 合并两应用商店的前兆?微软开始合并Windows Store和WP开发者账户 最难忘的Bug调试经历 LiveCode:让每个人都能开发APP的开发平台 17173总经理赵佳:媒体移动化需抓住三大要素 Django 1.6发布 支持持久数据库链接 如何优化单页面网站搜索引擎? TechCrunch国际创新峰会将于上海举行 极路由:一场由路由器引发的概念盛宴 14nm制程:三星64bit处理器 Exynos 6/S曝光 从Oracle到MySQL,余额宝云实践分享 从南水北调东线工程看物联网,大数据的另一面 不只是技术!成为IT经理必备的十大软技能 看看传说5亿行代码的Healthcare.gov网站的架构 如何走出选择PHP还是ASP.NET的两难境地? 你的设计够档次吗?分享25个奇异的404页面 怎样调用 其它窗体的内的对象的属性?? JSP的应用经验 工具条的问题,求解 我喜欢西瓜小姐 我公司现有固定电话收发电子邮件系统,可收附件,将WORD,HTML文档转换为TXT文本 关于内码问题 远程控制 关于JDBC2.0的问题(50分!!!!) 哪位有高招? 升级BIOS和升级主板? 急!急!急!急!窗口不能关闭. 哥哥姐姐们请帮忙???(急需linux环境下用php+mysql如何实现搜索引擎) 大家赞不赞成开一个Palm技术区?赞成的跟贴,满50个就开。 定义 Dim reader As System.Data.SqlClient.SqlDataReader lvlvlvlylyly请看,你的贴子我加不上了,还查一段程序加在这里了 如何传送monthview1中用户选择的日期到其他窗体里 你该怎么做呢 国内什么样的网站托管好?还是选择国外的? 女网友一定要小心 mschart控件问题 赶快来尝试一下吧! 如何在 View 类中编写press any key to continue功能模块 Vc++下应用Matlab数学函数库出错 如何用VB实现自动登录? 赶快来尝试一下吧! ado的问题! 如何传递带“%”的参数? 有全套的ERP源代码为你提供,助你在开发过程中更上一层楼 字符串str=" aaa ",如何变为"aaa" 怎么没有人理俺泥?? 关于dw的问题 如何读入数据库中的HTML格式的正文呢? 一个在阅读<<深入浅出MFC>>中遇到的问题 !!!!急 新手,说找不到mfc42d.dll文件 怎么没有人理俺泥?? 关于dw的问题 FAST.lib 2000 for windows是个什么东东 请问各位一个非常简单的问题 jdk和jvm 笨蛋 大家有什么建议吗? ASP.net如何刷新另一个页面 有一年delphi工作经验的程序员在全国各地的待遇如何?哪个城市有发展前途(钱途)? 100分求解!!!这个问题大家都来看,来者有分!!! 告诉我几个地方,给你几十分,简单吧 :-) 有没有关于VPN的书籍 Interbase源码分析 西瓜是Plmm哎~! 一个字符串替换的小问题。。。 还有一个问题需要问大家。。。特别急。。。 我变成了大家的一员 哪儿有在jbuilder中让三键鼠标可以使用滚动功能的驱程? 我想把ODBC的所有数据源列出来显示,不知道用哪个函数,谁能告诉,多谢了!来就有分 鱼塘亚硝酸盐高怎么办 将等物质的量的Na,Na2O,Na2O2投入大量且相等的水中,所得溶液的质量分数分别为a,b,c(忽略溶液体积变化),其关系是 二氧化碳与氢氧化钙溶液反应生成碳酸钙和水,不用配平. 如何用甲醛法制备三氯甲烷 钠的氧化物有Na2O2和Na2O两种这两种化合物组成混合物,钠与氧的质量比为23:12求Na2O2和Na2O的物质的量之 CO2通入氢氧化钙溶液中,是水和氢氧化钙同时与二氧化碳反应吗? 家庭怎么制三氯甲烷和如何检验? 物质量均为nmolNa,Na2O,Na2O2,同时加入nL水中完全反应后测溶液密度为ag/cm3则所测得溶液的物质的量浓度为? 醋酸氟轻松冰片乳膏的副作用 氯仿如何制甲酸最好有化学反应式 1,在基因型前面加的分数是什么意思?(例如1/3 AaBb )2,分枝法怎么推测子代性状分离比?子一代自交.3,推测基因型和表现型有没有什么诀窍,请举例.加扣扣, 醋酸氟轻松冰片软膏可以使宝宝皮肤白吗 河水中,亚硝酸盐跟氨氮的关系? 下列物质中不能与二氧化碳反应的是 A氧气 B水 C木炭 D氢氧化钙 那么C呢~ 为什么氯化钙的熔点比氯化镁高按影响晶格能的因素,镁离子半径比钙离子小,电荷相同,氯化镁的熔点应该比氯化钙高,查阅数据可知,氯化钙的熔点比氯化镁高,这是为什么? 怎么测污水中的氨氮和亚硝酸盐?有仪器氨氮比色计亚硝酸盐比色计,这个直接测出吸光度是吗?怎么在测出浓度 质遗传的杂交实验,F1的表现型总是和母本一样这句话错在哪 温室下,在氢氧化钙的饱和溶液中加入下列物质,冷却至温室,溶液的PH没有改变的是A,CO2 B ,CaO C ,NaOH D,HCl 冰片怎么溶化 怎样学习我很难理解概念,总觉得很模糊.每个知识点很难联系在一起.我对遗传学比较有兴趣,但是感觉很难.我花了很多时间去了解、记忆, 氢氧化钙溶液中通入或加入下列物质,不能使溶液的PH显著降低的是A、硫酸 B、氯化铜 C、氯化钡 D、二氧化碳 怎样快速去除养殖水体的氨氮,亚硝酸盐? 生物遗传现象简介 在氢氧化钙饱和溶液中加入什么不影响PH值A、通入二氧化碳B、加入大量水C、加入盐酸D、加入石灰石 亚硝酸盐,氨氮都是正常,为什么PH值会过高呢?HP值在9.2虾放里水里面后3-4个小时就全部都死光了,请问这个问题怎么决解,是什么原因呢? Aa与Aa自交生出AA:Aa:aa=1:2:1为什么有时算Aa的概率=2/3为什么有时候概率是1/2什么时候分母4为什么时候分母为3哈 向氢氧化钙的饱和溶液中加入下列物质,不可能使溶液的ph有明显变化的是 A通入CO2 B加入稀H2SO4 C加入氧化钙 D加入Na2CO3溶液 是不是是OH-的浓度决定酸碱度,而不是OH-的数量 氯化钠是熔点是多少?为什么 血液和尿液中同时含有蛋白质是什么原因 氢氧化钙溶液中加入下列哪种物质不能使ph值显著降低?单选 A.硫酸B.氯化铜C.氯化钡D.二氧化碳请说明理由 补分的 我的海水缸no2 no3都偏高,怎么办? 为什么第一题第一个空不是AA呢\?第二题为什么没有AABb?还有,计算怎么算?AA aa AaBb AaBB 20/27 怎样把重铬酸钾中的六价铬还原成三价铬 为什么鱼塘里的水亚硝酸盐的量越来越高如何降底? 海水中的亚硝酸盐含量受温度影响大吗?家里有养殖海参的,在温室里,温度有十八度左右.本来海水亚硝酸盐含量符合标准(海水温度5度左右),可放到温室池子里浓度就超标了,懂化学和水产的 关于基因遗传某女性患红绿色盲,她的下列亲人中肯定携带色盲基因的是A 祖父 B 外祖父 C 外祖母 D 祖母求详解 ETFE塑料介绍? 降低氯化钠熔点怎么降低?还有,电解时生成钠,但钠很活泼,能与空气反应,那在电解时应注意什么,才不会让刚生成的钠又与空气反应? 如果父母双方都有某病,那么无论孩子男女都会患比病,如果父母双方有一个人有此病,那么生出的女孩百分百患病,男孩百分之五十患病,我想问一下这种病是什么遗传病?好久没做过生物遗传题 鱼塘水亚硝酸盐超标,该怎么办?鱼塘亚硝酸盐超标,怎么把亚硝酸盐的含量降下来?换水除外,我主要是问泼洒什么药物? 遗传变异对生物本身的意义是什么?A .能培育出新的品种B.能保持前后代染色体数目恒定C.能把性状传给后代D.既能保持种族的延续,又能使后代适应变化了的环境 1.假定某三体植株自交时,n+1的胚囊全部参与受精,而参与受精的花粉中,n+1的花粉只有10%。那么,该三体植株自交子代群体中,四体、三体和正常二倍体个体数分别是?5%、50%、45%)请问为 氯仿是什么哦?分子式以及它的空间结构 生物遗传特性和变异特性的意义是什么? 【急求解】一道高中生物题,遗传方面的一株纯黄玉米(YY)与一株纯白玉米(yy)相互传粉,两株植株结出的种子的胚和胚乳的基因情况是:A、胚细胞相同、胚乳细胞不同B、胚细胞和胚乳细胞都 冰片则么融化在中药里?有没有不用酒精那些的 因为当时医生只说了在煎好中药之后放进去 生物遗传与变异的意义, 打针时进了空气会不会死?不进血管也会死吗?多久会死? 鱼池水亚硝酸高怎么办? 请问蒸发器的作用是什么? 人的身体进多少空气会死 如何融解冰片 谈谈遗传的生物学意义. 为什么将空气注入静脉会导致人体死亡呢? 鱼塘的亚硝酸盐高怎样才能降低? 冰箱里蒸发器的作用是什么请简明扼要 什么叫往身体注射空气? 怎样把冰片溶解到白凡士林中? x克Na2O和y克的Na2O2分别加入等质量的水中(水足量),结果得到等质量的溶液,则x和y的关系.比大小x克Na2O和y克的Na2O2分别加入等质量的水中(水足量),结果得到等质量分数的溶液,则x和y的关系 为什么打针时要是针管里有空气,住入人体里人就会死呢?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘