说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据基准测试专题论坛:基准测试是一把尚未完成的尺子

HTML文档下载 WORD文档下载 PDF文档下载
在2013BDTC上,来自Cisco、俄亥俄州立大学、中科院计算所、西北工业大学、 清华大学、中国人民大学、 华东师范大学的专家们分享了自己这一年在大数据领域的实践结果。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会——2013中国大数据技术大会(Big DataTechnology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


图:中国人民大学信息学院院长、教授 杜小勇

在12月6日上午进行的大数据基准测试主题论坛中,中科院计算所研究员、博士生导师詹剑锋和中国人民大学信息学院院长、教授杜小勇担任主持。TPC联合主席、Cisco高级工程师Raghu Nambiar,IEEEFellow、俄亥俄州立大学计算机与工程系教授Dhabaleswar K.Panda,中科院计算所研究员、博士生导师詹剑锋,中国人民大学副教授陈跃国,华东师范大学教授钱卫宁针对大数据基准的制定标准分享了他们的经验。

TPC联合主席、Cisco高级工程师Raghu Nambiar:工业大数据基准的过去、现在和未来


图:TPC联合主席、Cisco高级工程师 Raghu Nambiar

Raghu Nambiar具体介绍了合成式基准、应用式基准和产业基准。在谈到产业基准时,他认为,在过去20年里,产业基准起到了很大的作用。在制定行业的标准时,性能、持有成本和能源效率是成功的三大关键。产业界标准的基准都扮演了非常重要的作用,进一步推动了计算机产业科学的发展。买方可能要选择购买一种系统的同时也会考虑别的系统,所以对他们来讲,良性的竞争是十分重要的。在谈到大数据正在如何改变世界的时候,Raghu列举了四个角度:

  • 在所有垂直行业的IT生态中,大数据扮演的角色的作用正在逐渐完整;
  • 大数据是政府和研究机构谈论最多的话题之一;
  • 大数据的面临的挑战可以总结成5V:Volume(数据量),Velocity(速度),Varity(种类), Value(价值), Veracity(精确);
  • 大数据正在成为3I的核心:Investments(投资), Innovation(创新),Improvization(无固定搭配)。

俄亥俄州立大学教授Dhabaleswar K.Panda:社交网络技术和基准对于Hadoop的冲击


图:IEEE Fellow、俄亥俄州立大学计算机与工程系教授 Dhabaleswar K.Panda

Dhabaleswar K.Panda介绍了社交网络技术和基准对于Hadoop的冲击。同时还单独介绍了RDMA,既远程DMA,它可以把数据直接推到存储器,无需接受器,不用等待适配器,这也是RDMA中非常重要的部分。在提到大数据的未来,他提出了三个期望:

  • 在高层的设计改变问题仍然继续解决;
  • 加速器在大数据中的作用会带来额外的影响;
  • 为了更快速地做出扩展性更高的分析,设计阶段中要更多考虑流行的集群和Hadoop的中间设备。

中科院计算所研究员,博士生导师詹剑锋:系统和体系结构的大数据基准测试程序


图:中科院计算所研究员,博士生导师 詹剑锋

詹剑锋与大家分享了面向系统和体系结构的大数据基准测试程序的经验。他认为,大数据依赖于内存访问,成本的问题很重要。关于TPC,他总结到,TPC现在一半是技术,一半是政治。詹剑锋作为项目发起人在6个月之前进行的Benchmarking,初衷是为了将各种各样的英文术语进行统一。

西北工业大学副教授张晓:大数据存储与访问测试基准


图:西北工业大学副教授 张晓

张晓介绍了海量大数据从产生到大变革和面对变革所要具备的存储和管理方法。他认为,大数据在产生、保存、访问时都对存储系统有较高的要求,这其中包括了高并发、高吞吐量的聚合访问带宽以及高可扩展性。张晓还从四个方面介绍了他们的评测体系构成:

  • 评测指标:建立反映海量存储系统特性的,全面的评测指标;
  • 评测方法:根据指标的定义,确定采用何种方法对存储系统进行测试。包括通用和特有的评测方法;
  • 评测工具:采用国际通用或自行开发的工具进行评测,开发各自的评测工具;
  • 应用场景:包括trace采集结果,IO负载模型,故障和可管理事件模型。

清华大学教授、软件学院副院长王建民:工业大数据测试基准初探


图:清华大学教授、软件学院副院长 王建民

王建民介绍了工业大数据的特点、相应的测试基准并分享了自主研发的测试框架及实践结果。他指出,世界上95%的工业产品已经饱和,200多种工业产品是中国第一。在总结工业大数据的未来时,王建民提到:

  • 工业大数据有它独特的特点,需要具体到每一个问题中;
  • 工业大数据需要低成本的方案;
  • 作为制造业大国,中国应该更多地关注工业大数据。

中国人民大学副教授陈跃国:SQL-on-Hadoop系统的性能测试及比较研究


图:中国人民大学副教授 陈跃国

陈跃国介绍了关系型结构大数据的概念以及特点,并阐述了TPC-DS基准对于实时大数据分析应用的局限性。近期,陈跃国进行了一次大规模的测试,利用人民大学的云平台,使用50台物理机,虚拟出了100个节点,并用使用TPC-DS生成不同规模的关系型数据,测试了开源大数据分析系统。通过这次测试,他们得出的结论如下:

  • 列存储一般对查询性能提升明显,尤其大表是一个包含很多列的表;
  • 绕开MR计算模型,省去中间结果的持久化和MR任务调度的延迟,会带来性能提升;
  • 使用MPP数据库技术对连接查询有帮助;
  • 充分利用缓存的系统在内存充足的情况下性能优势明显;
  • 数据倾斜会严重影响一些系统的性能。

华东师范大学教授钱卫宁:在线社交媒体分析型查询基准评测初探


图:华东师范大学教授 钱卫宁

钱卫宁从基准评测架构、数据生成、负载生成、度量定义等不同角度介绍了名为BSMA的在线社交媒体分析型查询基准评测,并展示、分析了社交媒体数据分析处理在时间线查询、社交网络查询等方面的挑战。对于社交媒体上的分析型查询处理挑战,钱卫宁总结出以下几点:

  • 社交网络查询耗时、耗内存;
  • 数据分布偏斜,不同参数造成截然不同的查询性能;
  • 绕开MR计算模型,省去中间结果的持久化和MR任务调度的延迟,会带来性能提升。但是,这种优势随着数据量增加和查询变复杂而减弱。

专访沙梓社:做个“Think Different”的技术牛人 基于ES6,使用React、Webpack、Babel构建模块化JavaScript应用 财税街创始人石克清:创业须空杯心态+有效社交 自我知识管理:连贯性就是生产率 玩转Google I/O 2015:Android M、IoT、Glass 2.0、VR、ATAP ARC中Retain Cycle揭秘 失控与逆转!企业移动化2.0时代下如何求变? 玩转物联网之MQTT 专访都灵创客教育奚炎:被忽视的Maker教育 13岁iOS开发者:Swift开发Sprite Kit游戏实践 专访豌豆荚「自动装」开发团队:无需Root即可批量点击「下一步」 iOS项目的持续集成与管理 《近匠》谛听科技,探索智慧家庭的智能网关 【简讯】Python 3.5.0b1发布 《算法的乐趣》作者王晓华访谈:多看、多做、多想是秘诀 专访李祎:Java在Testin的技术应用 React首部经典图书推荐:全程经典实例,360度剖析React.js 再做一个Android!Google发布第二代VR眼镜Cardboard Go语言开发常见陷阱,你遇到过几个? 奏响年度最强音 第七届中国云计算大会日程全公布(表) 【CTO讲堂】请在还年轻的时候,尽量多踩些坑 以细分使用场景为突破点 探究墨迹天气的体验创新 熟练成就创造——MathWorks全球副总裁Richard Rovner、产品市场经理赵志宏专访 Objective-C编码规范:26个方面解决iOS开发问题 豌豆机器小组发布最新WRTnode2R,支持华为Liteos、QQ物联与AllJoyn [新书推荐]Node.js项目实践:构建可扩展的Web应用 【简讯】Perl 5.22.0 发布,大幅改进代码! 【征文】特别策划——群雄逐鹿共话新型数据库 针对DCloud侵权质疑,APICloud发布声明 《近匠》小鱼天气,中国风与细粒度空气质量检测 Xcode 7 beta发布,Swift 2.0带来哪些新变化? 《网络设计师教程》P103表5.2中 4B/5B码和4位2进制之间是怎么转换的? COM进程类组件中,在一个接口中加了一个方法,成员变量类型CString,可是不行,那该用什么? 请问那里有 motif toolkit 开发工具下载 一个mysql的问题! 出售软件源代码以及销售权! byte类型的数据如何转化成二进制数,显示给用户(如8-》0000 1000) 代征:精通vc的深圳朋友,精通网络通讯的开发和多媒体处理。 20分求助!这条警告是什么原因呀?怎么解决 ?LINK : warning LNK4089: all references to "SHELL32.dll" discarded by /OPT:REF 局域网的文件共享传输是基于什么协议的? windows and dos ??? 请问大家几个技术问题!!谁能回答阿!比较着急!:) 有没有代替VB里的PICTUREBOX 的控件,VB里的不好用?????????? 我是新手,请问JSP有些什么开发软件?比如JAVA用JBUILDER。。。 请问知道整型值a=97,什么函数可以得到"a"呢?即97->"a"通过什么函数呢? 如何将十进制数转换成二进制数 函数对象的简单问题 喜欢仙剑的朋友请进。:) 恭喜恭喜? 我想制作C++ Builder4工程的安装程序,不知道用什么软件,请大家帮忙。谢谢! 请问大家几个技术问题!!谁能回答阿! 我是ASP初学者,请求一个简单的问题,Help!!! 有没有关于installshield6的书, 快看呀!我真的要不行了! 请教大家一个术语吧! 低手问题,关于Form中的数据问题,谢了。 如何用PictureBox控件显示GIF图?特急!!!!!! 单文档多视(急!) 想学delphi中关于database方面的内容,不晓得哪本书好,大家推荐好吧? “CSDN准备推出海外图书邮购服务,首批是侯捷的著作和译作” 什么时候可以开始? 谁能介绍一下嵌入开发领域比较成熟的产品?他们的功能、性能如何 关于Autocad字体的问题 在 ActiveForm 中如何初始本地数据模块!菜鸟问题! (const char *)&p转化为delphi语言该是什么? ####我拼了命也要问出这个问题的答案########## 怎样才可以描述点击窗口右上角的“x”时所发生的事件,请给个例子,谢谢了! 哪儿有Install anywhere 4下载 庆祝kylix2001,终于知道叫什么好了,耶………… VB,请问set obj=new class 和 dim obj as new class的区别????????? install anywhere 4 哪儿有下载? GGMM,向我灌水..... 如何截获视频卡串送过来的图像。 高级程序员,在weblogic上做j2ee开发半年多,jsp一年左右,求职。 那里有PB的反编译工具? ~~~~~~大家注意了: wjyasd(即使用FPE改了钱,也绝不能忘记艰苦朴素的优良作风) 这个帐号…… 关于动态连接与静态连接的问题,送分了!!! Delphi6又多了那么多的控件。每个都要去研究么??? 哪里有RSA加密的delphi源代码下载呀? 一个WINDOWS编程的问题 bind sock return WSAENOTSOCK error! why... ...? 菜鸟问路: 一定送分 可否用PB6做触摸屏中的程序,即。。。。。。 读课文填表,遵循 瘦 字,看看作者是怎样把鲁迅先生的形象写具体的怎样的瘦\x05 观察位置、条件\x05怎样具体描写鲁迅先生的形象\x05 远、暗\x05\x05 走了出来\x05\x05 抽书、递书\x05\x05 面对面 \x0 赞美手指的作文 在音乐之都维也纳课文中的摇篮指什么 关于父爱母爱的作文 550--600字左右是的 根据六年级课文《千百年梦圆在今朝》一文填表.时间 事件 意义明代 人类首次火箭飞行失败 横着看,如时间 事件 意义,填问号处 我手指的这篇作文怎么写 关于父爱母爱的作文350个字左右 丰子恺 手指 这篇课文的中心 模仿手指的作文 找一篇500字左右的作文《我心中的爱》关于父爱,母爱的. 丰子恺《手指》的原文要原文! 文章《手指》 关于父爱或母爱的200字作文200字,一定是200字左右!不用多!用动作描写或外貌描写, 丰子恺的手指是什么文章属于什么类型的,比如记叙文之类的 手指 作文 关于父爱母爱的作文500字左右 有奖励哦最好带有侧面描写哦!我不想要重复的哦!百度上能收到的我不要的哦!。。。(*^__^*) 嘻嘻……谢谢大家! 模仿丰子恺的手指写文章急用!大哥大姐帮帮忙,好的给15分 六年级下册《手指》 课文解说,告诉我们了一个什么样的道理? 感动作文的结尾快 丰子恺手指 初读课文,说说本文写了一件什么事?文章开门见山先写 ,再写 ,最后阐明 . 课文 手指大拇指形状特点不美,作者是从--------,--------,--------,这三个方面进行描写的 《一件令我感动的事》作文结尾写汶川地震的事结尾怎么写今天要 《忆读书》主要内容 六年级下册第五课《手指》,五个手指的长处和短处及给我们的启示是什么?读了这篇课文,谈谈自己的体会! 感动的作文 结尾关于母爱 忆读书主要内容快, 手指 这篇课文中五个手指的性格是什么? 求一些关于父爱的作文的素材 去几个例子,别太复杂,很急,快 忆读书的主要内容 文章怎样概括主要内容? 写父爱作文的素材有没有? 忆读书这篇课文的主要内容 要用简洁的语言概括选文的内容 求《彷徨》中每篇文章的主要内容和中心思想.11篇都要哦! 有没有关于父爱和母爱的文章,诗,素材和事例之类的 用一句话来概括《忆读书》的主要内容还有好多 一,结合语境,体会下面句子中加点词语的表达效果其中有一幅画的是希金斯身穿(身穿是带点字),涉水过河,一首提(提字带点)灯笼,一手拿 记金华的双龙洞,主要内容,分段,讲解,中心思想,作者背景,文章背景…… 父爱 作文素材要你自身的,不要他人的.要新颖的,不要太俗的像关于生病被照顾的,下雨送伞的等等都不要 丰子恺的《手指》主要内容 谁能告诉这篇文章的中心思想和主要内容!看完这篇文章,相信你一定会明白保险是什么了.寿险到底是什么?寿险对人类而言:是每个人对他自己及家庭应尽的责任以及是一种支付人生必需费用 如何理解课文的主要内容 丰子恺 手指 主要内容 谁有这篇文章的主要内容和中心思想啊?是主要内容和中心思想.越简练越好! 用简单的语言把 丝绸之路 这篇课文的主要内容以及你的体会,感受写下来. 走遍天下书为侣的主要内容 这篇文章的主要内容和中心思想分别是什么?《孩子与鸟儿》张秀亚 爸爸的花儿落了的整体感知与主要内容还有我们可以从哪些细节理解与深入课文的各方面 小学五年级语文3课走遍天下书为侣的主要内容是什么 问下这篇文章的主要内容看了一部电视片,是关于埃及的.说到埃及,就不能不说金字塔.主持人极尽赞美之词赞美金字塔.对于金字塔,怎么赞美都是不过分的.末了,主持人又说:世界上只有两种 整体感知,根据课文内容默写.《爱莲说》既写了莲花的美丽,又歌颂了莲花_________的高尚品质《爱莲说》的中心句是:_________公园画展,观赏杜丹的人总比观赏其他花的人多,用《爱莲说》中的 《走遍天下书为侣》课文 《只有你才能欣赏》 我这篇文章的主要内容快,就现在! 读《黄河之水天上来》这篇课文,给你感受最深刻的是什么内容?并写一写你从中体会到了什么? 走遍天下书为侣课文《走遍天下书为侣》课文 概括《鲜花》这篇文章的主要内容!急呀! 1、手指这篇文章采用了什么的表达方法,语言怎么样 2、照样子写句子 匆匆那篇课文__有__的时候 要3个 走遍天下书为侣这篇课文中表达的主要意思是什么? 音乐之都维也纳这篇课文的中心句 读课文 填表 看不见的大力士段落 小标题 压缩空气的用途 原理 2 3 4 类似《手指》的作文在小学六年级的课文里有《手指》这篇文章,能帮我找一下类似他的文章吗?急用. 音乐之都维也纳课文的最后一句
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn