说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据基准测试专题论坛:基准测试是一把尚未完成的尺子

HTML文档下载 WORD文档下载 PDF文档下载
在2013BDTC上,来自Cisco、俄亥俄州立大学、中科院计算所、西北工业大学、 清华大学、中国人民大学、 华东师范大学的专家们分享了自己这一年在大数据领域的实践结果。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会——2013中国大数据技术大会(Big DataTechnology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


图:中国人民大学信息学院院长、教授 杜小勇

在12月6日上午进行的大数据基准测试主题论坛中,中科院计算所研究员、博士生导师詹剑锋和中国人民大学信息学院院长、教授杜小勇担任主持。TPC联合主席、Cisco高级工程师Raghu Nambiar,IEEEFellow、俄亥俄州立大学计算机与工程系教授Dhabaleswar K.Panda,中科院计算所研究员、博士生导师詹剑锋,中国人民大学副教授陈跃国,华东师范大学教授钱卫宁针对大数据基准的制定标准分享了他们的经验。

TPC联合主席、Cisco高级工程师Raghu Nambiar:工业大数据基准的过去、现在和未来


图:TPC联合主席、Cisco高级工程师 Raghu Nambiar

Raghu Nambiar具体介绍了合成式基准、应用式基准和产业基准。在谈到产业基准时,他认为,在过去20年里,产业基准起到了很大的作用。在制定行业的标准时,性能、持有成本和能源效率是成功的三大关键。产业界标准的基准都扮演了非常重要的作用,进一步推动了计算机产业科学的发展。买方可能要选择购买一种系统的同时也会考虑别的系统,所以对他们来讲,良性的竞争是十分重要的。在谈到大数据正在如何改变世界的时候,Raghu列举了四个角度:

  • 在所有垂直行业的IT生态中,大数据扮演的角色的作用正在逐渐完整;
  • 大数据是政府和研究机构谈论最多的话题之一;
  • 大数据的面临的挑战可以总结成5V:Volume(数据量),Velocity(速度),Varity(种类), Value(价值), Veracity(精确);
  • 大数据正在成为3I的核心:Investments(投资), Innovation(创新),Improvization(无固定搭配)。

俄亥俄州立大学教授Dhabaleswar K.Panda:社交网络技术和基准对于Hadoop的冲击


图:IEEE Fellow、俄亥俄州立大学计算机与工程系教授 Dhabaleswar K.Panda

Dhabaleswar K.Panda介绍了社交网络技术和基准对于Hadoop的冲击。同时还单独介绍了RDMA,既远程DMA,它可以把数据直接推到存储器,无需接受器,不用等待适配器,这也是RDMA中非常重要的部分。在提到大数据的未来,他提出了三个期望:

  • 在高层的设计改变问题仍然继续解决;
  • 加速器在大数据中的作用会带来额外的影响;
  • 为了更快速地做出扩展性更高的分析,设计阶段中要更多考虑流行的集群和Hadoop的中间设备。

中科院计算所研究员,博士生导师詹剑锋:系统和体系结构的大数据基准测试程序


图:中科院计算所研究员,博士生导师 詹剑锋

詹剑锋与大家分享了面向系统和体系结构的大数据基准测试程序的经验。他认为,大数据依赖于内存访问,成本的问题很重要。关于TPC,他总结到,TPC现在一半是技术,一半是政治。詹剑锋作为项目发起人在6个月之前进行的Benchmarking,初衷是为了将各种各样的英文术语进行统一。

西北工业大学副教授张晓:大数据存储与访问测试基准


图:西北工业大学副教授 张晓

张晓介绍了海量大数据从产生到大变革和面对变革所要具备的存储和管理方法。他认为,大数据在产生、保存、访问时都对存储系统有较高的要求,这其中包括了高并发、高吞吐量的聚合访问带宽以及高可扩展性。张晓还从四个方面介绍了他们的评测体系构成:

  • 评测指标:建立反映海量存储系统特性的,全面的评测指标;
  • 评测方法:根据指标的定义,确定采用何种方法对存储系统进行测试。包括通用和特有的评测方法;
  • 评测工具:采用国际通用或自行开发的工具进行评测,开发各自的评测工具;
  • 应用场景:包括trace采集结果,IO负载模型,故障和可管理事件模型。

清华大学教授、软件学院副院长王建民:工业大数据测试基准初探


图:清华大学教授、软件学院副院长 王建民

王建民介绍了工业大数据的特点、相应的测试基准并分享了自主研发的测试框架及实践结果。他指出,世界上95%的工业产品已经饱和,200多种工业产品是中国第一。在总结工业大数据的未来时,王建民提到:

  • 工业大数据有它独特的特点,需要具体到每一个问题中;
  • 工业大数据需要低成本的方案;
  • 作为制造业大国,中国应该更多地关注工业大数据。

中国人民大学副教授陈跃国:SQL-on-Hadoop系统的性能测试及比较研究


图:中国人民大学副教授 陈跃国

陈跃国介绍了关系型结构大数据的概念以及特点,并阐述了TPC-DS基准对于实时大数据分析应用的局限性。近期,陈跃国进行了一次大规模的测试,利用人民大学的云平台,使用50台物理机,虚拟出了100个节点,并用使用TPC-DS生成不同规模的关系型数据,测试了开源大数据分析系统。通过这次测试,他们得出的结论如下:

  • 列存储一般对查询性能提升明显,尤其大表是一个包含很多列的表;
  • 绕开MR计算模型,省去中间结果的持久化和MR任务调度的延迟,会带来性能提升;
  • 使用MPP数据库技术对连接查询有帮助;
  • 充分利用缓存的系统在内存充足的情况下性能优势明显;
  • 数据倾斜会严重影响一些系统的性能。

华东师范大学教授钱卫宁:在线社交媒体分析型查询基准评测初探


图:华东师范大学教授 钱卫宁

钱卫宁从基准评测架构、数据生成、负载生成、度量定义等不同角度介绍了名为BSMA的在线社交媒体分析型查询基准评测,并展示、分析了社交媒体数据分析处理在时间线查询、社交网络查询等方面的挑战。对于社交媒体上的分析型查询处理挑战,钱卫宁总结出以下几点:

  • 社交网络查询耗时、耗内存;
  • 数据分布偏斜,不同参数造成截然不同的查询性能;
  • 绕开MR计算模型,省去中间结果的持久化和MR任务调度的延迟,会带来性能提升。但是,这种优势随着数据量增加和查询变复杂而减弱。

CLion 1.0发布,C/C++跨平台集成开发环境 2015超实用的前端开发指南 期待吗?Linux 4.1将引入大量汇编代码变更! TSMC量产16FF+制程,Apple Watch或将采用Finfet技术 谷歌搜索引擎更新 移动端支持不好的网站排名将受影响 《近匠》格知GUECHI,设计师品牌让你离时尚更近 Apple Watch应用开发经验谈:我遇到的那些坑 约吗?UNITE 2015 BEIJING日程全揭晓! 谷歌扩擴增App搜索結果 已抓取300亿App页面 功耗、联网与交互:可穿戴设备操作系统问题解读 李大学离职京东后:转做投资人,助传统产业“互联网+”转型 Skype Translator实现中英实时语音对话 语音翻译领域又一新突破 如何判断自己是否适合自由职业? 创造·连接·成就:UNITE 2015 BEIJING圆满落幕 IT互联网人才招聘市场特点:人少钱多疯狂抢? React Native并非原生 Instagram Apple Watch应用设计师:对原有App全部重新思考 腾讯网移动端H5页面设计实战分享 Kendo UI和AngularJS常见问题解析 Elevator.js:模拟电梯运行的“返回顶部”JS插件 Java,传奇的一生! 约吗?Java二十周年特别策划——寻找Java大牛! 走近英特尔软件技术王牌之师:系统技术和优化部门 新兴技术袭来,Web开发如何抉择? 新创社交平台Tsu 5周註冊用户破百万秘訣 Google Play:助力中国开发者的海外梦想 JPHP——一款基于JVM的新PHP编译器 舌尖上的CTO——小杨生煎的持续交付 《近匠》滴答清单,跨平台云同步的任务管理工具 DJI与优酷土豆战略合作:提升UGC价值,先内容再营销 Android性能优化典范(二) ★在数据窗口中如何同时实现多行操作,如update或delete多行。 请问oracle8i的下载问题! 请问MSDN.net 中文版光盘出了吗??????????????????????? 关于STRING的问题 在IE中程序运行有错误?请指点! JB8做个BMP,奇怪问题 有谁知道*.dns用什么软件打开吗,急!!! 大家给我推荐一个delphi源码网站 Oracle8.17的安装问题,请大家帮忙,急呀!谢谢! csv文件存储求助 问个关于checkboxlist控件的用法! 客户端通过Session Bean 调用 Local EntityBean的问题. 启动j2ee的问题--j2ee -verbose 那里能够下载破解的install shield 5.0 or 5.5 or 6.0? 我想搞网络游戏开发,请教各位的意见 如何在接受表单的ASP文件中,去知晓是这个表单中的哪个'确认按钮'被按下了?? 我的数据库打不开了!!! 连接MySQL数据库服务器? 有谁可以推荐几个国外的比较热的asp论坛,多谢! 我是一个菜鸟,想学asp,希望前辈给指条路 有人知道工程硕士是怎么回事吗?和普通的有什么不同啊,可以考普通的博士吗?谢谢阿 access数据库为何备份出错? 有了主键,还需要建立索引吗?解决送分。 在Oracle的逻辑数据库结构中有个概念叫"范围"的是什么意思呀? 能将javascript改写成其它语言吗? 为什么动态创建的控件不能保存? HelpProvider控件的问题 如何把几个dbf表中的数据导到一个表中? 软件汉化有几种方法呢? 各位大虾,求助,在线急等! 看看我能放多少分.... 急啊,我刚买的电脑就出问题了~~~~ 大虾有没有《人月神话》的电子版啊? 天那,资源泄漏 怎样用Wingate绑定IP 高手请进!! 求WSAD 5.0 中文开发文档。 如何做rich Client? VB6在windowsXP中,无法用RmDir命令删除文件夹,只能删除文件,怎么回事?如何解决?在windows98中可以删除。 一个EXCEL的问题,请HELP update 没有加 where 字句导致误操作 怎么恢复(十万火急) ? 为什么国内域名比国际的还贵呢? BDE问题 请教三层结构中数据库访问 的问题 请教大虾怎样编写《网络连接监测》 ,还有怎样进行网络流量监测?(附源代码)多谢! 小问题 如何求总? 大家来帮帮忙 怎样在IE客户端用脚本取得本地机器名和本地默认打印机名称?盼高手赐教。 请教三层结构中数据库访问的问题 除了变量名不是内存地址,其他名都是地址。对么? 查尔斯的阿Q精神?日欲解禁武器出口 妄图“一箭三雕”印东北部连环爆炸5人亡埃前少校疑刺杀内政部长纽约华裔社区发生命案5人被杀16名沙特女性因驾车挨罚美国佛州举办基韦斯特大街化妆舞会游行窃听默克尔,奥巴马早就知情?亚洲最大规模“同志”游行争奇斗艳(高土耳其肉夹馍“创始人”在德国去世享年菲律宾:对香港人质事件赔款不用公款 中国游客成韩免税店最大买家 赴韩人数收入分配改革或从初次分配“提低”突破女子3个月内分饰24角骗40名男子 男子与15岁少女发生性关系 因女子胸温州女教师深夜家门口被袭胸(图)美国国家安全局:奥巴马对默克尔被监听温州办公用房改革搁浅 官方表示执行起感召侨商回归 聚焦浙江发展浙商大会吹响转型集结号 签约项目总投知名浙商代表倡议天下浙商整治农村污水机动车灏昌园罗山湖来穗揽客图文:预制菜肴引发争议父母相亲节明举行莫忘现场报名确认装修style最爱哪一款楚天都市报讯 专访凯迪拉克品牌副总监广州五一前楼市成交放量图文:二本三本将首次实行平行志愿本报联合神农架征集10名旅游体验师我们只研究1+1的问题英语复习各题型有规律听粤曲?品美食?随你啦!图文:金钟罩VS铁布衫 看谁先出手今年房价恐“破7”五一优惠多宜出手农转居养老办法将调整卖房时须公示物业收费标准广州最有“性格”万科净利12年首降一季度上市房企业绩楚天都市报讯 本报记者李世杰冒充警察抓嫖诈骗 三男子被判刑
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘