说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据基准测试专题论坛:基准测试是一把尚未完成的尺子

HTML文档下载 WORD文档下载 PDF文档下载
在2013BDTC上,来自Cisco、俄亥俄州立大学、中科院计算所、西北工业大学、 清华大学、中国人民大学、 华东师范大学的专家们分享了自己这一年在大数据领域的实践结果。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会——2013中国大数据技术大会(Big DataTechnology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


图:中国人民大学信息学院院长、教授 杜小勇

在12月6日上午进行的大数据基准测试主题论坛中,中科院计算所研究员、博士生导师詹剑锋和中国人民大学信息学院院长、教授杜小勇担任主持。TPC联合主席、Cisco高级工程师Raghu Nambiar,IEEEFellow、俄亥俄州立大学计算机与工程系教授Dhabaleswar K.Panda,中科院计算所研究员、博士生导师詹剑锋,中国人民大学副教授陈跃国,华东师范大学教授钱卫宁针对大数据基准的制定标准分享了他们的经验。

TPC联合主席、Cisco高级工程师Raghu Nambiar:工业大数据基准的过去、现在和未来


图:TPC联合主席、Cisco高级工程师 Raghu Nambiar

Raghu Nambiar具体介绍了合成式基准、应用式基准和产业基准。在谈到产业基准时,他认为,在过去20年里,产业基准起到了很大的作用。在制定行业的标准时,性能、持有成本和能源效率是成功的三大关键。产业界标准的基准都扮演了非常重要的作用,进一步推动了计算机产业科学的发展。买方可能要选择购买一种系统的同时也会考虑别的系统,所以对他们来讲,良性的竞争是十分重要的。在谈到大数据正在如何改变世界的时候,Raghu列举了四个角度:

  • 在所有垂直行业的IT生态中,大数据扮演的角色的作用正在逐渐完整;
  • 大数据是政府和研究机构谈论最多的话题之一;
  • 大数据的面临的挑战可以总结成5V:Volume(数据量),Velocity(速度),Varity(种类), Value(价值), Veracity(精确);
  • 大数据正在成为3I的核心:Investments(投资), Innovation(创新),Improvization(无固定搭配)。

俄亥俄州立大学教授Dhabaleswar K.Panda:社交网络技术和基准对于Hadoop的冲击


图:IEEE Fellow、俄亥俄州立大学计算机与工程系教授 Dhabaleswar K.Panda

Dhabaleswar K.Panda介绍了社交网络技术和基准对于Hadoop的冲击。同时还单独介绍了RDMA,既远程DMA,它可以把数据直接推到存储器,无需接受器,不用等待适配器,这也是RDMA中非常重要的部分。在提到大数据的未来,他提出了三个期望:

  • 在高层的设计改变问题仍然继续解决;
  • 加速器在大数据中的作用会带来额外的影响;
  • 为了更快速地做出扩展性更高的分析,设计阶段中要更多考虑流行的集群和Hadoop的中间设备。

中科院计算所研究员,博士生导师詹剑锋:系统和体系结构的大数据基准测试程序


图:中科院计算所研究员,博士生导师 詹剑锋

詹剑锋与大家分享了面向系统和体系结构的大数据基准测试程序的经验。他认为,大数据依赖于内存访问,成本的问题很重要。关于TPC,他总结到,TPC现在一半是技术,一半是政治。詹剑锋作为项目发起人在6个月之前进行的Benchmarking,初衷是为了将各种各样的英文术语进行统一。

西北工业大学副教授张晓:大数据存储与访问测试基准


图:西北工业大学副教授 张晓

张晓介绍了海量大数据从产生到大变革和面对变革所要具备的存储和管理方法。他认为,大数据在产生、保存、访问时都对存储系统有较高的要求,这其中包括了高并发、高吞吐量的聚合访问带宽以及高可扩展性。张晓还从四个方面介绍了他们的评测体系构成:

  • 评测指标:建立反映海量存储系统特性的,全面的评测指标;
  • 评测方法:根据指标的定义,确定采用何种方法对存储系统进行测试。包括通用和特有的评测方法;
  • 评测工具:采用国际通用或自行开发的工具进行评测,开发各自的评测工具;
  • 应用场景:包括trace采集结果,IO负载模型,故障和可管理事件模型。

清华大学教授、软件学院副院长王建民:工业大数据测试基准初探


图:清华大学教授、软件学院副院长 王建民

王建民介绍了工业大数据的特点、相应的测试基准并分享了自主研发的测试框架及实践结果。他指出,世界上95%的工业产品已经饱和,200多种工业产品是中国第一。在总结工业大数据的未来时,王建民提到:

  • 工业大数据有它独特的特点,需要具体到每一个问题中;
  • 工业大数据需要低成本的方案;
  • 作为制造业大国,中国应该更多地关注工业大数据。

中国人民大学副教授陈跃国:SQL-on-Hadoop系统的性能测试及比较研究


图:中国人民大学副教授 陈跃国

陈跃国介绍了关系型结构大数据的概念以及特点,并阐述了TPC-DS基准对于实时大数据分析应用的局限性。近期,陈跃国进行了一次大规模的测试,利用人民大学的云平台,使用50台物理机,虚拟出了100个节点,并用使用TPC-DS生成不同规模的关系型数据,测试了开源大数据分析系统。通过这次测试,他们得出的结论如下:

  • 列存储一般对查询性能提升明显,尤其大表是一个包含很多列的表;
  • 绕开MR计算模型,省去中间结果的持久化和MR任务调度的延迟,会带来性能提升;
  • 使用MPP数据库技术对连接查询有帮助;
  • 充分利用缓存的系统在内存充足的情况下性能优势明显;
  • 数据倾斜会严重影响一些系统的性能。

华东师范大学教授钱卫宁:在线社交媒体分析型查询基准评测初探


图:华东师范大学教授 钱卫宁

钱卫宁从基准评测架构、数据生成、负载生成、度量定义等不同角度介绍了名为BSMA的在线社交媒体分析型查询基准评测,并展示、分析了社交媒体数据分析处理在时间线查询、社交网络查询等方面的挑战。对于社交媒体上的分析型查询处理挑战,钱卫宁总结出以下几点:

  • 社交网络查询耗时、耗内存;
  • 数据分布偏斜,不同参数造成截然不同的查询性能;
  • 绕开MR计算模型,省去中间结果的持久化和MR任务调度的延迟,会带来性能提升。但是,这种优势随着数据量增加和查询变复杂而减弱。

DraggableDestroy()-JQuery API Droppable(options)-JQuery API DroppableDestroy()-JQuery API Sortable(options)-JQuery API SortableAddItem(elem)-JQuery API $.meta.setType(type, name)-JQuery API data()-JQuery API disableTab(position)-JQuery API enableTab(position)-JQuery API tabs(initial, settings)-JQuery API triggerTab(position)-JQuery API triggerTab(position)-JQuery API Tooltip(settings)-JQuery API PHP简介-PHP初学入门教程1 选择PHP的理由 -PHP初学入门教程2 从一个简单的程序来了解PHP -PHP初学入门教程3 PHP语法基础 -PHP初学入门教程4 建设一个简单的交互网站(一) -PHP初学入门教程5 建设一个简单交互的网站(二) -PHP初学入门教程6 建设一个简单交互的网站(三)密码验证 -PHP初学入门教程7 PHP文件上传 -PHP初学入门教程8 为站点添加投票功能 -PHP初学入门教程9 广告条轮播-PHP初学入门教程10 操作MySQL数据库实现简单的留言板-PHP初学入门教程11 使用PHP来操作Oracle数据库 -PHP初学入门教程12 技术杂项PHP教程结束篇 -PHP初学入门教程13 .NET中DataSet和DataReader的区别与转换 CGI技术及其开发(二)-Delphi资料 CGI技术及其开发(一)-Delphi资料 COM/DCOM中如何传递数组-Delphi资料 COM与DCOM的区别与联系-Delphi资料 为了忘却的纪念(今天是咱们的国耻日) 关于JSP菜单实现的问题? 如何判断数组是否被赋值? 用MSCHART的二维折线图如何实现左右坐标分别标识不同的曲线? 请问招行的网上银行的在网上点击安装是怎么实现的呀? 100分只是开始。。。 如果回答继续加!! 一个template问题,想不出办法,高手请进 送分题:如何改变dll的调试可执行文件? 大家看看代码 真搞不懂为什么出错??? 如何在表单中设置包含字段http://schemas.microsoft.com/cdo/workflow/response 如何使用VBSCRIPT读取本页文本框中的数据, (不能用表单提交和JAVASCRIPT 能不能?) 我在桌面上执行一个应用程序,运行正常,但用pb中调用run("***.exe")运行是出错,提示是少了某些dll文件 我怎么才能使客户端发过来的经UF8编码的中文URL,还原成GD312,能找到页面? 我用openwithparm(w_1,arg),arg明明传递的是LONG型的数据,为什么用message.longparm接收到的是0,而一定要用message.doubleparm才能正确 问一个sql语句如何写,简单! 征集能够同时输出文本和图形的控件! 急寻bmp转gif的代码 封装在Dll中的窗口焦点问题 为什么我用JBUILDER编译JSP文件,用web run执行后会出现这些情况?? 有谁用过CMPPE2.0协议开发过网关程序的请进 win2000下内存使用的问题? 我每次都结贴子的,不信你们查一下啊,这次再请帮忙,谢谢哦 在公共文件夹如公告窗体的原件与回复件是如何关联的? delphi中form中放了一副图,怎样让图可见而form不可见? 一个关于vba的应用问题?合并文档 英文版的vb中该如何来把一个项目进行打包呢(想把它安装到一台没有装vb 的电脑上) 删除多余的重复记录 如何获取屏幕尺寸? 有人用过EasyPack的仿真器吗? 关于QuickRpt报表存盘后出现乱码的问题。 邮件监测器要怎么写?? 关于Web Browser控件 如何加快蓝点linux的安装速度 access 表中的datetime型字段在delphi中如何使用? 《windows 网络编程技术》是哪个出版社的 小弟正学socket编程,有个问题请教! 微软专家请看: Sybase数据库中的中文存储问题! 连接池在TOMCAT中不可用吗?我是新人。 简单的问题? SOS!!!!!!!!高分赠送!!请教大虾们一个有关MSSQL一个问题!! 我在VB.NET下调用弹出对话框,可是无论click确定还是取消,结果都一样,我写的有什么错误吗? 紧急寻找?????????高分求助 关于dbgril的问题。简单的问题加分哦 为什么不能编译这个头文件? 寻bmp转gif代码 vb.net做的control能在基于c#的web form中使用吗? 白痴问题:使用java有什么好处? 在线:在程序中加载任一网页,用鼠标点击任一超连接,均能捕获所点击连接的文本。该如何做? 至今,我不明白为什么使用友元(friend)函数!(50分赠送) Access如何外连接多个表 有一条与水平方向呈30度角的光线,为了使它沿水平方向射出,平面镜与水平面应成多少度角放置 在比例尺是1:20 000的平面图上,长方形的长是8厘米,宽是5厘米,那么这个正方形的面积是多少?xiexiexiexie 阅兵式的观后感文章350字左右的一篇文章,讲阅兵式的,要详细一点的. 一束光射到平面镜上,入射角是30度,倘使平面镜转动10度则反射角是( )度,反射光线转过( )度 达芬奇的密码中有一幅画是:坐在一个椅子上的女人.这个画叫什么. 秋思 500字 充满阳光的生活 作文600左右就行~今天就要~ 《坐在椅子上的女人》谁画的?什么艺术风格?(现实主义,浪漫主义什么的)谢谢! 阅兵式观后感200字作文一定要是200字的作文,求求了 这里的生活充满阳光500字的作文 为什么女人要少坐椅子 初一秋天的文章 500字左右不要理解太深的文章!急用! 高中800字作文.有好的会加分的当生活以一种快节奏 快餐式的方式渗透到我们身心中时 当我们尽享这种方便与快捷,不断追赶时尚潮流时,似乎很少想到我们所缺失的东西.我们到底缺失了什么 一个圆形花坛的半径是6m,它的外面有一条宽2m的环形小路,求小路的面积 六位同学坐一起,每人坐一张凳子,凳子有3条腿的也有4条腿的,人腿和凳腿的总和为33条.你知道3条腿的凳子是多少吗? 作文 那一次,让生活充满阳光600左右,谢谢了回复一楼:偶作文很烂 一个半径是6m的圆形花坛,在其周围铺了一条3米宽的小路,求小路面积? 七年级(2)班召开班委会,恰好每人坐一张凳子,凳子有三条腿和四条腿两种,人腿与凳子腿共33条,请你探究有多少人参加会议?我要二元一次方程,各位高材生, 春游作文300字 秋天的校园500字 急~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 送别人礼物 作文结尾快 春游作文300字谁可以告诉我啊!复制的别来! 女人坐着的时候总是喜欢把腿翘起来,有时候还蹲在凳子上是怎么回事生理上正常吗?为什么男人不? 礼物作文的好结尾送别人礼物 春游作文300字别复制啊!复制的不要来! 有一个圆形花坛,他的周围有一条环形小路,花坛直径10米,小路宽2米,花坛和小路共占地多少平方米? 关于礼物的作文结尾 关于传统佳节.民俗民风的作文 600字 女生分开腿坐在椅子上时会不会感觉比并着腿坐椅子舒服?如图 会感觉下面很通风很凉快吗? 2009年阅兵式作文(不要观后感)(400字左右)主要描写一下阅兵方阵,开头和结尾好一些.要自己写的,别抄别人的!我要的是作文,不是指导! 关于传统佳节的作文多来几篇! 文化场上有一个直径为8.2m的圆形花坛,在花坛周围铺了一条宽1.2M的环形小路,这条小路的面积是多少平方米? 特殊的礼物作文结尾 我的生活充满阳光作文叙事作文600字 每人坐一个凳子,凳子有三条腿的,有四条腿的,人腿与凳子腿共33条,有几个人?请把解题过程一起写上. 这是什么椅子,还是什么凳子﹖ 一个圆形花坛,半径3厘米,如果半径增加1米,那么花坛的面积增加多少平方米? 小明在比例尺是1:100的房屋设计图上,量得房屋的客厅的长6cm,宽4cm.小明的爸爸准备把客厅的地面铺上边长4dm的正方形地砖,大约需要多少块这样的地砖?还有单位不是一样的,注意啊 阅兵式观后感400字求了 要建造一个面积为314平方米的圆形花坛,他的半径是多少?(π取3.14) 小兰在比例尺是百分之1的房屋设计图上,量得自家房屋平面图长14厘米,宽9厘米.小兰的爸爸准备把房屋的地面铺上边长为0.6米的正方形地砖,大约需要多少块这样的地砖? 礼物作文结尾关于礼物的 一个圆形花坛半径是10米,扩建后,半径增加6米.花坛的面积增加了多少平方米? 东湖公园有一个半径为8m的圆形花坛,要在其周围铺设2m的水泥路,这条水泥路的面积是多少平方米? 凳子和椅子有区别吗 小丹在比例尺是1:100的房屋设计图上,量的自家房屋平面长16CM,宽8CM.小丹的爸爸准备把房屋的地面铺上变长为0.8M的正方形地砖,大约需要多少快这样的地砖? 一个半径为8M的圆形花坛,要在其周铺设2M宽的水泥路,这条水泥路的面积是多少平方米? 阅兵式观后感 400字 清明节作文350到400字 我的生活充满阳光 要新的! 阅兵式观后感作文急!3Q 《那一天》高中作文800字以上 急求【春节节日感受作文】不要抄的! 阅兵式观后感作文,尽量不要抄别人的,要400字以上,我已把我所有的财富值都捐出来咯.55555555…… 体验爸爸妈妈的一天作文500字 求一篇《春节节日感悟》的作文450字左右,不要全部抄袭改一点就好 关于初一秋天的作文500字 在比例尺是1:400的图书大厦平面图上,量得图书大厦长20厘米、宽8.5厘米,这座大厦的实际占地面积是 在比例尺是1:100的平面图上,量的一块长方形的长是15厘米,宽是8厘米.这块地的实际面积是多少?能用方程么? 一个圆形花坛的直径是4m,这个花坛的面积是多少?如果在这个花坛修一条宽1m的环形小路,这条小路的面积是多少?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘