说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据基准测试专题论坛:基准测试是一把尚未完成的尺子

HTML文档下载 WORD文档下载 PDF文档下载
在2013BDTC上,来自Cisco、俄亥俄州立大学、中科院计算所、西北工业大学、 清华大学、中国人民大学、 华东师范大学的专家们分享了自己这一年在大数据领域的实践结果。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会——2013中国大数据技术大会(Big DataTechnology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。


图:中国人民大学信息学院院长、教授 杜小勇

在12月6日上午进行的大数据基准测试主题论坛中,中科院计算所研究员、博士生导师詹剑锋和中国人民大学信息学院院长、教授杜小勇担任主持。TPC联合主席、Cisco高级工程师Raghu Nambiar,IEEEFellow、俄亥俄州立大学计算机与工程系教授Dhabaleswar K.Panda,中科院计算所研究员、博士生导师詹剑锋,中国人民大学副教授陈跃国,华东师范大学教授钱卫宁针对大数据基准的制定标准分享了他们的经验。

TPC联合主席、Cisco高级工程师Raghu Nambiar:工业大数据基准的过去、现在和未来


图:TPC联合主席、Cisco高级工程师 Raghu Nambiar

Raghu Nambiar具体介绍了合成式基准、应用式基准和产业基准。在谈到产业基准时,他认为,在过去20年里,产业基准起到了很大的作用。在制定行业的标准时,性能、持有成本和能源效率是成功的三大关键。产业界标准的基准都扮演了非常重要的作用,进一步推动了计算机产业科学的发展。买方可能要选择购买一种系统的同时也会考虑别的系统,所以对他们来讲,良性的竞争是十分重要的。在谈到大数据正在如何改变世界的时候,Raghu列举了四个角度:

  • 在所有垂直行业的IT生态中,大数据扮演的角色的作用正在逐渐完整;
  • 大数据是政府和研究机构谈论最多的话题之一;
  • 大数据的面临的挑战可以总结成5V:Volume(数据量),Velocity(速度),Varity(种类), Value(价值), Veracity(精确);
  • 大数据正在成为3I的核心:Investments(投资), Innovation(创新),Improvization(无固定搭配)。

俄亥俄州立大学教授Dhabaleswar K.Panda:社交网络技术和基准对于Hadoop的冲击


图:IEEE Fellow、俄亥俄州立大学计算机与工程系教授 Dhabaleswar K.Panda

Dhabaleswar K.Panda介绍了社交网络技术和基准对于Hadoop的冲击。同时还单独介绍了RDMA,既远程DMA,它可以把数据直接推到存储器,无需接受器,不用等待适配器,这也是RDMA中非常重要的部分。在提到大数据的未来,他提出了三个期望:

  • 在高层的设计改变问题仍然继续解决;
  • 加速器在大数据中的作用会带来额外的影响;
  • 为了更快速地做出扩展性更高的分析,设计阶段中要更多考虑流行的集群和Hadoop的中间设备。

中科院计算所研究员,博士生导师詹剑锋:系统和体系结构的大数据基准测试程序


图:中科院计算所研究员,博士生导师 詹剑锋

詹剑锋与大家分享了面向系统和体系结构的大数据基准测试程序的经验。他认为,大数据依赖于内存访问,成本的问题很重要。关于TPC,他总结到,TPC现在一半是技术,一半是政治。詹剑锋作为项目发起人在6个月之前进行的Benchmarking,初衷是为了将各种各样的英文术语进行统一。

西北工业大学副教授张晓:大数据存储与访问测试基准


图:西北工业大学副教授 张晓

张晓介绍了海量大数据从产生到大变革和面对变革所要具备的存储和管理方法。他认为,大数据在产生、保存、访问时都对存储系统有较高的要求,这其中包括了高并发、高吞吐量的聚合访问带宽以及高可扩展性。张晓还从四个方面介绍了他们的评测体系构成:

  • 评测指标:建立反映海量存储系统特性的,全面的评测指标;
  • 评测方法:根据指标的定义,确定采用何种方法对存储系统进行测试。包括通用和特有的评测方法;
  • 评测工具:采用国际通用或自行开发的工具进行评测,开发各自的评测工具;
  • 应用场景:包括trace采集结果,IO负载模型,故障和可管理事件模型。

清华大学教授、软件学院副院长王建民:工业大数据测试基准初探


图:清华大学教授、软件学院副院长 王建民

王建民介绍了工业大数据的特点、相应的测试基准并分享了自主研发的测试框架及实践结果。他指出,世界上95%的工业产品已经饱和,200多种工业产品是中国第一。在总结工业大数据的未来时,王建民提到:

  • 工业大数据有它独特的特点,需要具体到每一个问题中;
  • 工业大数据需要低成本的方案;
  • 作为制造业大国,中国应该更多地关注工业大数据。

中国人民大学副教授陈跃国:SQL-on-Hadoop系统的性能测试及比较研究


图:中国人民大学副教授 陈跃国

陈跃国介绍了关系型结构大数据的概念以及特点,并阐述了TPC-DS基准对于实时大数据分析应用的局限性。近期,陈跃国进行了一次大规模的测试,利用人民大学的云平台,使用50台物理机,虚拟出了100个节点,并用使用TPC-DS生成不同规模的关系型数据,测试了开源大数据分析系统。通过这次测试,他们得出的结论如下:

  • 列存储一般对查询性能提升明显,尤其大表是一个包含很多列的表;
  • 绕开MR计算模型,省去中间结果的持久化和MR任务调度的延迟,会带来性能提升;
  • 使用MPP数据库技术对连接查询有帮助;
  • 充分利用缓存的系统在内存充足的情况下性能优势明显;
  • 数据倾斜会严重影响一些系统的性能。

华东师范大学教授钱卫宁:在线社交媒体分析型查询基准评测初探


图:华东师范大学教授 钱卫宁

钱卫宁从基准评测架构、数据生成、负载生成、度量定义等不同角度介绍了名为BSMA的在线社交媒体分析型查询基准评测,并展示、分析了社交媒体数据分析处理在时间线查询、社交网络查询等方面的挑战。对于社交媒体上的分析型查询处理挑战,钱卫宁总结出以下几点:

  • 社交网络查询耗时、耗内存;
  • 数据分布偏斜,不同参数造成截然不同的查询性能;
  • 绕开MR计算模型,省去中间结果的持久化和MR任务调度的延迟,会带来性能提升。但是,这种优势随着数据量增加和查询变复杂而减弱。

如何让程式只执行一份?-Delphi资料 如何让程序只执行一次?-Delphi资料 如何删除一个控件的子控件-Delphi资料 如何识别显示器当前的分辨率-Delphi资料 如何为Delphi程序添加事件和事件处理器 如何写小执行程序-Delphi资料 如何隐藏桌面上的图标-Delphi资料 如何用API更改改计算机名字-Delphi资料 如何用Delphi映射网络驱动器? 如何在字符串截取中避免分割到半个汉字-Delphi资料 如何知道用户点击了窗口的最小化按钮?-Delphi资料 如何中断线程的执行-Delphi资料 如何终止一个线程-Delphi资料 如何转让控制权-Delphi资料 使用Delphi 4.0编写多线程 使用Delphi获取系列信息 使用DELPHI实现文本文件显示和声音同步播放 为系统菜单添加新菜单-Delphi资料 显示密码编辑框中的密码-Delphi资料 写小执行程序-Delphi资料 隐藏和显示Windows的任务条-Delphi资料 隐藏桌面上的图标-Delphi资料 用DELPHI编制Windows95下的钩子函数 用Delphi的THML控件实现触摸屏的使用 用Delphi实现禁止用户关闭Window9X 用Delphi制作能够干净地删除自己的程序 用DELPHI 做一个简单的屏幕保护程序 用Enter键代替Tab键-Delphi资料 用修改文件时间的方法来加密文件-Delphi资料 用最原始的方法编制程序-Delphi资料 运用Delphi编写Windows NT中服务程序 vc++7.0只能手工添加消息处理函数吗?因为它没有了建立类向导 一个程序和一个问题 sqlserver数据表拷贝问题 为什么发不出去? 如何实现在linux下面对声音的控制! 如何获取当前操作系统是什么?(98、2000、NT或是其它) 有没有喜欢用ShortString与Byte类型的人?好像很少?~呵呵~大家评论一下有什么不好的吗? 请各位帮忙!! 一个applet的问题!70分,在线等待 当字段的值为null时,怎样获取? 向各路高手求助,哪里有novell网操作方面的书籍或者资料 ********很久没来这了,我今天升级两颗星啦,心情高兴,大散分啦!******** 哪里有比较好的网上书店?(计算机类) 请看这句有什么问题 dll的路径常识,大家帮我回答一下 在Web Forms里用Windows Forms控件 大家想一想! 在校程序员的困惑 要把服務器放在家里.現有條件:ADSL,LINUX 7.3,國際域名一個.可以嗎?還要什麼設置?thx 怎样消除11001#socket错误? 如何得到文件的长度,很简单的问题 脚本错误? 物化视图的数据整理问题 如何实现把一个BMP等比例缩放. 强烈建议版主封掉 theHanOfCC(我流) 的ID,他是一个人渣!! 同意的请进来签名!!! 在校程序员的困惑 有关PB数据窗口的检索参数 哪里有比较多的计算机书籍下载,请推荐几个。 急~~~高分求救~! 谢谢duduwolf,请来领分 类似这样的字符串“Thu Sep 5 14:05:56 2002”,怎么转化为Date对象? 安装问题,很简单,小弟菜鸟,望各位兄长多多关照啦!谢了! MDI窗口出错 新手请教。如何在cgi程序中得到由url传递过来的值 ISA 2K发布多个WEB 服务器问题,(我都要疯了) 我的xp怎么不能装vc6.0?再线等待!(20分) 急~~~高分求救~! 请教各位师兄。这个可以实现吗? 向高手请教(如何把客户端的图片传到服务器?) 各位大虾.水晶报表的关键一步了.实现了我就可以水晶报表的打印了! 急急!!!!怎样才能取得java函数传过来的参数呢? %%%%非高手勿進%%% CSDN有些人素质太差! IShellFolder::GetDisplayNameOf 如何获得全名? 代理Type分别为transparent,anonymous,high anonymity,优劣? 为感谢computersim在大力相助,特奉送100分,快来拿啊 请教网上书店系统的设计思想和例子。 VC中使用FLASH的OCX控件如何取得Movie的原始大小,且如何按指定比例缩放?问题解决后必给分。 有关“隐藏”,“覆盖”的一些问题: 如何把A库中A表原样复制到B库中去? 怎样取得鼠标点击DataGrid控件时是哪一行,哪一列呢?(C#) 混合物只含一种元素我要的是例子! 人体内的微量铁元素呈几价 英语翻译别用软件啊亲,翻得好多给100分,谢啦说到做到如下:为了提振低迷的美国经济,9·11事件之后美联储实行了低利率政策,实际上是一种极度宽松的货币政策,从2001年9月开始,美联储连续降 大家都很喜欢他,你也喜欢他.怎么表达 用英文 怎样背化学元素表 英语翻译:国际金融与商业中心 磁体指南北的性质称为______性. 世界上有恐龙化石么. 体内铁元素过低怎么办 220KV升高电压汇流母线能选用矩形母线吗? 寻找研磨油.要求(50un至几个微米)金刚石微粉调配的液体能长时间(几个小时)不易沉淀 A+O2=B+O2=C+H2O=D+铜生成B.A为非金属单质,在常温下是固体!推出ABCD是什么物质 伦敦奥运会的微标的含义是什么用英文如何表达 世界上是哪一年最先发现恐龙化石的?是哪一年呢? a-e都为硫的化合物.1,a+NAOH-----B+H2O 2,B+O2----D 3,C+NAOH--D+H2O 4 ,E+NAOH不足量---C+H2O 只含有一种元素的物质可能是纯净物也可能是混合物对吗?只含有一种元素的物质可能是纯净物也可能是混合物对吗?不懂得 听说你要生日了、我提前祝你生日快乐、希望我是第一个祝福你的人 英语怎么解释 怎样巧记化学方程式和化学元素? “含有多种元素的纯净物一定是混合物”这句话为什么错? Master in Science of Engineering degree 如题所示,Master in Science of Engineering degree 化学元素急记或者把元素写成唐诗宋词之类的?谁可以提供?THANKS! 混合物中可能只含有一种元素吗纯净物必须是一种化学物质. Master of Science in Mechanical Engineering可以理解为机械工程硕士吧? 90吨电弧炉是否用90吨废钢来炼钢? 双母线倒母线时,检查停电母线的所有隔离开关位置时应怎样填写? Master of Engineering和Master of Engineering Studies有什么区别? 食品添加剂使用时应符合什么基本要求? 请问,为什么,我把一颗钉子,不知道是不是纯铁,扔到浓盐酸里,把钉子拿出来,变成了黑色,而且还有磁性.难道他俩反应生成了fe3o4?,我用的是工业盐酸,有fecl3的.请问为什么, master of engineering practice和master of engineering的区别?如题,哪位知道这两者的区别的,烦请告知,请勿直接拿英翻中来回答,我想知道具体的不同之处, :[Cu(H2O)4]2+是什么意思 如右图所示,两块完全相同的磁铁的N级和S级都吸有一铁钉,让他们靠近直至接触时,磁体上的钉子会A.吸得更牢B.两磁体上的钉子交换位置C.从磁体上掉下来D.分别跑到各自磁铁的另一端 K、H、S组成的化合物 配价和物中的[Cu(H2O)4]2+的铜离子形成原子轨道形成的类型是怎样的?为什么?我们老师不知道555 配价和物中的[Cu(H2O)4]2+的铜离子 [Ag(NH3)4]2+的银离子 形成空轨道是怎样的?为什么?我们老师不知道 白色的鱼是什么鱼是在老家超市看到的.他们说是水库里面的.很小 白色的就能看到有一个黑点的眼睛,超市卖的全部是干的,拿回去用热水一泡就可以炒来吃了.求知道名字.没照片 基本上就牙 H.O.S.K按+1.-2.-2.+1能组成多少种化合物 [Cu(H2O)4]2+ 中铜离子和水分子之间的相互作用力是什么 鱼为什么在水面上 体内铁元素过多会怎样 Cu(H2O)4 ^2+什么颜色? “我爱上一个不该爱的人”这句话英语怎么表达? 从生物学角度,人体内铁元素过量会导致乳酸中毒,为什么?还有,硼元素与花粉管的萌发有关是怎么回事?受精与受粉的区别是什么,最好从花的受精和受粉来答.人体内钠元素过少会怎么样? 有个铸造厂要碳素废钢,碳,硅,锰,硫,磷的含量都有标准,我应该咋给厂子送废钢啊? 用这种方式,我表达对她的爱英语咋说 人体内的元素缺少、过多人体内各基本元素缺少和过多时人会有什么症状或疾病 废钢 中废 重废 轻废各是什么意思?废钢 爱,用英文表达,有哪些呢? 世界上哪个国家发现的恐龙化石数量最多? 肾水不足是怎么形成的 亚铁离子在水溶液中显什么颜色? adobe photoshop中文意思 you can start your j___ when you want to,and. 世界上最大的恐龙化石在哪里发现的如题 具体的地方和年份 汉字PS/2什么意思 Even now I still love you crazy 帮我翻译 世界上最大的恐龙化石在哪个国家发现? 人铁元素过多怎么办 Matlab命令 cat解释下面的Matlab命令com=cat(2,md ',shot);eval(com); 我对‘‘绿色奥运’’的理解是? 老是记不住化学元素表,怎么办怎么办 安装建筑物避雷器的意义及作用?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘