说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

流计算与批处理同现:畅享大数据时代的开源实践

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的下午时段,大数据先锋们主要针对Tachyon、SequoiaSQL、Spark、HBase、iStream等主题进行了分享。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

在2013中国大数据技术大会第二天的“大数据”技术专题论坛的下午会议时段,分别由UCBerkeley AMPLab博士&Tachyon创始人李浩源、巨杉数据库CTO王涛、英特尔亚太研发有限公司大数据部门构架师夏俊鸾、奇虎360技术经理赵健博和阿里搜索事业部高级技术专家王峰为我们带来了精彩演讲。下午会议由ChinaHadoop社区负责人谢磊主持。


ChinaHadoop社区负责人 谢磊

李浩源:MemoryProcessing: How Far CanWe Go? 


UC Berkeley AMPLab博士、Tachyon创始人 李浩源

下午场,首先进行分享的是李浩源。他着重分享了Tachyon项目的几个主要特性:

  • 无需更改即兼容Spark和Hadoop
  • 提供Java式的文件API
  • 为raw table提供原生支持。

同时,它还提供了一个PinList功能,可以保证程序即使在内存不足的情况下也可以永远运行在内存之中。

 涛:基于Cloudera Impala的非关系型数据库SQL执行引擎


巨杉数据库CTO 王涛

第二位分享嘉宾王涛带来的则是Impala实践:SequoiaDB是一种文档类的NoSQL数据库,SequoiaSQL则是基于开源项目Cloudera Impala开发的SQL执行引擎。SequoiaSQL不仅仅是“SQL-on-Hadoop”、支持JDBC、兼容Hive驱动,相对Cloudera Impala而言,在下面4点进行了功能增强:

  • 加入SequoiaDB与关系型数据库的读写接口
  • 将metastore嵌入SequoiaDB
  • 增加Update/Delete/Merge语句
  • 查询谓词下压,利用数据库索引提升性能

测试数据表明,SequoiaSQL相对Hive的性能来说,能够达到10倍以上的提升。最后,他也分享了未来的产品计划,如支持聚合下压、排序下压、支持嵌套类型、支持数组类型等,最终将进行基于成本的性能优化。

夏俊鸾:Spark:基于内存的下一代大数据分析框架


英特尔亚太研发有限公司大数据部门构架师 夏俊鸾

随后进行分享的是夏俊鸾,通过他我们了解到,早在2011年Intel就开始贡献Spark项目。当下Intel中国已拥有Spark项目的3个提交者、7个贡献者,其贡献的patch已有70+。在详细介绍Spark之前,夏俊鸾举了一个很有意思的例子,如果把大数据系统比作是手机,那MapReduce只能算是个功能机,而随后出现的Drill、Impala、S4、Storm则是在MapRedcue上各种功能的增强。


他重点对用户在使用Spark时经常关心的几个方面进行了解释:

  • 性能:Spark基于内存,硬件条件足够,可以满足高性能的要求
  • 学习成本:Spark相对Hadoop MapReduce、Impala等来说非常轻量,代码学习成本较低
  • 稳定程度:Spark虽然处于开源社区状态,文档没有Hadoop齐全,但release版本非常稳定
  • 假如内存不足:Spark在遇到内存不足的情况下自动降级运行,减少内存占用
  • 容错:高
  • 兼容性:Spark完全兼容Hadoop

在最后的现场互动环节,被问及Intel为什么这么大力发展Spark项目时,夏俊鸾解释说,Intel会挑选部分发展趋势良好的开源项目并加入进去,这样做能让Intel在未来竞争中保持一定的话语权。当下Intel在中国的合作伙伴已包括阿里巴巴、优酷及爱奇艺。

赵健博:奇虎360超大规模HBase集群增强与改进


奇虎360技术经理 赵健博

赵健博带来了下午场第四个分享,通过他我们了解到,目前360如搜索业务(网页库、链接库、快照库)、安全业务、监控业务等都已应用了HBase集群。

他重点从7个方面对奇虎360近一年来在HBase上作出的改进进行了详细介绍:

  • 专属MetaServer
  • 启动优化
  • Scan
  • Compaction
  • 保护模式
  • 客户端超时保证
  • 索引预加载

如启动优化方面,他们面临着影响集群启动时间的问题:集群大、region多。在集群启动时间消耗中,region打开的过程占了大头。比如,对搜索集群而言,40万个region,启动时间长达3小时,region打开时间需要2小时45分钟。对此,他们给出了对应改进:多线程并行化region检查、减少单个RS region分配时的持锁时间、去除重复的NN访问等。应用这些改进后,搜索集群的启动速度得到了4倍提升。

根据奇虎360的HBase使用经验,他给大家提出了4条有帮助的建议:

  • 根据预期规模,预先创建region
  • 控制region的数量与大小
  • 控制compaction时机与数据: 低峰时操作、避免重复IO
  • 实时监控region健康情况,保持In meta与on server的一致性

未来他们仍继续结合业务在减少region的数量、随机读优化(减少读数据量)、二级索引、服务可用性等方面对HBase进行功能改进。

王峰:阿里搜索实时流计算技术


阿里搜索事业部高级技术专家 王峰

本届BDTC “大数据技术”专题论坛的最后一个分享来自王峰,他介绍了阿里搜索流计算技术iStream诞生的业务背景,其中商品搜索的时效性(秒级)要求是非常高的,比如全网商品降价后需要实时通知给订阅用户、全网商品出现优惠打折需要实时在首页推荐、全网商品抓取后需要实时处理并推送到搜索引擎等。

本次分享中,他重点从下面5个方面对iStream的计算模型进行了详解讲解,这也是一淘首次对外展示iStream计算模型:

  • 基本概念
  • 拓扑结构
  • 消息管理
  • 进度管理
  • 编程接口

iStream的设计遵循了“计算和存储分层、计算之间解耦”、“计算层间采用持久化分布式消息队列进行消息传递”的理念,上下游计算解耦、不互相阻塞进度,使得新业务更加方便接入;持久化的消息流,也方便了多业务共享数据以及问题的追查。 目前,iStream已经广泛应用到一淘和淘宝的大部分生产线上,产生了良好的效果:


最后,被问到未来iStream是否有开源计划时,王峰解释说:公司有自己的淘代码项目,但是这个项目(iStream)做的不是特别久,也正处于生产的上线观察阶段,目前还不合适开源;如果iStream系统获得足够稳定后,包括概念、算法上都没有问题后,可以对iStream进行开源。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博 @CSDN云计算

Android自定义View实例AnalogClock源码 Android UI开发专题(五) Bitmap和Canvas实例 Android UI开发专题(四) View自绘控件 Android UI开发专题(三) 各种Drawable 提高Android开发效率-Eclipse快捷键大全 Android UI开发专题(二) 之绘图基础 Android UI开发专题(一) 之界面设计 Only the original thread that created a view hierarchy can touch its views的相关 Android上的Back键事件捕获 Android蓝牙API之BluetoothSocket类(2) Android蓝牙API之BluetoothSocket类 Android蓝牙API之BluetoothAdapter类(1) Android蓝牙API之BluetoothAdapter类(2) AndroidManifest.xml文件剖析 (三) AndroidManifest.xml文件剖析 (二) AndroidManifest.xml文件剖析 (一) MOTODEV初体验,高效Android开发工具 Simple让BASIC语言编写Android程序 MOTODev试用报告- Android开发效率之源 安装MOTODEV Studio for Android版方法 Android开发工具-motoDEV studio介绍 Android过后Chrome OS又是如何开发? Android安全模型导致开发时功能受限 Android导出一个JAR库 APK汉化原理及方法 APK文件格式分析,Android反编译入门(一) ApiDemos中的Android Widget例子解析 APK签名导出向导 - Use the Export Wizard 剖析Android自带Widget - Music播放器 剖析Android自带Widget - Clock指针钟表 C#取得Excel工作簿工作表名称 为什么我的打印机打印时会出现重影?? 我怎么把他们一一显示出来在listbox里?代码写出来! 请问BOOT扇区中各个数据的意义。。 有没有一次搞定具体时间的控件 tomcat配置简单的问题 问题:十六大代表需不需要办暂住证? 求教COOKIE的用法! JBuilder 7中如何安装一个Server ### 升级内核 ### 还有一个问题(树型列表) 哪里有Visual InetDev 6.0 下载? "分"到哪里去了? 有关于赋值的问题 技术的挑战,在线等待 有关csdn的一个小的问题? 显示模式的设置 怎么样删除在DATAGRID中选定的行? 如何自动滚动edit控件多行显示时的文字 win2000系统关闭后但不会自动断电源 寻找资料,请帮忙 难啊 统计数据 求:做得漂亮的学校主页 麻烦看一下下面的代码 C#和C++builder比各有什么优缺点?哪一个更灵活更稳定?C#和C++哪个好? bug管理工具有没有web方式的? cs文件中,如何获取confirm对话框的返回值? 如何将jpg的图片加入到sql server 的 image类型的字段中阿,使用ado 配置了win2000的服务器 兄弟们。我在JAVA区竟然得不到答案。只能期望在这里找到帮助了(共200分的问题) 在ACCESS中设置数据表,如何实现数据库中多表间的关联访问,用VC的DAO实现 ORA-12560: TNS:协议适配器错误 vb+asp.net中的datagrid分页遇到问题?附代码 改了IIS账户的密码,ASP不能运行,但原先的密码不记得了!现在要修改什么文件才可以? 为什么反向工程失败? 关于ER图的做法 窗口最大化、最小化问题 本站提供能成为QQ会员的QQ代理,快来~~~ 请帮个忙好吗? 硬盘保护的问题 轻轻地温柔地任人宰割 小程序一个,很简单的,但是这样的问题经常遇到的 关于交换区的问题 d7的序列号码 刚做好的编程技术文章系统,欢迎来翻阅技术文章. ★★★★★ 那位高手有这样的好东东。。。 ★★★★★ 最近流行什么歌? PHP新手: 给一篇在Windows2000环境下PHP的安装,及apache的配置的文章,来者有分 怎么给MM送花 在哪儿下载<WINDOWS 程序设计>? HELP ME!关于TCP/IP传输位图的问题. The people there were friendly 变成一般疑问句是什么拜托了各位 need no +可数名词复数可以吗如they need no apples.书上是they need no food 从孙中山,毛泽东,邓小平和列宁身上学到哪些优秀品质 连词成句 1.the friendly people are very there 2.great连词成句1.the friendly people are very there2.great lifestyle health has a on influence have no 接可数名词时一定要用复数形式吗 单位悬挂马克思、恩格斯、列宁、孙中山、毛泽东、邓小平的伟人像.次序应该怎样排列? -I called you last night,but no one answered me-sorry,I had just finished my assignment and was taking a walk in the garden.was taking 表示过去正在做呢还是用进行时表示将来时呢 他经常帮她妈妈做家务活.用英语怎么说? he has three times ____than i havea. much moneyb, more money答案为B为什么呢? 这种倍数的讲法又有哪几种?不要复制得很繁琐= = I called you last night but no one answered the phone.-- I ________ dinI called you last night but no one answered the phone.  -- I ________ dinner with my friends in the restaurant.A.haveB.hadC.was havingD.have had 我叫和士涛帮忙给我起英文名字谢谢 How much time did you have for writing the paper?We( )three times,but I finished in less than halfthe time.A gave B would give C had given D were given怎么选D啊 this football match is very exciting的同义句 A:___at home when I called you last night?B:I___a science ficition 我叫泽涛,谁能根据我的名字起个英文名不要随便其他的,就要根据“泽涛”这个名字起.发音要差不多,也要美观点 请问是 choose to 还是choose for还是两个都有. -where were you when I called you last night?-oh,I_____(drive)home 请帮我想一个关于琳和涛的英文名 Although I failed four times,my father encouraged me to have a ___try1 second 2 third 3 fourth 4 fifth请分析原因 上海常住人口有多少? i saw him in the street just now.用just 改写.i___ ____ ____ him in the street. Although I failed four times ,my father encouraged me to have a_______(five) try.用括号中所给单词的适当形式填空 我出生在新疆在阿克苏长大 英语翻译且变成否定句式和疑问句 I saw him ___ just now.填leave还是left I failed four times,but my father encouraged me to have a ( ) try.3Q括号里填什么,有四个选项 A.second B.third C,fourth D.fifth 上海常住人口多少 急,急,急,急! 关于茉莉的好词好句好段,三年级的 很急啊! Although I failed four times,myfather encouraged me to have a (_try).1 second 2 third 3 fourth 4 fifth i have two pencils in my pencil case.(用there be句型改写)____ ____two pencils ____ my pencil case. I have three times as many as you. 我有你三倍那么多a. 主语+谓语+倍数(或分数)+ as + adj. + as 1:have 助动词不是不可以做谓语吗?2:几倍就是 前面基数词 加上times吗? This Is Not A Game 歌词 I have a pencil case.变复数.I have ___pencil cases.用some还是many 这句话中为什么加个times?在句中起着什么作用I have three times as many as you. the second day in a week同义词 "所有事情只要尽力就行 开心就行 没有十全十美 也没有最高境界"用英语怎么说啊 i have three times as many books as you这句话对吗?you 后面要不要加个do? the secod day in a week in American的同义词 40岁的女人应该怎样生活? 我的名字单名是涛 谁能帮我取一个英文名 跟我的名字有关的 the secong day of a week的同义词fdasssssssssssssssssssssss 英语翻译当相知相爱的岁月从我们身边走过,我们的爱成熟了.另一个 当未来向我们深情的呼唤,我知道,我们将伴着幸福,天长地久.不要用在线词典,要自己来 我的名字叫钟涛,有谁能给我取个英文名字啊?名字要根据钟涛这个名字来取,还要注明如何读. 颠倒词 (意思想同) 四十岁男人需要什么样的女人 英语翻译求用英文翻译这句话 意思不同的颠倒字 英语翻译1“impossible” reservations to unique access to otherwise off limit activities.译文:以其他方式无法参加的非公开活动怎么解析一下句子的成分来和译文对上 我的名字叫龙涛,谁能帮我取个英文名字?谢谢 If you love I am just here with you请问翻译中文是什么意思 《互联网用户“三权”保护白皮书》的三权是什么意思? 今天我钓了几条鱼?用英文怎么说? right now 和just now 的区别 四十岁的女人应该什么样? 我叫孙涛.帮我根据我的名字取个英文名,感谢了.取个好听一点的,谢谢了! The people were very friendly. ___ ___ the peoplThe people were very friendly. ___ ___ the peoplethere?(对very friendly提问) 英语翻译这两天我都一直关注着四川省的大地震.从电视上看到很多幸存的人被成功救出,我很感动. 这句话怎么译成英文哪?放长线,钓大鱼. were there people friendly with you 这句子正确吗 英语翻译请大家帮帮忙翻译这些话哈!1、08年5月12日中国四川地区发生一次8.0级大地震;2、这次地震死亡人数约70,000人;3、大家踊跃捐钱、捐血;4、中国与世界人民团结,共度难关;5、这次 马克思列宁主义,毛泽东思想,主义和思想有什么不同?国民党是孙中山缔造的吗?孙中山的思想又是什么?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘