说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

流计算与批处理同现:畅享大数据时代的开源实践

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的下午时段,大数据先锋们主要针对Tachyon、SequoiaSQL、Spark、HBase、iStream等主题进行了分享。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

在2013中国大数据技术大会第二天的“大数据”技术专题论坛的下午会议时段,分别由UCBerkeley AMPLab博士&Tachyon创始人李浩源、巨杉数据库CTO王涛、英特尔亚太研发有限公司大数据部门构架师夏俊鸾、奇虎360技术经理赵健博和阿里搜索事业部高级技术专家王峰为我们带来了精彩演讲。下午会议由ChinaHadoop社区负责人谢磊主持。


ChinaHadoop社区负责人 谢磊

李浩源:MemoryProcessing: How Far CanWe Go? 


UC Berkeley AMPLab博士、Tachyon创始人 李浩源

下午场,首先进行分享的是李浩源。他着重分享了Tachyon项目的几个主要特性:

  • 无需更改即兼容Spark和Hadoop
  • 提供Java式的文件API
  • 为raw table提供原生支持。

同时,它还提供了一个PinList功能,可以保证程序即使在内存不足的情况下也可以永远运行在内存之中。

 涛:基于Cloudera Impala的非关系型数据库SQL执行引擎


巨杉数据库CTO 王涛

第二位分享嘉宾王涛带来的则是Impala实践:SequoiaDB是一种文档类的NoSQL数据库,SequoiaSQL则是基于开源项目Cloudera Impala开发的SQL执行引擎。SequoiaSQL不仅仅是“SQL-on-Hadoop”、支持JDBC、兼容Hive驱动,相对Cloudera Impala而言,在下面4点进行了功能增强:

  • 加入SequoiaDB与关系型数据库的读写接口
  • 将metastore嵌入SequoiaDB
  • 增加Update/Delete/Merge语句
  • 查询谓词下压,利用数据库索引提升性能

测试数据表明,SequoiaSQL相对Hive的性能来说,能够达到10倍以上的提升。最后,他也分享了未来的产品计划,如支持聚合下压、排序下压、支持嵌套类型、支持数组类型等,最终将进行基于成本的性能优化。

夏俊鸾:Spark:基于内存的下一代大数据分析框架


英特尔亚太研发有限公司大数据部门构架师 夏俊鸾

随后进行分享的是夏俊鸾,通过他我们了解到,早在2011年Intel就开始贡献Spark项目。当下Intel中国已拥有Spark项目的3个提交者、7个贡献者,其贡献的patch已有70+。在详细介绍Spark之前,夏俊鸾举了一个很有意思的例子,如果把大数据系统比作是手机,那MapReduce只能算是个功能机,而随后出现的Drill、Impala、S4、Storm则是在MapRedcue上各种功能的增强。


他重点对用户在使用Spark时经常关心的几个方面进行了解释:

  • 性能:Spark基于内存,硬件条件足够,可以满足高性能的要求
  • 学习成本:Spark相对Hadoop MapReduce、Impala等来说非常轻量,代码学习成本较低
  • 稳定程度:Spark虽然处于开源社区状态,文档没有Hadoop齐全,但release版本非常稳定
  • 假如内存不足:Spark在遇到内存不足的情况下自动降级运行,减少内存占用
  • 容错:高
  • 兼容性:Spark完全兼容Hadoop

在最后的现场互动环节,被问及Intel为什么这么大力发展Spark项目时,夏俊鸾解释说,Intel会挑选部分发展趋势良好的开源项目并加入进去,这样做能让Intel在未来竞争中保持一定的话语权。当下Intel在中国的合作伙伴已包括阿里巴巴、优酷及爱奇艺。

赵健博:奇虎360超大规模HBase集群增强与改进


奇虎360技术经理 赵健博

赵健博带来了下午场第四个分享,通过他我们了解到,目前360如搜索业务(网页库、链接库、快照库)、安全业务、监控业务等都已应用了HBase集群。

他重点从7个方面对奇虎360近一年来在HBase上作出的改进进行了详细介绍:

  • 专属MetaServer
  • 启动优化
  • Scan
  • Compaction
  • 保护模式
  • 客户端超时保证
  • 索引预加载

如启动优化方面,他们面临着影响集群启动时间的问题:集群大、region多。在集群启动时间消耗中,region打开的过程占了大头。比如,对搜索集群而言,40万个region,启动时间长达3小时,region打开时间需要2小时45分钟。对此,他们给出了对应改进:多线程并行化region检查、减少单个RS region分配时的持锁时间、去除重复的NN访问等。应用这些改进后,搜索集群的启动速度得到了4倍提升。

根据奇虎360的HBase使用经验,他给大家提出了4条有帮助的建议:

  • 根据预期规模,预先创建region
  • 控制region的数量与大小
  • 控制compaction时机与数据: 低峰时操作、避免重复IO
  • 实时监控region健康情况,保持In meta与on server的一致性

未来他们仍继续结合业务在减少region的数量、随机读优化(减少读数据量)、二级索引、服务可用性等方面对HBase进行功能改进。

王峰:阿里搜索实时流计算技术


阿里搜索事业部高级技术专家 王峰

本届BDTC “大数据技术”专题论坛的最后一个分享来自王峰,他介绍了阿里搜索流计算技术iStream诞生的业务背景,其中商品搜索的时效性(秒级)要求是非常高的,比如全网商品降价后需要实时通知给订阅用户、全网商品出现优惠打折需要实时在首页推荐、全网商品抓取后需要实时处理并推送到搜索引擎等。

本次分享中,他重点从下面5个方面对iStream的计算模型进行了详解讲解,这也是一淘首次对外展示iStream计算模型:

  • 基本概念
  • 拓扑结构
  • 消息管理
  • 进度管理
  • 编程接口

iStream的设计遵循了“计算和存储分层、计算之间解耦”、“计算层间采用持久化分布式消息队列进行消息传递”的理念,上下游计算解耦、不互相阻塞进度,使得新业务更加方便接入;持久化的消息流,也方便了多业务共享数据以及问题的追查。 目前,iStream已经广泛应用到一淘和淘宝的大部分生产线上,产生了良好的效果:


最后,被问到未来iStream是否有开源计划时,王峰解释说:公司有自己的淘代码项目,但是这个项目(iStream)做的不是特别久,也正处于生产的上线观察阶段,目前还不合适开源;如果iStream系统获得足够稳定后,包括概念、算法上都没有问题后,可以对iStream进行开源。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博 @CSDN云计算

多重文档界面设计方法-VB资料 恢复回收站中的文件 -VB资料 VB获得位图文件的信息 VB获得文本框中光标所在行的内容 VB获取程序工作路径的方法 VB获取文件或文件夹属性 基于VB的通用折行打印程序 基于VB和EXCEL的报表设计及打印 VB建立多级目录 -VB资料 VB建立快捷方式-VB资料 VB建立文件关联 -VB资料 将RichTextBox 之中被选取的内容复制到剪贴簿-VB资料 将我的程序的文本直接送到WORD中(不用粘贴)-VB资料 开启文件属性窗口 -VB资料 快速读取 TextBox 第 N 行的资料 -VB资料 快速选择里List全部项目-VB资料 VB利用 App.Path 读取「应用程序所在之目录」 VB利用 EM_LINESCROLL 信息控制 TextBox 的卷动。 命名的技巧 -VB资料 目录所占的字节数-VB资料 VB判断文件是否在IE的缓存中 屏蔽文本框的右键菜单-VB资料 VB取得长文件名 VB取得临时文件名 VB取得某个目录底下所有文件大小总和 VB取得文件的扩展名 VB取得文件内容 确定 TextBox 有几行-VB资料 确定是 WINDOWS 的可执行文件-VB资料 让打印机只打印一行-VB资料 VB如何把批处理文件转换成EXE文件? 高分求彩色图像分割方面的算法及源码(500分哦!) 利用C#编写控件直接打印Web(Html)页面(不用IE菜单打印命令)而且可以做相关设置! 如何做一个大班椅 下拉框select的onChange事件中的问题 问题没有解决,再问 Winsnmp下管理端对Trap事件的响应问题 谁做过高校学生收费注册系统,请提建议!1 属性页问题!请高手指点! 广域网数据传输,欢迎参与讨论: 怎样在 asp.net 中关闭窗口 下拉框select的onChange事件中的问题 水源在北京打工的兄弟们,你们都办理 《外 地 来 京 人 员 临 时 登 记 卡》了吗?很快我就要无家可归了:( 怎么取得用uniqueidentifier作主关键字的新增纪录 利用C#编写控件直接打印Web(Html)页面(不用IE菜单打印命令)而且可以做相关设置! 关于图片点击显示一种效果的问题,为什么不行? 如何在子窗口中改变含有不同帧结构的父窗体中的域值问题,急!! 请问file函数的问题。 请问pb怎么运行.chm文件?例如 c盘下有help.chm文件,pb 要直接运行他怎么样? CObject类里面的那个Dump是干什么的? 请问通过响应哪个Window消息能知道窗口隐藏(ShowWindow(SW_HIDE))或显示(ShowWindow(SW_SHOW))? 中国同学录 www.5460.net 不能访问,听说被人黑掉了,谴责ing!!!!!!!!!!!!!! 广域网数据传输,欢迎参与讨论: 利用vb.net编写控件直接打印Web(Html)页面(不用IE菜单打印命令)而且可以做相关设置! 求Web Services的下载地址 STRUTS里面的几个问题??大家近来帮忙,初学碰到的??你一定可以解决的??多谢了!! 要考试了 请求高手帮忙!题目如下...... rm 格式的播放不了,哪位知道是用什么放啊? 我在邮件模板里写了个代理,可是不能用,为什么呢? 有关ejb中cmr域与事务的关系的问题? 记录机指针问题 急 大家看看我的jboss有没有问题!为什么jboss的8083端口出错!(1)帖子内容长接着是(2) 我要打开一个coreldraw9.0制作的文件,我下载了coreldraw10.0,发现居然不能向下兼容,兄弟们能不能告诉我那儿有下载coreldraw9的?『猫 用cb做一个ie浏览器,怎么做啊? 关于网页很简单的问题 紧急求助 这里登记一下大家的网站吧! 孟大人  救命哦!!!!!!!!!!!!! 大家看看我的jboss有没有问题!为什么jboss的8083端口出错!(2)接(1) 问大家一个间单的问题。 sybase在XP下安装后不能使用??? 如何使DropDownList呈现时就为展开状态? 求助!动网里提示 Script Engine 异常,请大虾帮帮我啊 大家看看我的jboss有没有问题!为什么jboss的8083端口出错!(3)接(2) 内联函数 菜鸟求教:关于Tcanvas的问题,不知道怎么重画 请大家关注http://expert.csdn.net/Expert/TopicView1.asp?id=1883460 ,谢谢 紧急求救!! 怎么才能在没有VC的环境下运行带有MS DataGrid 控件的程序 URLDownloadToCacheFile 下载的小文件不能立即打开! oracle 9i For Linux 的字符集的问题,谢绝灌水! 当使用了showModalDialog打开的窗口后。。。 我一直将vcl源码作为代码书写标准文档,现发现。。。。。 设分段函数y=e^x(x=0);在 x=0处可导,求待定常数a和b. 街边一些非常辣非常辣的小吃鸭脖吃一口就辣的流汗,关键是吃鸭脖的人本身就是能吃辣的而不是不能吃辣的如此辣味,是不是放化学物质了?真的死那种出奇的辣!如果吃了很多,会有怎样的危 算60点 2,2、3、3、24、 卫鞅之子叫什么? 设函数f(x)={ e^x (x=0) 在x=0处可导,求待定常数a 和 b 并刀如水,吴盐赛雪,是什么意思啊? (6x^2y+9xy^2)\(3y+2x)计算(6x^2y+9xy^2)\(3y+2x)(4mn-m^2-4n^2)\(2n-m)(a^2xy-2abxy+b^2xy)\(a-b)[(x^2+y^2)-4x^2y^2]\(x^2-y^2) 什么误闯白虎堂——单刀直入 一个教室长6米宽4米高3米除去门窗面积10.5其他墙面和顶面都要贴纸一卷纸可贴5平方米只能整卷出售买多少卷 蘑菇到底是不是发物?别发一大堆复制的来.我想知道是或不是= =.谢谢 分段函数f(x)=a+㏑(x+1)x>0,f(x)=bx+2,x 小宏在某商店买了8盒某品牌的米粉,几个星期后听说该商店的此种品牌米粉为了促销让利销售每盒降低2.4元,于是小宏又用和上次买米粉同样多的钱比上次多买了2盒,那么这种米粉降价前后每 蘑菇的是不是发物 第一印象很重要怎么翻译?谢谢 小红在某商店买了八盒某种品牌的米粉,几个星期后听说该商店的此品种米粉为了促销让利售,美和降低2.4元, 蘑菇是发物吗5分钟内回答阿 ()论战——一鼓作气;()的间白虎堂——单刀直入;()的兵——以一当十. 为什么感应电流大小与电阻无关?百度了一下感应电流的百科,发现影响感应电流大小的几个因素中无导体电阻是百科错误还是真的与电阻无关?,就是,说感应电流与感应电动势怎么换算,我做 作文上的双红圈阅读答案· 谁知道中压闸阀\Z41Y-40\DN250\GB12234 字母和数字分别代表什么意思呀 电池电动势产生的机理 燕窝有哪几种? .主+谓+宾 S+V+O S.V.O是什么 主+系+表 S+V+P S.V.P是什么 温差产生的电电动势稳定吗? 一道数学ti六月份 20一月份 14六月产量比一月增长百分之几 我今天在调整手表上闹钟的时候 调第一下看到闹铃响了 第二次是中间出来个CH 第三次 闹铃CH都出来了 结合事例理解 善良,原来有另一种方式,无需张扬,不需要回报,悄悄地表答,最好 孔隙潜水主要分布在1,2层土壤中,那么2层以下的土壤中还有地下水吗?计算2层土以下要考虑地下水的影响吗 一道让人很迷惑的化学题,化学高手请进1, 3-甲基-1-丁烯与碘化氢加成反应的主要产物是什么?请给出解释另,如果有兴趣的,可以挑战一下这些题;2, CH3CH=CHCH=CH2与1摩尔溴反应生成的主要产物?原 温差电动势的因素温差电动势与哪些因素有关? 地下水与压力平衡为什么在沿海地区超采地下水会破坏地下淡水与海水的压力平衡,使海水内侵,造成机井报废,人畜饮水困难,土壤盐碱化,地下水质恶化等. 其一:25度时,在20ML 0.1MOL/L NAOH溶液中逐滴加入0.2MOL/L的醋酸溶液,当醋酸加到20ML时,溶液存在如此关系c(CH3COOH)+c(CH3COO-)=2c(NA+)其二:1L 0.1MOL/L的CH3COOH溶液与1L 0.1MOL/L的CH3CONA溶液混合,混合溶液存 简要说明文温差电动势产生机理 细胞增殖可能不出现核膜核仁的周期性变化吗二分裂不就不用么 数学(简单)ti1.(a+b)的平方*(a-b)的平方 初一上历史与社会第一课 我的家在哪里 就最后一题 阅读与思考 核膜、核仁重建,细胞中部出现细胞板细胞板什么时候出现的?和核膜核仁重建是一个时间吗? a+1/a=√10求a-1/a的值 一次函数的图像经过点A(5,-2)和点B(2,1),求这个一次函数的解析式. ( )误闯白虎堂——单刀直入 2个数学ti.(b^2)/(4a^2)-(c)/(a)=1-(1)/(x+1)= 听老人讲:我家是满洲正黄旗春福佐领下三栅栏人, 歇后语( )误闯白虎堂-------单刀直入 y=cosx x(3派,4派)求反函数y=cosx, x∈(3π,4π)∴ x-3π∈(0,π),y∈﹙﹣1,1﹚∴y=cosx=﹣cos(x-3π﹚∴cos(x-3π﹚=﹣y∴x-3π=arccos﹙﹣y﹚∴x=arccos﹙﹣y﹚+3π∴y=cosx, x∈(3π,4π)的反函数是y=arccos﹙ 篮球投入篮球筐时,篮球抛入空中时的运行轨迹,两者可以看做质点吗? ()误闯白虎堂 单刀直入检 25.4gNaHCO3与AgNO3的混合物,加热到500度左右待不再生成气体为止,冷却,再加足量稀硝酸,然后把溶液小心蒸干,得无水盐25.5克,求原来有多少AgNO3? 月食到底多少年一次 ( )误闯白虎堂 —— 单刀直入的上半句是什么 在100mL 0.5mol•L―1 的NaOH溶液中通入一定量的CO2,测得反应后的溶液中CO32― 和HCO3―的物质的量浓度之比为1∶3,则通入的CO2气体在标准状况下的体积是多少mL?(答案896 mL) 月食是多少年一次 从物理学角度讲为什么吃冰棍感到凉快 导游词短些杭州导游词 多少年一次月食 吃冰棍和游泳上岸的凉快一样吗——物理"夏天吃冰棍觉得凉快”和“夏天游泳后上岸被风吹感觉凉快”这两种“凉快”一样吗?如不相同, 短的导游词?什么都行! 一个一岁大的小孩一见到我就笑怎么回事我长的不搞笑`也不夸张额``我一拿起他的小手他就笑`` 问什么吃雪糕会感到凉爽 导游词(要短)山西的 快! 怎么样让幼儿学会说smile? 美媒:大黄鸭在北京受欢迎 为中国经济梁振英:菲人质事件若1个月没成果将采孙杨被行政拘留后需穿囚服不剃光头 伙曝孙杨在拘留所飙泪 “拘留 三停”创上海天降“粪便雨” 民航否认为飞机泄象山将公积金最高贷款限额由每户60万浙江三季度游客满意度嘉兴、宁波、杭州南京空气质量排名江苏全省倒数第二大学校园现\"女汉子\"求爱条幅:求浙江省水龙头抽检将添重金属析出量杭州推广路灯节能系统 每天可节约用电杭州十大产业最缺研发人才 金融服务业伊利刘世界:新型岗位上的新新人类最高检民主生活会:抓好整改落实 推进男子16岁时奸杀女邻居 逃亡北京后结包邮弱爆了包酒店才过瘾 银泰闺蜜圈“在马里遇害记者遗体运返 法国政府表示日媒:中国和日本被美国列入“重点监视美联储官员称不急于缩减购债 将取决于23省份已出台大病保险实施方案 试点最高检巡视:着力发现领导班子是否存在男子谎称能买到低价房 骗走岳母等6人三联“夜店”能走多远?河南登封向阳煤矿发生冒顶事故 致3人台湾《联合报》:蔡英文别再“空心菜”台湾中兴新村荷花初开 晨昏最吸睛评论:从GDP倍数对比看两岸关系走势台湾《中央日报》:政治苍蝇满天飞蘑菇恐致命 勿随意采集食用中俄官兵互访参演舰艇 为20日海上联高官落马规律:多下午深夜被带走 周四普京贺莫迪当选印度总理 称双边合作成快讯:2名中国矿业公司员工在缅甸遭到湖北记者暗访过程中遭打伤 三名打人者厦门:50多人围堵大桥出岛方向 警方海南:国家森林公园被非法采石场挖烂 土耳其订购首批2架F-35A战机 计车祸幸存幼女父亲已联系上 正在返郑途新疆2014年一季度实现GDP129土耳其订购首批2架F 35A战机 计美推出多任务微型无人机 可战场转换起美军研究水下潜伏武器 可蹲海底数年后
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘