说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

以Google第二代数据库产品MegaStore为理论模式 探索HBase系统

HTML文档下载 WORD文档下载 PDF文档下载
HBTC 2012(Hadoop&BigData Technology Conference 2012)即将召开,为了让读者可以提前了解一下目前国内各个公司在Hadoop和大数据方面的运用,CSDN于会前对演讲嘉宾进行了采访。本期采访了阿里巴巴的代志远,他给我们提前分享了一下HBase在阿里巴巴海量数据部门的实践。

【CSDN报道】代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发,后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发,支付宝流计算与分布式搜索系统的设计和研发,后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门,负责创新性项目的研究和跟进,目前专注于Google第二数据库产品MegaStore的研究和在阿里的落地。

在即将召开的HBTC大会中,我们有幸邀请到代志远作为我们的演讲嘉宾,请他分享下阿里巴巴在海量数据分布式数据库领域的探索。我们也对他提前做了邮件采访,让用户可以更快地了解阿里巴巴海量数据分布式数据库以及在Hadoop应用领域的实践。

阿里巴巴海量数据部门: 代志远

CSDN: Hadoop目前是大数据处理领域的王者,但是都是像百度、淘宝这样的大公司在部署,那么您认为中小企业部署Hadoop的瓶颈在哪里?

代志远:首先因为Hadoop本身机制复杂,所依赖的参数配置颇多,并且Hadoop需要像DB一样稳定,满足性能的运行,就需要运维人员如同DBA一样要懂网络、磁盘、内核以及其他一些硬件知识,这对于运维人员的要求是比较高的。其次Hadoop社区蓬勃发展,生态圈不断扩大,用户不断增多,规模极限也不断突破,这就促使了Hadoop的架构和代码发展非常快而且变更也比较快,正因为如此,系统在快速发展的时候容易引入很多的Bug和一些缺陷(可能因为稍稍的使用不当或比较小的问题就引起整体性能和稳定性的波动)。更重要的是,Hadoop代码复杂,而且需要与社区接轨,能够找到对Hadoop源码熟悉并能优化升级和bugfix的人才是很难的,这对于一个公司的研发来说是个很大的挑战。最后一点是公司的认知,除了类似Cloudrea、MapR之类的软件公司需要对软件技术负责,其他多数公司无论大中小都依赖于公司业务,尤其中小公司业务压力大、人员紧张,能够从业务研发人员中抽调或通过其他方式组建专有的Hadoop运维团队甚至是研发团队,从公司规划与发展上来说是比较困难的事情。

CSDN: Hadoop的本质是为全量而生,就是说它重吞吐量,响应时间完全没有保障,那么对于像淘宝、天猫在“双11”活动抢购的时候,需要实时处理数据(可能是毫秒级,秒级的响应),是如何进行实现的?

代志远:Hadoop是离线计算平台,其中包括分布式文件系统(HDFS)和分布式计算(MapReduce),这本身是无法对相应时间做保证的,但是目前在Hadoop之上的生态系统越来越完善,其中HBase就是支持海量数据,高并发的在线数据库,应对这种场景就非常适合,此外HBase在这次双十一中与MySQL等在线数据共同作为线上库使用,承担了重要的责任创下了并在全天高压力之下无故障的优绩。另外非Hadoop生态圈的流式计算框架Storm、S4也同样可以为实时计算分担一定的压力。

CSDN: 您在云计算大会时做的一场有关Hbase的报告,在报告中,您提到使用Hadoop替代MySQL,那么为什么选择Hadoop,它对比MySQL的优势在哪里?

代志远:准确来说是HBase替换MySQL的一部分应用,这些应用自然是要符合HBase的应用场景(与MySQL对比),比如数据量大、对线性拓展有需求、对自动化运维(负载均衡)有要求而且应用模式简单。在支付宝中因其增长速度快,业务量大,造成了很多应用都是数据量庞大而且速度增长快,因此有一些应用迫切需要一个数据库能够支撑现在的业务而降低对关系型的需求,所以尝试了HBase的解决方案。

CSDN: 阿里巴巴在部署Hadoop的过程中有哪些比较好的经验可以跟技术人员分享?

代志远:最重要的是要有一个完善团队,健全的流程。

  • 集群越来越大,要树立以集群稳定性和性能为要领的工作思路。
  • 现在进入Hadoop应用开发领域的人变多,但本身知识因其入行早晚而积累不同,无法对集群的稳定性负责,常常会写出跑死集群的任务(DB中SQL使用不善也常会如此)。因此要有一个较好的管理流程约束开发人员做到责任分明,以便促使应用开发不仅要对自己的任务负责还要对集群负责,不断学习和检查减少故障的产生。
  • 要有一个好的运维团队,懂硬件、重流程、负责任。
  • 公司在资源和战略上应有所倾斜,重视研发人员加强在研发的投入,毕竟分布式系统的入行门槛相比应用开发的技术门槛要高,当然有好的应用架构师能够取长补短规避大多数问题也是可行的,但单一系统的稳定性还是需要靠人来保证。

CSDN: 请您简要介绍一下本次HBTC2012大会上的议题的内容。

代志远:06年Google发表论文Bigtable,社区随之出现HBase,后Google 08年发表第二代数据库产品MegaStore至今未有社区同类产品出现,现今Google又出现新一代数据库理论Spanner和F1。 而最近几年随之Bigtable和NoSQL的兴起,社区产品HBase逐步走向NoSQL系统的主流产品,优势明显然而缺点也明显,大数据平台下的业务由SQL向NoSQL的迁移比较复杂而应用人员学习成本颇高,并且无法支持事务和多维索引,使得许多业务无法享用来自NoSQL系统中线性拓展能力。

Google内部MegaStore就作为Bigtable的一个补充而出现,在Bigtable的上层支持了SQL,事务、索引、跨机房灾备,并成为大名鼎鼎的Gmail、APPEngine、Android Market的底层存储。因此我们决定以MegaStore为理论模型进行探索如何在HBase系统上不牺牲线性拓展能力,同时又能提供跨行事务、索引、SQL的功能。

HBase系统故障恢复的优化实践

其实在第四届中国云计算大会上,当时还在支付宝数据平台的架构师代志远就为大家带来了题为“HBase系统故障恢复的优化实践分享”的精彩演讲,他分析了支付宝海量数据在线处理的现状,以HBase解决方案取代传统MySQL解决方案的技术历程,并详尽分享了Region Server的宕机恢复流程(阅读全文)。

在Hadoop的体系当中,支持实时的一条线,HBase,支持海量数据库初衷的时候,设计为了设计万一级实时数据库,HBase这个东西经过这几年的发展,已经逐渐成为目前业界当中主要的实时数据库,分布式数据库,像支付宝直接上HBase系统,就是考虑到HBase的先进架构,能够帮助支付宝完成现在很多的海量数据的存储以及在线随机读写高性能的访问和存储。

不过在HBase的系统当中,体现它的可用性有几个风险。第一个是HBase本身在底层依赖的HDFS,加载了唯一一块数据,单台机器保证一致性,HDFS保持了冗余。第二点,恢复过程当中,Failover过程非常复杂,这个时间消耗越长,作为在线系统,这种时间越长可能会影响到在线访问用户体验。第三点它依赖的HDFS,HBase作为在线数据库依赖HDFS有故障的,经过几小时恢复提供生产业务,对业务方没有直接感受,作为在线系统如果挂掉,如果需要经过近小时恢复时间,恐怕就会直接收到自于支付宝外部的用户投诉了。HBase目前它自己的监控体系尚不完善,目前的监控力度非常得粗,只能监控到单台的Region Server的情况,看不到当前用户表有多少读写比例,看不到当前服务结点写作量多少,读出量多少。

Region Server在恢复过程当中有几个流程这个流程很复杂,流程非常非常多,以当前的系统规模,它凸显出来的问题,这几个流程是影响到它的恢复速度的关键流程。等待时间周期非常长,周期之所以比较长,是因为现在的机器发展速度非常得快,每台机器从两个G到8个G,96G,140G的大层次的机器,Java语言实现了系统当中大内存管理本身存在问题,除非革新这门语言,否则别无他法。如果说在设计的参数不合理,就可能会导致一个问题,有可能这台服务器就会停止运行,发生这么一次情况就非常可怕,几十G的内存这个过程需要几十秒甚至上分钟,通常情况下,我们会设置到3分钟,这就意味着,为了避免出现这种问题,就会同时引入新的问题,宕机之后恢复等待时间需要三分钟。第二个关键流程当中,当它感知到已经挂掉了,在线数据库协助WL数据重新做到存储当中去,以保证实时更新是同步,否则这个数据库肯定要丢出去,重做数据过程当中,会有一个过程,Split Hlog,跟当前数据量有关系,Edit Log数据又比较多,大家在业余时间可以进行测试,数据不以支付宝的为准,以当前数据系统大小为准。

第三个关键流程,重做完数据之后,这部分重新上线,上线之前进行数据进行二次扫描,告诉系统,Region怎么加入到Region Server当中去,扫描也存在问题,问题可能引发到两分钟到6分钟,这也跟当前系统数据有关。第四部分,这个过程称之为再次上线的过程,这个再次上线,上线时间跟当前这台机器的Region上线有关系。支付宝面对消费记录查询,用户查不出来数据,15分钟之后才能查到,在面临在线问题上这是非常可怕的事情。

针对Region Server这一关键流程,做了一些优化。这个优化正是提到关键流程第一点,在判断宕机超市的情况下,不强依赖于Zookeeper,支付宝又启动了监控进程Mirror Process,每一台,Region Server当中都会起到PID存不存在,这种检查并非完全可靠,当检查PID不存在,就有理由认为已经挂掉了,要进行可靠检查,通常DBA在线判断数据库是否可用,通常会用PIng连续服务端口,这就弥补了系动中的调用命令不可靠的事情。最后当发现服务端口不可用时,有理由认为当前进程已经死掉了,死掉了之后,那么就按照现有逻辑删除结点,这三分钟的时间就完全省略掉了。(整理/@CSDN王鹏,审校/包研)

11月30日-12月1日,北京新云南皇冠假日酒店,业内将迎来国内大数据领域最纯粹的技术盛会——HBTC 2012(Hadoop&BigData Technology Conference 2012)。Hadoop及云计算生态系统的力量齐聚北京,欢迎热爱开源的朋友们加入!报名网址参见HBTC 2012

更多精彩内容,请关注新浪微博:@CSDN云计算;大会官网:HBTC 2012

Cocos2D-X成全球第二大游戏引擎 仅次于Unity 亲爱的苹果,能不能别让应用太廉价? 陈晓影:一位女海归曲折的拓荒故事 IDG李丰:在中国,创业公司最好是一个One Man Company Google Drive新增“保存到Drive”按钮功能 可自行添加 腾讯CDC创始人唐沐加盟小米 总经理陈妍接任 老板我想辞职:因为小米100万元征集一张壁纸 移动周报:GitHub上最火的Android开源项目 免费才是王道:盘点开发者须知的25个免费数据可视化工具 Pivotal获通用电气1.05亿美元支持 或将改变大数据和物联网的游戏规则 大掌门与阿里云和解:云生态系统呼之欲出 刘有涛:恩信科技云计算大潮中扬帆起航 Cloudera释放Impala 1.0:与Hadoop完全整合,各方面完爆Hive 云通讯平台:让你的应用会说话 触宝用户过亿,CEO王佳梁常说的词是“创新” 全国电脑健康日启动 360搭建电脑维修开放平台 C语言实现归并排序 360石晓虹:针对移动Apps的DDoS攻击将成重大威胁 更社交化:谷歌将推出Google Play平台服务 C语言对磁盘文件进行快速排序 传Google已关闭短信搜索服务 PayPal首席安全官:靠密码验证身份即将寿终正寝 DRM你又赢了:其API纳入HTML5标准 豌豆荚王俊煜:洗白白其实是一个计划外的产物 抢Google等巨头生意,纽约大学小伙挖掘并出售自己数据 noBackend:前端优先的开发模式 C、CPP const 详解 三星5G技术获得突破性进展 未来传输速度可达10Gbps 5月14日:1984年美国社交网站Facebook创办人Mark Zuckerberg出生 Chartkick:一行代码即可绘制出漂亮的图表 用友UAP将打造开放平台 建应用商店销售企业级应用 这种Select效果怎么做? 问问各位大虾,怎么才能让我的activeX控件没有安全提示就能直接运行啊 问个关于控件边框拖动的问题 请教大侠 怎样在ToolBar上移动鼠标时,其按钮对应的图片显示不同外观(默认情况下,按钮只是突起) 哪里有MCS-51教程的电子书(急用)? DATETIME类型让我保存失败。 赛扬级的CPU运行.NET Framework 行不行??? 急 关于一个初始化问题? 紧急求救~~ 关于触发器 急 关于一个初始化问题? 一个关于日志的问题,解决不了请教高人!! 请问交换机的端口有mac地址吗? 如果附件名太长,用javamail收邮件附件收不到,怎么办? 请教更精练的代码 嗅探到局域网里机子的MAC地址,可以通过MAC知道他的IP地址吗?还有进来再说吧…… 程序运行 关于<object></object>组件数据提交问题! 熟悉呼叫中心的朋友请进了 如何停止FTP文件下载?函数如何实现 如何获得省略号代表的参数内容? 如何将Tlis中的指针信息保存成二进制(或文本文件),给个思路或套路! 我实在无法看见这个阿头!!!!!!!!!!! 熟悉呼叫中心的朋友请进了 请教大家:有关动态库的问题 后天去德国了!送分!!!有没有想去德国的弟兄!! 请问一下在线聊天原理和方法 求解C#从上手到精通时间 大家帮帮我 如何解决WebBrowser是没有标记为安全的ActiveX? 100分!!! 请教,近来有分 vc中有方便的调用webservice的开发工具包吗? 两个文件之间参数传递问题请教! 求解C#从上手到精通时间 熟悉呼叫中心的朋友请进了 我是一个菜鸟,简单问题 这样的SQL语句如何写? ie 浏览网页时,有时cpu 会用到100%,奔4 的17G,为什么会这样? 谁有Roxio VideoPack 5以上的版本?能下马上给分 吐血求救!我的语音程序不知道为什么,总是有重复的声音! 请问如何写这个sql语句 有沒有在winform(不是WEB form)中接收過dataset的實例,謝謝。 我有一个循环发邮件的地方,发送邮件会超时我该怎么处理? 有谁知道win2000里的信使服务是干什么的?如何停止? 怎么才能让我的activeX控件没有安全提示就能直接运行啊 怎样用ASP语句把WEB页存为PDF文件? 菜鸟问题,马上给分! 能自定义ORACLE数据库的数据类型吗? @@@@@@@@@@@@@@高手请看!!JB中无法调用动态库,动态库经过测试没有问题!!!答者有分!!!!@@@@@@@@ 关于一个初始化问题,急求帮忙 讨论一下:请问各位有没有用 xml 做过多语言支持?和传统的 ini 形式有什么优势和不足呢? 这个咋写, 下列之的用法不同的是 A 此之谓失其本心;B 为宫室之美,妻妾之奉;C 使人之所恶莫甚于死者;D 退而甘食其土之有 茶叶的含水量高于8%会导致什么后果? MA DA NA ,MA DA NE ,JA NE ,JA NA 有什么区别?RT 下面之用法与其他不同的一项是( )下面之用法与其他不同的一项是( )A,杨朱之弟曰布B,迎而吠之C,而忘操之D.舟止 ,从其所契者入水求之 谁知道茶叶的含水量高于8%会导致什么后果 五笔中 撇区彳 和捺区彳有什么不同呢 丑美又是什么呢? 物体在平行与斜面向上的力F作用下沿光滑斜面匀加速上升,若突然撤去外力F,则在撤去外力F的瞬间,物体将A.立即下滑 B.立即具有沿斜面向下的加速度C.立即静止 D.仍具有沿斜面向上的加 五笔“小”字,分别不要左边一撇和右边一捺的那两个字,该怎么打这三位朋友回答的都不是我想要知道的,我要打的这二个字,意思就是很小很小的意思,也就是“小”字分别少右边和左边的部 什么是美 什么是丑 结构性进入壁垒有哪些?你认为它们构成壁垒吗? 中国的第一个皇帝名字叫什么如题 下面用法不同处?We only have half an hour (of) homework.We have an hour (for) lunch.括号里的为什么要用of不用for为什么要用for不用of》./?/? 进入壁垒 请问,鸽子嗉囊全是水.拉乳白色稀便带点绿.什么病.怎么治疗? 为什么有人说我丑有人说我美 为什么说黄河之水天上来 求5篇简短的读书笔记(100多字左右),不要名著之类的,一般的像杂志上的文章即可. 《苏菲的世界》怎么样看了这本书有什么收获呀 海纳百川,有容乃大;壁立千仞,无欲则刚. C语言:输入m,求n.使n! “绯”字读错的原因大概两三条就够了,还有解决方法 海纳百川,有容乃大 壁立千仞,无欲则刚的意思 用c语言编写:输入n的值,求1/2+1/4+1/8+.+1/n的值. 古猿.远古人和现代人的区别? 请解析"海纳百川,有容乃大;壁立千仞,无欲则刚" 家鸽在育雏期间,亲鸽从口中吐出“鸽乳”喂养雏鸽.亲鸽分泌的“鸽乳”的器官是() A食管B嗉囊C腺胃D肌胃 绯 洄 藏 座 尽组词多组 海纳百川有容乃大壁立千仞无欲则刚的意思 柳体楷书的结构特点有哪些,如何入手习练,期待 顾绯衣的《人间四月芳菲尽》,谁有整首词?很急! 男人也有第六感吗?第六感是什么意思呀? 柳体楷书如何掌握书写要领? 茶叶的含水量高于8%会导致什么后果? 男人也有第六感吗?鼓足勇气想要提出分手我说,我有话要和你说我对象说,不想听,我要睡觉 今天想要聊天的方式说我说,你上Q吧他说,不了,忙完我回家好巧,是不是他也感觉到什么了, 谁有视频教学什么的。 为什么要分美和丑 海纳百川意思相近的成语 求一首诗,里边有“弄潮儿向潮头立,手把红旗旗不湿”好像是潘阆的,还是谁的了 改写酒泉子,主要写潮和弄潮儿,还要有自己的感受 求含有“双”和“乐”的成语或谚语?例如川大,海纳百川,有容乃大. 求求你们了,我真的很想要答案我昨天和男友想发生初夜,可是他当要那个的时候,只进去差不多有大约一厘米吧,我就非常非常的痛,很痛的那种,我受不了,结果就没有.我男友并没有勉强下去,请 "绯"怎么组词?什么意思? 皮之不存 毛将焉附说明了一个什么的道理 胚胎分割产生的个体一样吗?不考虑环境因素的影响,产生的同卵个体是完全一样吗? 几声? 新陈代谢旺盛.人体合成的新物质是否大于人体分解的物质 怎么网购《天文爱好者》杂志 只知道绯是红色的意思,如上题~ 黄河之水天上来,它是如何到天上的,经历了怎样的过程 天文爱好者杂志怎么定 (在、再)的用法和区分? 理解:“名可以丑,但实一定要美”这句话我去年种了盆丑菊,天天盼着它快开花,因为我倒要看看享有如此恶名的花儿究竟怎样.可是事与愿违,它偏偏跟我过不去,懒洋洋地睡大觉,连花的影子都 广州哪里有卖《天文爱好者》这个杂志啊最好是荔湾区有得买,天河购书中心有吗? 求“一定、肯定”的区别及其用法例题:作业没做完,小红( )不会出来玩.————用“一定”还是“肯定”,为什么?请说的通俗点. 黄河之水天上来,它是如何到天上的,经历了怎样的过程(从物理的角度看) 这个答案是什么? 谁能用“乌鸦”二字给起个繁体网名?特殊符号也行!普通字就行、能用特殊符号吧!只能用“乌鸦”二字.“乌鸦”加什么特殊符号好看!当个网名! 说说你对下列语句的理解 、、美和丑,并不仅仅在于一个人本来的面貌如何,更在于他是如何看待自己的.1.美和丑,并不仅仅在于一个人本来的面貌如何,更在于他是如何看待自己的.2.决定成败 一艘游船在泰国旅游城市芭提雅附近发生孙杨无证驾驶被确认 浙江体育局表示深朴槿惠说如有益半岛和平愿与金正恩会谈缅甸若开邦近海翻船数十人失踪湖南希望小学为百亿项目腾地被拆 官方习近平叮嘱土家族群众:好好干、有奔头马来西亚要求“全面解释”对其监听行为奥运冠军孙杨驾卡宴被公交车追尾 涉嫌习近平赴湘西调研扶贫攻坚习近平摘柚子:“这是技术活”第六届“汉语桥”世界中学生中文比赛闭孙杨驾车发生交通事故 涉嫌无证驾驶警“不断适应形势的变化”——国际分析人巴基斯坦塔利班任命临时首领菲律宾南部海域发生6级地震哈马斯称缴获一架以色列无人侦察机朝鲜海军数十名官兵在执行战斗任务时身奶源大省河北出现乳品抢购风 乳品涨价CNN恶意报道北京\"10·28\"德城市疏散两万居民拆除二战炸弹中国当代雕塑入选法国卢浮宫非遗展国内外脊柱微创专家一行来到周口开展学这是哪位高手总结的,都得狂点一万个赞欢聚时代李学凌:私有化后还会走向公开【预言】机器人将杀死人类 你怎么看?巴斯合同细节:两年600万孩子最爱听的40句话:变成口头禅您会好男人必备技能...人民币暴跌逼近跌停!贬值启幕了?韩国很多医院都有把削骨手...相同的两个星座相爱会发生什么?灰熊正式签下新秀贾雷尔-马丁女人不要看!看完会很想谈恋爱~德隆和霍林斯今年二月份曾发生过争吵?千万别点开,因为你会看上瘾!!赌城夏联:拉文、克拉克森对飚抢戏中国经济到底会不会出事?洛杉矶时报记者:快船和亚瑟互相感兴趣勇士格林更改航班看勇士对骑士夏联如何拍出一张特别好看的自拍照?学着点报告称第二季度全球PC销量继续下滑中国楼市正面临历史性拐点
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘