说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

12306上的分布式内存数据技术GemFire

HTML文档下载 WORD文档下载 PDF文档下载
作为世界规模最大的实时交易系统之一,12306备受关注,尤其在特殊节日里。尽管昨天消息称其又宕掉了,但恢复时间明显缩短不少,且手机APP未受影响。多少有分布式内存数据技术GemFire的一些功劳。

编者按:打造高并发、大流量的网站一直是我们的关注的重要技术点,比如颇受欢迎的《高性能、高流量Java Web站点打造的22条建议》。所以,每年都会格外关注12306这面“旗帜”。刚刚读者分享了一篇文章,关于12306的分布式内存数据技术,原文来自IT专家网,节选并分享给大家。


中国铁路客户服务中心网站(12306.cn)是世界规模最大的实时交易系统之一。2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最高达到14亿。大量同时涌入的网络访问造成12306几近瘫痪。 为此,2012年3月开始,铁路总公司(原铁道部)开始调研、改造12306。2012年6月选择了Pivotal GemFire分布式内存计算平台改造12306,由铁科院和资拓宏宇(IISI)信息科技有限公司提供技术实施。


点击可看大图

一期先改造12306的主要瓶颈——余票查询系统。9月份完成代码改造,系统上线。2012年国庆,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快。2012年10月份,二期用GemFire改造订单查询系统(客户查询自己的订单记录)。2013年春节,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快,而且查询自己的订票和下订单也很快。

根据系统运行数据记录,技术改造之后,在只采用10几台X86服务器实现了以前数十台小型机的余票计算和查询能力,单次查询的最长时间从之前的15秒左右下降到0.2秒以下,缩短了75倍以上。2012年春运的极端高流量并发情况下,支持每秒上万次的并发查询,高峰期间达到2.6万QPS吞吐量,整个系统效率显著提高。

订单查询系统改造,在改造之前的系统运行模式下,每秒只能支持300-400个QPS的吞吐量,高流量的并发查询只能通过分库来实现。改造之后,可以实现高达上万个QPS的吞吐量,而且查询速度可以保障在20毫秒左右。新的技术架构可以按需弹性动态扩展,并发量增加时,还可以通过动态增加X86服务器来应对,保持毫秒级的响应时间。

GemFire分布式内存数据平台的原理为:

通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。GemFire支持把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。12306之前采用Unix小型机架构,采用GemFire技术改造成Linux/X86服务器集群架构。

12306ng(12306网站的开源项目)对此尚无点评。不过,昨天是春运火车票发售首日,据悉12306网站“瘫痪”1小时,且出现“串号”问题,显然,单纯分布式内存数据技术还不足以应对12306所面对的技术挑战。毕竟,即使算上SAP的HANA,和Pivotal的GemFire,都还很新。

如果有这方面的好观点,欢迎投稿给我们(@CSDN云计算)。(编辑/郭雪梅)

未来的存储系统设计——PMC技术交流会举行 第五届中国云计算大会PPT尝鲜:十位专家分享的架构实践 “DIY”可穿戴设备:索尼开放智能手表固件 在微软的八个月里,我学到了这些 谷歌实习生每月都拿$6000,你呢? 【第五届中国云计算大会】由瓦特变比特输出,新疆要做中亚云服务中心 应用程序扩展性实现的十宗罪 图文:看谷歌实习生的惬意生活 为移动而设计:交互设计篇 小米游戏中心月度报告:极品、神庙、找你妹 中科院:常温下的液态金属电路3D打印机 细数IE10里的HTML5特性 使用Twitter Bootstrap的五大理由 Twitter重塑API战略 开启V1.1时代 Sony开放SmartWatch 支持第三方定制固件 甩啦甩啦!Apptopia帮开发者在线买卖App所有权 聚焦全球移动市场:印度,这块肥肉不太肥 Google决定明年一月份停止对Chrome Frame支持与更新 你应该关注的几个Eclipse超酷插件 华为王丰:FusionCube打造下一代融合一体机 上海云人联合创始人吴朱华:中国人也能做出最好的实时数据库产品 Facebook RSS替代Google Reader?或因其社交属性失败 让这么多国外开发者如此兴奋,iOS 7到底好在哪里? Web开发中那些不招人“待见”的功能 最好的超级计算机在中国 为开发者提供的10款Web应用程序 5000万次下载:HandyGames如何征服Google Play? 红帽大战Ubuntu:750小时免费企业版红帽套餐即将登陆AWS EMC Sanjay Mirchandani:92%虚拟化,使更少IT人拥有更大交付能力 从NSA携谷歌、微软等9家名企监控用户行为看数据安全 【专访间】新科兰德创始人左磊:我们的“卖点”是“数据弹药” rs.open sql,conn,3,2参数含义? 我应该去东软吗?? 求救~~~~安装完WINXP,进入系统前会出现错误窗 怎么现在没法用search了? 一个菜鸟的问题,关于事件的加载 求救~~~安装完WINXP,进入系统前会出现错误窗 关于速度,效率,VB IIS ASP COM高手请进 我用extracticon将图标从exe文件中提取出来了,请问高手们,如何保存为ICO文件。 急急急,如何解决多窗口关联及激活问题!高分相送 请教一下,如何刷新ie浏览器,我用postmessage模拟按键F5,没成功,谢谢 怎么样把多个程序打包到一个文件中,然后怎么样释放出来!高分求答案(分两次给100分)! 为什么计算字段不能排序 我是新手,高手教教我吧!!! 如何激活oracle8.16的监听??? Domino Administrator 中的“配置”->“消息处理”->“网络域” C#究竟是什么东东?象C++还是象JAVA? 求dxdbtreeview 1.2 for d5 有人知道天津英业达吗? vb6如何结合DirectX编程? 怎樣才能把數據寫入BIOS中的DMI里去? 我要用vb得到一个EXCEL表格中的内容,经过数据处理再把数据写入新的EXCEL表格,如何实现? 心情不好,散分 我怎樣才能把mssqlserver中的數據庫導出到mysql中? >>有人知道天津英业达吗? 在VC中,如何编写Makefile,及如何用 .mak 文件编译,联接程序(来者有分) 我的电脑经常在使用时出现“EXPLORER出现非法操作即将关闭……”然后死机,怎么办? JavaScript一问!!! windows nt 的问题(急)? 如何设定paradox的自增长自段 关于报表中零值显示问题求助 那位知道控制打印机的win32函数,1、使其打印完毕不换页(卷纸) 2、以及换行的函数!!! 请问怎样捕获WINDOWS的文件拷贝事件? ■■请问WIN2000下对内存区的访问如何进行,类似于游戏修改等软件?■■ 内存分配不能分配?该用什么来分配内存? 做图象处理可以,作这个不可以? 如何将上次表单的残余值给清掉? 如何打开一个窗口? 搞不明白?各位高手帮帮忙!! 如何在win98与2000共同使用同一软件? 有个问题,怪怪怪 高分求救:做单片机的前途怎么样? 如何在VB中制作复杂的动态报表? (新手急需) 一个分页进行选择的问题!!!急呀。。。。。。。。。 虚心求教DataReport打印问题,特着急! 有用DirectX作软件界面的吗?(不是游戏) VB中有没有类似日历的哪种控件啊?详细一点,thx 如何上传图文混排的的文件到数据库中? 菜鸟提问 怎么样才能实现这样的界面啊?各位高手请帮忙! 建Lotus表再把数据导进去,用delphi怎么做? 哪里可以找到数据库及相应的某系统需求分析 请教如何控制showmessage弹出对话框的外观. 统计出table1中dm字段的内容为"002"的有几个,怎么办?请指教! 求描写天空的唯美句子 那一次,我被感动了 作文800字 以"__________的日子"为题,写一篇作文,600字以上!快开学了! 中央一套 《开学第一课》我的梦中国梦 观后感 (600字左右)好的,另加赏金50! 《这一幕感动了我》 400字真实一点 不要多也不要少400字写一件具体事例 有情景 有感受 求一篇600字的,以"做个有心人"为题的文章! 我的故事作文600字 必须要故事是感人的 中央一套 开学第一课我的梦中国梦 观后感 新年作文600字以上,初二 我的故事作文600字我是要摘抄,不是抄作文 找母爱父爱师生情的美文还有人与自然,写景的. 感动为话题 不少于800字 给我一段茶艺描写,是宫斗的才艺谁给我一段茶艺描写咧,宫斗的,感激不尽 求体现父爱 母爱 友谊 或者师生情的几件事例 有事件就行 我只要素材 六年级上册语文课文第一课《山中访友》视频 宫斗才艺表演描写,越多越好 父爱或母爱的小故事50字5篇 六年级上册语文课文第一课《山中访友》预习内容 观太空授课有感600字, 作文--我心中的桥(父爱.母爱.友谊.微笑...) 仿写6年级上册语文书第一课《山中访友》 求《我的梦,中国梦》观后感,400字左右! 宫斗外貌描写,妖艳点必须妖艳 填空;我们的天空给予我们[ ],我们将[ ] 消防疏散体验作文 800字的 宫斗里怎么描写人物相貌 给我一个 我们的天空 的有效链接《我们的天空》 BEYOND我是用来做空间背景音乐的我在百度都找不到有效的,音乐放不了. 这一天使我感受到作文800字 宫斗 首饰.具体描写首饰的样子.描写,描写样子什么的. 我们的天空给予我们遍地的彩虹,我们将共享.我们的河水给予我们不朽的生命我们将报纸他们的洁净.仿写.给予我们.,我们将.两个 帮帮忙是关于和平的~好的话再加悬赏 我的读书故事作文600字 文章和感悟200字 描写宇宙的词语今天晚上就要10月20日6点以前谢谢!不要太少不然我不给分的另外这些我已经写过了不要再发:广袤无垠 浩淼 神秘莫测 未知 无边无际 我的读书故事作文 600字 好作文 我们的天空 描写宇宙的词越多越好 写关于《中国首次太空授课》作文 500或者600字. 以”我们的天空“为话题 作文快意点哈 BEYOND的歌《我们的天空》歌词家驹永恒的乐神,四大天王只是浮云,你是永远的好声音,家驹,爱你 同学之间的关爱作文700字以上 《第七条猎狗》读后感200字以内.200字以内! 求高手帮忙找一些描写宇宙的句子如题.我写作文要用. 我终于来到了太空世界作文 500字左右 《小溪流的歌》 读后感200字以内 六年级课文山中访友主要内容,急用 太空授课的作文500字!我同学让我查一篇这个的作文!好像是大概5年级的水平吧!复制的也凑后!只要达到500字就oK啦! 宫斗的动作,语言、神态 描写宇宙的句子一定要是句子,诗词,或者是一小段(不要一大段的,要不要词语) 我的梦想作文500字(关于太空) 《山中访友》的课文主要内容是 谁有六年级上册的山中访友原文?人教版的六上第一课 求宫斗殿试回答~如果汝原来是一位贵姬,应深得皇上宠爱,福贵妃嫉妒汝,陷害与汝,使汝降为宝林,汝亦知道其中的原因请问汝会怎做?(不少与200字) 描写天空的比喻句最好还有描写月亮、星星的比喻句! 描写太空中景物的句子就是我来到了太空,看见行星、白羊星座、火星……这些景物,他们长什么样,最好运用修辞手法 求解答宫斗殿试题目若小主受某高位妃嫔胁迫,必须残害他人腹中之子,否则小主家人即有性命之忧,小主如何自处?(字数充足,急求,谢谢各位) 六年级上册语文课文第一课《山中访友》仿写 描写宇宙变化的语句 苏轼有哪句诗句描写的是“墨泼的天空”?必须是苏轼的诗句!回答正确者必赏! 描写天空的排比句要优美,是自己写的. 以“高度”为题的作文,600字,快
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn