说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

12306上的分布式内存数据技术GemFire

HTML文档下载 WORD文档下载 PDF文档下载
作为世界规模最大的实时交易系统之一,12306备受关注,尤其在特殊节日里。尽管昨天消息称其又宕掉了,但恢复时间明显缩短不少,且手机APP未受影响。多少有分布式内存数据技术GemFire的一些功劳。

编者按:打造高并发、大流量的网站一直是我们的关注的重要技术点,比如颇受欢迎的《高性能、高流量Java Web站点打造的22条建议》。所以,每年都会格外关注12306这面“旗帜”。刚刚读者分享了一篇文章,关于12306的分布式内存数据技术,原文来自IT专家网,节选并分享给大家。


中国铁路客户服务中心网站(12306.cn)是世界规模最大的实时交易系统之一。2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最高达到14亿。大量同时涌入的网络访问造成12306几近瘫痪。 为此,2012年3月开始,铁路总公司(原铁道部)开始调研、改造12306。2012年6月选择了Pivotal GemFire分布式内存计算平台改造12306,由铁科院和资拓宏宇(IISI)信息科技有限公司提供技术实施。


点击可看大图

一期先改造12306的主要瓶颈——余票查询系统。9月份完成代码改造,系统上线。2012年国庆,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快。2012年10月份,二期用GemFire改造订单查询系统(客户查询自己的订单记录)。2013年春节,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快,而且查询自己的订票和下订单也很快。

根据系统运行数据记录,技术改造之后,在只采用10几台X86服务器实现了以前数十台小型机的余票计算和查询能力,单次查询的最长时间从之前的15秒左右下降到0.2秒以下,缩短了75倍以上。2012年春运的极端高流量并发情况下,支持每秒上万次的并发查询,高峰期间达到2.6万QPS吞吐量,整个系统效率显著提高。

订单查询系统改造,在改造之前的系统运行模式下,每秒只能支持300-400个QPS的吞吐量,高流量的并发查询只能通过分库来实现。改造之后,可以实现高达上万个QPS的吞吐量,而且查询速度可以保障在20毫秒左右。新的技术架构可以按需弹性动态扩展,并发量增加时,还可以通过动态增加X86服务器来应对,保持毫秒级的响应时间。

GemFire分布式内存数据平台的原理为:

通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。GemFire支持把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。12306之前采用Unix小型机架构,采用GemFire技术改造成Linux/X86服务器集群架构。

12306ng(12306网站的开源项目)对此尚无点评。不过,昨天是春运火车票发售首日,据悉12306网站“瘫痪”1小时,且出现“串号”问题,显然,单纯分布式内存数据技术还不足以应对12306所面对的技术挑战。毕竟,即使算上SAP的HANA,和Pivotal的GemFire,都还很新。

如果有这方面的好观点,欢迎投稿给我们(@CSDN云计算)。(编辑/郭雪梅)

所见即所得:8款实用HTML5开发框架 Groovy最受欢迎 Java系开发者更偏爱其他JVM类语言?(图) [开源专访]iNews创始人赵戈戈:36小时开发的PHP版HackerNews 使用Spring框架的12个开源项目 甲骨文仍旧“憎恨”开源软件 开发者应该避免使用的6个Java功能 不可小觑的Web开发编码规范 软件工程师如同花园园丁,清理代码就好比拔草! 智能硬件元年 60+硬件展商引爆MDCC 2013 深藏功与名:Supercell CEO Ilkka Paananen访谈录 Google Ideas小工具捍卫言论自由 为什么谷歌要一直为摩托罗拉烧钱? 远见卓识,像CEO一样编写代码! [探讨]如何成为有代码洁癖的程序员? 消灭Bug!十款免费移动应用测试框架推荐 协同软件供应商Atlassian推出JIRA服务台 振奋人心!iOS和Android版BBM应用首日下载量冲破1000万次 十款开源的数据库管理工具 360联合多家IDC成立“安全防黑联盟” 国内百万网站受益 腾讯云如何玩转手游数据分析 成都站免费抢票 直接拿来用!10款实用Android UI工具 第14届英特尔投资全球峰会 新投16个项目逐一看 2013中国Linux内核开发者大会亮点汇总 UnitedStack:用社区的方式做IT 手游狂潮:小团队如何提高游戏数据化运营效率? 2012年全美CEO收入榜:扎克伯格第一、库克第五、Marc Benioff第九 专访:InMobi全球CEO Naveen Tewari MDCC 2013精彩专题论坛之产品与设计 中关村大型IT人才招聘会举办 现场火爆 [简讯]新代码编辑器Lime发布 号称Sublime Text的开源实现 从真实案例出发:如何在协作开发中避免误解! xp的桌面问题 急!!注册数据库的问题 IBM软件清库存(大优惠) linux 9.0 安装后无法启动,请帮助 请问delphi怎么读取xml文件中的内容? IBM软件清库存(大优惠) 〉〉〉〉〉〉〉〉求一份对旧系统进行分析、整合、优化的文档 又是闪烁,头大! 简单问题,请紧急指导.(在线) help help : fortran + dll = ? 奇怪的现象:判断不了SQL sum()查询结果!!! 2003高考试题 设置访问表命令:“access-list 2 permit 10.0.0.0 0.0.0.255”中10.0.0.0 和 0.0.0.255分别指什么? 请问谁知道这是什么缘故啊? 如何计算cpu和memory的一般的使用上限 在delphi中使用什么报表控件打印的报表效果较好 谁知道db或dbf头文件的格式? 急急 NMFtp中我想从ftp服务器下载指定文件扩展名的文件,该怎么办? 初始化页面的时候,如何使TextMode="Password"的asp:textbox有默认值显示? IBM软件清库存(大优惠) 又是可恶的乱码问题 struts与数据库!在线等待! 如何开发asp.net程序(基于vb) vc++的链接错误 如何用程序动态的获得activex控件的方法属性事件信息 请教:使用web.xml做资源约束时如何由自己的程序来做用户验证 请问:怎样编程来来虚拟网卡? 急!创建LOOKUP的问题 如何计算cpu和memory的一般的使用上限 新问题请教! 老问题:从Excel文件里把数据导入导数据库中 有汇编玩的非常牛的人吗??? 字符串操作的简单问题 学习J2EE需要装什么软件? >>有关记录的问题??<< 请高手指教:出现“ORA12663:服务器未提供客户机要求的服务”问题,怎么解决? 大侠救我! 动态sql问题请教,谢谢 填充combobox的问题 windowsxp不能创建拨号连接 怎樣轉換時間格式 ACCESS问题 Linux下上网问题?在线等待!急!急!急! 终极讨论:从Excel文件里面导入数据 winsock的问题 关于WINDOWS下邮件程序编写问题 Solaris下的Makefile问题 在lan里面的两台主机之间怎么配ppp连接,没有modem 我的SQL数据库安装的是实例,好象有问题哦! 高分求票据、合同套打代码! 事务问题,请大家帮忙,在线等待,50分相送!!!! 我心中的黄河,500字 当a1~a10中为a时,计算b1~b10中大于0的单元格数值之和, 数学中 钝角假设和锐角假设是指什么?谢谢.在看黎曼几何和罗巴切夫斯基几何简介的时候看到的名词. 介绍一本书 400字 sum(A1:A10+B1:B10)公式=sum(A1:A10+C1:C10)是否与=SUM(A1:A10)+SUM(C1:C10)一个意思 命题p:任意x∈R,x^2≥0.命题p的否定和非p分别是怎样的?我主要想搞清楚这种命题里,“否定”和“非”的区别是什么... HB与2B铅笔哪个导电越强?你们太没个性了只会复制别人的 什么是等比定理?公式是什么?通俗一点啊,看不懂 萍果手机发短信,怎么没有汉字、只有拼音? 英语里goose summer的意思貌似不是夏天? 等比定理公式 高数 拉格朗日乘数法(2元的)推理疑问与(7)一行的 fy(X0,y0)+λφy(x0,y0)=0 怎么推导出来的 复合函数求导 我这么算哪错了 第三问 关于等比定律,如图记得以前有一个三角形,跟图一样,谁比谁等于谁比谁,这是求的什么,定律是什么,最好详细一点 高数 拉格朗日乘数法44题怎么算? 三个元素相乘求导如a*b*c求导如何化解 设向量a1=(a1,b1,c1),a2=(a2,b2,c2),B1=(a1,b1,c1,d1),B2=(a2,b2,c2,d2),下列命题中正确的是()A 若a1,a2线性相关,则必有b1,b2线性相关B 若a1,a2线性无关,则必有b1,b2线性无关c 若a1,a2线性相关,则必有b1,b2线性无关d 1.已知“命题p:(x-m)^2>3(x-m)”是“命题q:x^2+3x-43(x-m)”是“命题q:x^2+3x-4 suggestion和suggest 什么区别 什么是等比定理初中学过的,一不小心给忘了 已知点O(2x,y²+4)与点Q(x²+1,-4y)关于坐标原点对称,试求x+y的值 开机后出现“the operation timed out”updatesyslive对话框上是这个,还可以上网,网络连接已经修复了,重启还是弹出这个窗口 爱莲说中歌颂的是莲花,却几次提到了菊花和莲花,其用意是什么 “阳奉阴陪”这个词语的一、三两个字意思相反,二、四两个字意思相反,请写三个这样的词语:天南地北 上行下效南辕北辙南来北往厚此薄彼 The operation has timed-out. 等比数列的原理(要详细 英语翻译Specious,however,has the negative suggestion of using deception to make something false appear true. 为什么我的Visual Studio 2003打开项目时会出现这个错误:尝试创建WEB项目或打开位于URL:"http://localhost/web."的web项目时,web服务器报告了以下错误:"the operation timed out". 函数f(x)=2√3sinxcosx-2sin²x,x∈R.(1)求f(x)的单调减区间与对称中心;(2)用五点法画出f(x)在[0,π]的图像. 翻译:1.你真好,给了我这么多建议(suggestion) 2.请代我向你的父母问好.(regards) 大器之才的器是什么意思 operation timed 陶渊明的 爱莲说为什么里面主要说的是喜欢菊花 而不说莲花呢? “大器之才”是什么意思 目前的中国,海防和陆防哪个更重要? name that place 求一句英文翻译:(对于保险的要求,你是否可以用英语写在一张纸上给我...)翻译句子:47. 对于保险的要求,你是否可以用英语写在一张纸上给我,因为我口语不是很好,可能无法很好的向保 新中国成立后为什么致力于海防的现代化建设,结合实例说明 No one was aware_________Jane had gone.A.where that B.of the place C.of where D.the place 如图K1-3-7.求图中阴影部分绕AB旋转一周所形成的几何体的表面积和体积 司马迁《史记·商鞅列传》文中的议论代表哪个阶级?卫鞅曰:“治世不一道,便国不法古.故汤武不循古而王,夏殷不易礼而亡.反古者不可非,而循礼者不足多”.孝公曰:“善.”以卫鞅为左庶长 22短文两篇第二课时爱莲说,陶渊明为什么独爱菊花 介绍《王尔德童话》的400字. 整形手术英文怎么说? It got its name from the wooden fence that stood where the street now X2-6X+8=0 用公式法或分解因式法解, 司马迁《史记•商鞅列传》是哪家学派的 怎么理解“你的心里只有你”这句话?好吧,俩高二学生,约定高考后双方都没男女朋友的话便在一起,现在双方依旧没男女朋友,都开始为重本冲刺.但我写了一本青春纪念册,关于我和她的很多事 求黄河的文章,要500字到530字之间 吃减肥药,做整形手术 用英语怎么翻译 这表情什么意思! 分解因式 x2-6x+8 Let’s go by underground,shall we?保持句子原意,改成:_____ _____ go by underground?.对了追分 π_π……这表情是指什么意思?我送了一份礼物给心上人,是条白色长裙,她发来这个表情π_π…… 运用生活与哲学相关知识,阐述京津冀三地发展为什么 我国近代筹划海防是在哪一历史事件中?你认为当时筹划海防有无意义?你的理由是什么 😪这是个什么表情?什么意思? 英文字母表中那个字母总在向人提问;英文字母表中那个字母能解渴. 戚家军海防的故事 欧式几何和罗巴切夫斯基几何和黎曼几何各有什么特点,都适用什么范围, 中国近20年来首次修改消费者权益保护美研究称已婚者比单身汉更长寿 但容易马达加斯加总统选举开始 或有望解决该墨前警长向美贩毒 被判13年监禁罚款男子用数百公斤大南瓜造船 划水距离创英国小王子受洗照流出 四世同堂皇室香巴西总统批美国监听默克尔 称美反恐理蒙古国成“黄金国” 法德纷纷“带团”澳大利亚一17岁男生步行赴学校途中遭美国商务部对中国输美味精发起“双反”澳学生流行靠吃“聪明药”提高成绩引发俄外交官被指在美国招募间谍 美联邦调美国拟投资82亿美元治水 有望以此刺俄称叙利亚军事对峙在加剧 系因种族教日本:中国舰队穿过冲绳本岛与宫古岛间墨西哥糖果厂爆炸致1人死40人伤 仍三名驻阿富汗英军官涉嫌私刑处决塔利班日议员质疑安倍 称应给首相出席国会次逾2.8万人白宫网站请愿 “杀光中国澳联邦贸易部长大赞华为 支持重估宽带新加坡办第四届“亚洲群英会” 特邀名三箭齐发 居然之家服务再升级志愿军遗骸回家索弗仑壁纸推广会成功举办辉乐豪推艺术铜门新品维特尔捧杯众望所归节水为先 缓解长株潭3市水资源供需矛常用汽柴油每升价格下降0.11元邵阳县岩口铺镇遭冰雹强降雨袭击(组图劳伦斯奖获奖名单颁奖一切从简保定楼盘销售员被提醒:不要卖得太快了“二百五”背后藏杀机故宫调价不涨钱值得期待数独游戏国足抽好签 还是没底气260元一块防霾纱窗一蹭就掉中国少年 冲刺法网拉登发言人 或被终身监禁美英:尚不排除恐怖主义政治暴力维特尔捧杯众望所归韩媒:朝鲜前线炮兵部队模拟打击韩军哨
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘