说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

12306上的分布式内存数据技术GemFire

HTML文档下载 WORD文档下载 PDF文档下载
作为世界规模最大的实时交易系统之一,12306备受关注,尤其在特殊节日里。尽管昨天消息称其又宕掉了,但恢复时间明显缩短不少,且手机APP未受影响。多少有分布式内存数据技术GemFire的一些功劳。

编者按:打造高并发、大流量的网站一直是我们的关注的重要技术点,比如颇受欢迎的《高性能、高流量Java Web站点打造的22条建议》。所以,每年都会格外关注12306这面“旗帜”。刚刚读者分享了一篇文章,关于12306的分布式内存数据技术,原文来自IT专家网,节选并分享给大家。


中国铁路客户服务中心网站(12306.cn)是世界规模最大的实时交易系统之一。2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最高达到14亿。大量同时涌入的网络访问造成12306几近瘫痪。 为此,2012年3月开始,铁路总公司(原铁道部)开始调研、改造12306。2012年6月选择了Pivotal GemFire分布式内存计算平台改造12306,由铁科院和资拓宏宇(IISI)信息科技有限公司提供技术实施。


点击可看大图

一期先改造12306的主要瓶颈——余票查询系统。9月份完成代码改造,系统上线。2012年国庆,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快。2012年10月份,二期用GemFire改造订单查询系统(客户查询自己的订单记录)。2013年春节,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快,而且查询自己的订票和下订单也很快。

根据系统运行数据记录,技术改造之后,在只采用10几台X86服务器实现了以前数十台小型机的余票计算和查询能力,单次查询的最长时间从之前的15秒左右下降到0.2秒以下,缩短了75倍以上。2012年春运的极端高流量并发情况下,支持每秒上万次的并发查询,高峰期间达到2.6万QPS吞吐量,整个系统效率显著提高。

订单查询系统改造,在改造之前的系统运行模式下,每秒只能支持300-400个QPS的吞吐量,高流量的并发查询只能通过分库来实现。改造之后,可以实现高达上万个QPS的吞吐量,而且查询速度可以保障在20毫秒左右。新的技术架构可以按需弹性动态扩展,并发量增加时,还可以通过动态增加X86服务器来应对,保持毫秒级的响应时间。

GemFire分布式内存数据平台的原理为:

通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。GemFire支持把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。12306之前采用Unix小型机架构,采用GemFire技术改造成Linux/X86服务器集群架构。

12306ng(12306网站的开源项目)对此尚无点评。不过,昨天是春运火车票发售首日,据悉12306网站“瘫痪”1小时,且出现“串号”问题,显然,单纯分布式内存数据技术还不足以应对12306所面对的技术挑战。毕竟,即使算上SAP的HANA,和Pivotal的GemFire,都还很新。

如果有这方面的好观点,欢迎投稿给我们(@CSDN云计算)。(编辑/郭雪梅)

8个超实用的jQuery技巧攻略 美国国防部战略:大规模、分布式,构建数字化防御体系 针对小白的Python入门教程——Python使用说明书 耗资460亿美元,天价Olympic上广受诟病的监控和4G LSI AIS ASIA首次登陆中国 探讨最新大数据技术 “iOS in the Car”问世 苹果发布集成汽车服务CarPlay Pinterest联合创始人Evan Sharp:视觉网站标配“网格布局”的设计过程 微软Xbox Live或登陆iOS和Android平台 TIOBE 2014年3月编程语言排行榜:F#直逼Top10 Atlassian面向企业客户推出Git Essentials工具 Mt.Gox破产,都是错误编程惹的祸 Jamo创始人揭底AWS,棱镜阴影下的云行业态势 成本、创新、可靠:游戏公司FunPlus选择AWS的三大理由 全透明、可折叠,平板电脑概念机是这样的 插件大集合!开源包管理器Alcatraz迎来Xcode 5更新 Q语言:新型的数据定义语言 非响应式手机网站页面的优化 高薪必备:Hadoop求职者的6大攻略 微软或将于四月发布“返璞归真”的Windows 8.1 Update 1 《近匠》第14期:LiveCode——全民开发工具 美团梁堰波:用SQL-on-Hadoop构建互联网数据仓库与商务智能系统 程序员游戏Style:亚特兰大极客使用机器学习玩转Flappy Bird Gleasy CTO薛珂:成立3年,企业用户2万+,移动办公蕴藏较大发展机遇 Unity Awards展区“点亮”Unity亚洲开发者大会 DevBox:最实用的移动开发辅助工具包 【技术博客推荐】创客程序员设计实现最小物联网系统 MySQL还是NoSQL:开源盛世下的数据库该如何选择 利用Hadoop Streaming处理二进制格式文件 如果没有强大的API,那么还是与OpenStack兼容吧 企业社交工具为何走向衰退? 封闭还是开放?雅虎禁止用户使用Facebook、谷歌ID登录和使用其服务 老兄给一些建议啊!用VB做什么毕业设计比较合适啊? 急,获取主板信息的问题! 请教finder的排序问题 mysql对一个数据库中表的数量有没有限制? 100分,急求控件的编写方法~!!!!我在做的项目想用到类似于vc编译器左边的class,resource,file view的窗口控件,谁有? 为什么我收到的邮件列表每次都是乱码?怎样打开? 大家帮看看这段代码哪出问题了,在线给分 求高效统计算法(在线等待,采纳着需要分来信200) 怎样将bcb中vcl 及其他组件改为activex??? 微软的面试题 treeview 控件在客户端的操作? 怎样在程序里找无标题的DLG! j2me中请问如果将textField中的内容写入到moto388手机的记事本中? 谁可以和我说一下LINUX是如配置的! 请问:如何在java通过xml文件和他的schema,既得到标签里的内容,有能够知道内容的类型 已修改的列 C++Test讨论区 菜鸟提问,大家不要笑我啊! 这里还有人在用Java IDE工具JawaBeginer的吗? 有谁知道aspopup控件的功能和作用--在线等待 100分,急求控件的编写方法~!!!!我在做的项目想用到类似于vc编译器左边的class,resource,file view的窗口控件,谁有? 简单的菜鸟问题!! 如何写WPE这种类型的软件? 向DX请教两个开发上的问题,请不吝赐教! java中字符串数组,转化为javascript数组,jsp页面显示为乱码,代码如下: 小问题一个 有关QuickStart中示例 求SQL语句,一表值通过另一表更新 关于activebar 2。0 请问哪个中译英的免费软件好一点啊? 大虾救命:TCP编程的客户端端口占用问题 关于记录集的关闭! 本人现在做一个例程时遇到问题,编译后什么反应都没有,请教~~~~ 参数传递问题 刷新 LPCSTR在哪个文件里定义的? 如何判断一个存储过程已经存在??(在线) 关于TOMCAT的配置问题? datawindow的checkbox里可以放图片吗? 关于COMS的问题 interbase 数据库损坏???? 在线等待(100) 怎样使得打印预览文档位于数据窗口的正中间.在线等待...谢谢 在VB中,用ADO怎么才能用oracle的DBLink传输数据 在VC中如何遍历注册表 我好着急,好难过为什么没有人回答 Google是不是又被封了?!这几天怎么都上不去... 如何自启动程序?? LPCSTR在哪个文件里定义的? 全局数据库的含义是什么?(菜鸟问题) 郁闷!有个总要求我哄她的gf,真是郁闷 哪里有vc和ActiveX控件的书籍下载(新手,请多照顾) 关于摩擦力的产生条件之一相对运动趋势这个相对运动趋势我不明白! eU=1/2mv^2. 这里面的eU. 是什么意思,这个式子又是什么意思 氯化钠有干燥作用吗 英语翻译 设加速电极电压为U1,偏转电极电压为U2.电子从加速电极射出时可以用动能定理表示速度1/2mv^2=eU1那么偏转电极上竖直方向速度Vy.书上Vy=at.不可以用动能定理吗?求高手指点 原始居民1、河姆渡 2、半坡 3、大汶口 距今年代,生活地区,原始家畜业,原始手工业,原始建筑业,分别怎么填?此链接的问题选答,不论怎么答都行,先答先采纳. 请问一下褐色的英文怎么说. 怎么答?快点快点给一百分一百分 历史填表题. 她的是褐色的怎么用英语说 如果点M(a,-3)在第三象限的角平分线上,则点M到y轴距离为 判断和填表题 余弦 正弦 的弦字怎么读 已知圆C:x^2+y^2-2*x+4*y-4=o,是否存在斜率为1的直线m,使以m被圆c截得的弦AB为直径的圆过原点?若存在,求出直线m的方程;若不存在,说明理由. 中心极限定理.某书中共有100万个印刷符号,排版时每个符号被排错的概率为0.00001,校对时错中心极限定理.某书中共有100万个印刷符号,排版时每个符号被排错的概率为0.00001,校对时错误被发现 火葬 实行还是施行?为什么国家的丧葬管理办法写的是实行,而根据字典解释,施行的是具体内容 已知圆C(x-1)方+(y-2)方=25及直线L:(2m+1)X+(m+1)y=7m+4(m∈R)由原点O到直线L距离算出::(5d2-9)m2+(6d2-12)m+2d2-4=0这里的d是什么我也知道是距离、这d怎么带进去的啊。 色素总吸收光谱远高于叶绿素a的吸收光谱的原因是 弦 的拼音是什么啊 new ipad是配smart cover还是配smart case好一点如果是smart cover有无必要选配真皮的,淘宝商城的店铺可信赖吗,有无必要再贴膜(会不会影响使用多点触控) 请问第二题怎么写. “弦” 念什么?拼音怎么写? 小力、小军和小斌各有若干元,小力先拿出自己钱数的一部分给小军和小斌,使小军、小斌每人的钱数增加一倍;然后小军也拿出一部分给小力、小斌,使现在小力、小斌每人的钱数增加一倍; 第二题的第5小题的填表怎么做? 弦的拼音? the new ipad搭配一个iPad Smart Case还是iPad Smart Cover?听说iPad Smart Case套在new ipad上尺寸会小一圈,而且没有Cover的质感好是么?都说iPad Smart Cover不错,如果买Cover还需要搭配什么保护ipad?两者到底哪个 第二题填表,学霸们交交我 “滑动摩擦力不一定阻碍物体的运动,它总是阻碍物体的相对运动”这句话不明白..可以举些例子吗? smart cover和smart case区别在哪里 一个平底锅,每次只能放两张饼,一张饼要煎两面,煎一面要1分钟的时间,那么煎三张至少需要几分钟?一个池塘里生长着一种荷叶,假设荷叶每天的数量增加一倍,这样下去,第七天荷叶回长满池塘. 一全正,二正弦,三正切,四余弦.怎么理解这句口诀? 高手专家看过来:Ipad4是用smart cover 还是用smart case?smart cover的便捷轻薄,smart case的全方位保护,真是纠结,各位大侠给个建议:Ipad4是用smart cover 还是用smart case亦或是smart cover+伴侣?说一说原因, 第一题填表怎么写? 口诀:(各象限符号为正的) 一全二正弦.三切四余弦是怎么得来的 已知椭圆x^2/a^2+y^2/b^2=1(a>b>0)的离心率=√6/3若原点到直线x+y-b=0的距离为√2, 质量为m,速度为v的子弹,能射入固定的木板L深,设阻力不变使子弹射入木板3L,子弹的速度应变为原来的几倍 一全二正弦, 80摄氏度时40克物质溶于50克水中,所形成的的溶液为不饱和溶液,为什么 水稻适合什么土生长? 一个角的正弦余余弦的和为-1/5,求正切 已知椭圆x^2/a^2+y^2/b^2=1(a>b>0)的离心率=√6/3若原点到直线x+y-b=0的距离为√2,求椭圆方程. 子弹的速度为v时,打穿一块木板后速度为零,木板对子弹的阻力恒定,那么子弹射入木板一半时的速度为多少A.v/2 B.v/24 C.v/3 D.根号2v/2 打篮球时投球入篮筐与惯性有关吗 30克甲物质投入到50克水中,充分震荡后有5克甲剩余,则所得溶液中其溶质,溶剂,溶液三者质量比为? 如果气体通过nacl溶液会带出水汽需要干燥,那么会不会带出nacl分子呢,是不是气体经过所有溶液都不会带出溶质分子呢? 为什么抛出去的篮球继续向上运动进入篮筐? 要造一容积为1的圆柱形有盖铁通,问如何设计底半径和高,能使材料最省? 浙江省的土壤是不是水稻土? 为什么我不拿篮球能碰到篮筐,可拿篮球后就碰不到了 一个容积是314升的圆柱形铁桶,从里面量底面半径是0.4米,这个铁桶高多少米、 Cl2气体加饱和NaOH溶液是否能让干燥红色布条褪色?加饱和NaCl溶液? X1=1 Xn+1=1+Xn/(1+Xn)求极限Xn 【急】电子在公式eU=1/2mv^2中e是多少?m又代多少? 什么是有机质土? 麻烦谁帮我提供点关于殡葬执法实施办法的文章那位大哥帮帮忙,给我提供点关于殡葬执法实施办法的文章.谢谢拉 物理中的动能定理中的 w=eU 做题时看见的, 氯化钠是气体吗 关于西周时期的殡葬制度的疑问以周礼,天子7天而殡,7月而葬,尸体要在棺材里停7个月才能下葬,简直难以想象啊!那时候中国又没有木乃伊的技术,棺椁再厚也不是真空,7个月下来肯定臭不可闻 59.96精确到0.1 6359保留三个有效数字 0.50023保留两个有效数字 53.214精确到百分位 水稻土是含有机质较高的土壤吗 女子给骗子汇钱逼停出租车 的哥及时中杭州国际人才交流与合作大会明天开幕 多项违纪 孙杨被处停赛、停训、暂停一浙江杭州等地连续雾霾 “最美马拉松”“海龟”与“土鳖”结合 浙江发展关键金华房地产投资增速连续七个月居全省首张高丽在上海浙江调研:东部地区要带头杭州欲从钱塘江引风进城吹走灰霾“国家记忆”美国档案馆二战缅印战场影浙江省政协公开征集2014年重点履职日空自航空展开幕 蓝色冲击波进行飞行金正恩视察在建滑雪场 称建设者功绩将究竟谁在改变钓鱼岛“现状”?“世纪审判”遭闹场 穆尔西高喊“我是穆尔西拒穿囚服出庭、高呼口号 庭审被日本千叶首发PM2.5提醒 称污染可埃及政治仍恶性循环 军政府或催生新“印度雄心勃勃探火星 英媒议论“与中国叙利亚人权网站称10月共21名媒体工芝加哥农产品期价4日涨跌不一马里地雷爆炸造成4人死亡流量大战再起,搜狗赔了夫人又折兵?钱德勒:我要帮助球队扭转局面圣诞版本爆分组合 天天酷跑最强组合搭图解全球10部顶级情色影片清华美院2016录取办法调整通知国产千元机之殇 互联网时代的敬谢不敏王宝强的电影也能烧脑了油价持续下跌,2016年俄罗斯经济会2015、2016年是改变命运关键的李迅雷:为何100倍市盈率股票比20荐号丨2016商业大变动,商业频频大未来五年中国的行业趋势将会怎样?看懂车灯密封不严,灯罩里总是水蒙蒙?解决准备回家过年了,关于苹果ID被盗需要车子再好也不如养得好,它用的机油到底2016年的第一站在杨美古镇使用过程中,刹车油出现这些问题就要当祭祀山神贡品被偷,贼人次日意外丧命油价断崖式下跌, 产油国互相厮杀给中手机抢拍哪家强?结果让人意外!和田玉籽料哪种好?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘