说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

12306上的分布式内存数据技术GemFire

HTML文档下载 WORD文档下载 PDF文档下载
作为世界规模最大的实时交易系统之一,12306备受关注,尤其在特殊节日里。尽管昨天消息称其又宕掉了,但恢复时间明显缩短不少,且手机APP未受影响。多少有分布式内存数据技术GemFire的一些功劳。

编者按:打造高并发、大流量的网站一直是我们的关注的重要技术点,比如颇受欢迎的《高性能、高流量Java Web站点打造的22条建议》。所以,每年都会格外关注12306这面“旗帜”。刚刚读者分享了一篇文章,关于12306的分布式内存数据技术,原文来自IT专家网,节选并分享给大家。


中国铁路客户服务中心网站(12306.cn)是世界规模最大的实时交易系统之一。2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最高达到14亿。大量同时涌入的网络访问造成12306几近瘫痪。 为此,2012年3月开始,铁路总公司(原铁道部)开始调研、改造12306。2012年6月选择了Pivotal GemFire分布式内存计算平台改造12306,由铁科院和资拓宏宇(IISI)信息科技有限公司提供技术实施。


点击可看大图

一期先改造12306的主要瓶颈——余票查询系统。9月份完成代码改造,系统上线。2012年国庆,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快。2012年10月份,二期用GemFire改造订单查询系统(客户查询自己的订单记录)。2013年春节,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快,而且查询自己的订票和下订单也很快。

根据系统运行数据记录,技术改造之后,在只采用10几台X86服务器实现了以前数十台小型机的余票计算和查询能力,单次查询的最长时间从之前的15秒左右下降到0.2秒以下,缩短了75倍以上。2012年春运的极端高流量并发情况下,支持每秒上万次的并发查询,高峰期间达到2.6万QPS吞吐量,整个系统效率显著提高。

订单查询系统改造,在改造之前的系统运行模式下,每秒只能支持300-400个QPS的吞吐量,高流量的并发查询只能通过分库来实现。改造之后,可以实现高达上万个QPS的吞吐量,而且查询速度可以保障在20毫秒左右。新的技术架构可以按需弹性动态扩展,并发量增加时,还可以通过动态增加X86服务器来应对,保持毫秒级的响应时间。

GemFire分布式内存数据平台的原理为:

通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。GemFire支持把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。12306之前采用Unix小型机架构,采用GemFire技术改造成Linux/X86服务器集群架构。

12306ng(12306网站的开源项目)对此尚无点评。不过,昨天是春运火车票发售首日,据悉12306网站“瘫痪”1小时,且出现“串号”问题,显然,单纯分布式内存数据技术还不足以应对12306所面对的技术挑战。毕竟,即使算上SAP的HANA,和Pivotal的GemFire,都还很新。

如果有这方面的好观点,欢迎投稿给我们(@CSDN云计算)。(编辑/郭雪梅)

8086/8088汇编指令手册 下一个被黑客攻击的对象—无线路由器 Windows Blue开始按钮或将回归,你怎么看? Evernote推孵化器 不占股权 基于C++和Lua的移动游戏引擎Leadwerks 3发布 苹果秘密测试iOS 7与iPhone 6 或将6月发布 酷6 CTO 陆坚:请先信任你的程序员 从电信联手i-Free,看运营商渠道的加速整合 “Animory”开发者分享HTML5游戏开发经验 Appflood SDK:连接中国与海外App流量交互平台 Apache Subversion 1.7.9正式发布! 微软IE浏览器5大动向 加速吸引开发者 开源的简繁转换库OpenCC支持Node.js 继Opera之后,Adobe表示将支持Google Blink 提高大型软件项目质量的一些实用型技术分享 谷歌推出Mirror API,开发者可为Google Glass开发应用 无需999,也不要499,99美元Linux超级计算机带回家 微软反击AWS:推出EC2并大幅降价,“价格战”正酣 Operation InVersion:拯救了LinkedIn的大修项目 五步走战略——Avocado在最初几周内迅速扩大30倍 NoSQL产品测评:Cassandra、MongoDB、Couchbase和Aerospike 谷歌眼镜开箱评测:比想象更精致 Pinterest谈实战经验:如何在两年内实现零到数百亿的月访问 初创公司Instart Logic:专为电子出版商和网站站长解决“痛点” 未来即卖芯片又卖服务!Intel收购软件厂商Mashery 继MSN之后,微软又开始整合Skype与Lync服务 阿里将推AMOS智能机 斥资10亿鼓励开发App AMPLab开发重构的Hadoop版本Tachyon:吞吐量要比HDFS高300多倍 一名理科生的创业路 十大界面原型与布局工具 Google产品经理Kenneth Norton:如何与工程师共事 那里有 Install shield?? 怎样让一个程序自己关闭后重启?? 请教大家一个低题的问题? 求救 怎么通过程序设置一个CView视图的滚动条?? 怎样在delphi中用sakemail对要验证的SMTP服务器发邮件? rdoRegisterDataSource建数据连接 的network参数值有那几个? 两个多线程的问题,大家都来看看 在那个网站可以查考研的分 我的程序不能对sql2000进行更新,为什么,我用jbuilder6,请高手赐教!!! 怎样修改SQL Server的时间格式? pb8_DATAWINDOW问题!高手HELP ME!!请帮主来帮忙!! 哪里有《c语言手册》卖或下载? pb8用cell连接sybase12。0时用的连接字符串,当然是没有成功,有解决办法吗,sybase本身带ado驱动,但是不知道如何写。 用sql语句,怎样取最后10条记录。 想在北京找个java方面的工作,好找吗? 请问ISA Server 中如何设定某个局域网IP访问Internet的带宽上限? 请教大家一个低题的问题? 用InterDev创建工程的时候为什么总是提示Unable to contact web server http://localhost? 偶的100分就这样没了????!!!!!!! 调查:一般多长时间将你在 download.com 上的程序升级? 请问谁有解三元一次方程的程序,能给发过来吗? 检查表单这样为什么不行? 如何看别人的源代码??? 各位,那位用过华表插件...求救,怎么嵌入html? VC下基于ATL的数据库编程问题,很容易拿分的。 请问怎样才能向数据库插入当前日期,格式为14位字符串yyyymmddhhnnss 怎样从html页面中向ActivXForm传参数,在ActiveXForm中又如何接收? 如何控制 Text 控件中文本的行间距? 如何看别人的源代码??? 一些代码... 那位知道 Microsoft ODBC for Oracle 的驱动程序在那里能下载 ::)access数据库中字段是日期和时间型,用DAO编程应该用什么类型的数据才能填充数据库中的字段。 为什么?(大虾、菜鸟...统统欢迎) 在C/C++ 程序中怎样延时? 关于vb程序关闭的问题 如何得到一个文件夹的所有子文件夹和文件? ISA Server LOG中发现异常记录!是不是有黑客? 今年软件水平考试什么时候开始报名啊? 高分求购StyleReport EELite的license 很急,请各位帮忙解决notessql问题 如何得到一个文件夹的所有子文件夹和文件? 求兼职java工作 非模态对话矿如何自杀? 有谁熟悉DB2?(关于VW中元数据!) 如何将光盘中的一个子目录映射成一个硬盘盘符? 关于Applet!请指教 我现在要做一个象性能监视中的显示表格(使用VC),监视网络流量,和Media Server 的Stream。有没有低层的API? 蚂蚁下载 关于弹出窗口的问题 串口通讯的问题 铜和硫反应生成什么? 外墙用300厚石渣空心砖墙是什么意思? 牌号不一样价格差好多哦注塑的话有哪些牌号?工程塑料跟其他的有什么区别 海带灰是什么? 水银中毒怎么办 为什么细铁丝不能在空气中燃烧?简单点············ 海带中存在碘实验中 海带为什么不能用水冲洗?将海带烧成灰的目的是什么?将海带烧成灰的目的是 海水灰加水后为什么煮沸2~3分钟 酸性氧化物有哪些?五氧化二磷是不是? 铁丝在空气中不能燃烧的因素关系最密切的是1.铁丝的表面积2.氧气的浓度3.燃烧区的温度4.铁的着火点理由最好能有验证试验 有谁知道,石膏粉和硅酸钙混合起来是什么,做什么用的.如题,说是通过某种石膏机器直接涂在砖墙上. 意外水银中毒应该怎么办 尼龙塑胶锅铲用的什么塑胶材料?PA6?PA66?PA46?硅胶锅铲与尼龙锅铲有什么应用上的优劣势?硅胶锅铲与尼龙锅铲在应用上各有什么优劣势? 有关水化硅酸钙粉末的问题1.水化硅酸钙表面存在硅羟基么?如何证明其存在?2.该粉末用水配成悬浮液后,会和表面有羟基的材料产生化学结合么,咋证明呢? 从Mg zn cu fe 中选出适当的物质与稀硫酸反应 写出方程式 铁丝在空气中不燃烧的原因 5mol铜与足量硫粉共热转移电子数为多少NA?2mol的铜反应是转移4NA还是8NA? 圆弧抛光机怎么样? 二氧化碳和硝酸银反应的化学方程式是什么? 如何发干海带 我在医院实习,中午睡觉的时候不知道怎么的,放着的汞流出来了,就流在我垫着的衣服底下,还好量不是很多.但是杭州今天天气挺热的,汞蒸发是不是会比较厉害,会不会导致汞中毒 为什么co2不能与硝酸银,稀硝酸反应?卷子上都要我们写出他们反应的化学方程式 铜于足量硫粉供热时 要计算 题在下面原文是这样的 0.5molCu与足量硫粉共热转移电子数是多少 是不是只计算反应物中的Cu 与产物的Cu之间的得失电子就行了? 不用管S的 如果汞中毒会怎样? 铁丝燃烧的化学方程式 海带的作用? 硅酸钠生成硅酸钙方程式哦 PA6原料注塑工艺是什么,有谁知道PA6原料的干燥温度也时间,还有就是注塑工艺,比如注塑温度,压力.等等. 如何发海带? 硅酸钠是沉淀吗? 高速电解水的问题如图片所示啊,我要高速电解水,迅速制取气体,同时也要节约用电。所以要低压电解。就是要减小水的电阻,就是增大电极与水的接触面积,于是设置了图中的左右铜片 什么是水化硅酸钙 玻璃成分中含CO2吗还是只要硅酸钠和硅酸钙如题 拉丝/管级、吹塑级、注塑级再生粒,按什么区分我是做再生粒的新手,拉丝/拉管级、吹塑级、注塑级的再生粒,是什么来区分?我采用的原料是给水管的破碎料,有国外进口的中空破碎料,有注塑 水化硅酸钙的键合原理!1.水化硅酸钙(C-S-H)之间是用何种键连接的?2.混凝土强度产生的详细原因! pa6和pa66 两种塑料是怎么配置出来的 纯水不导电,那么纯水还能被电解么? 水化硅酸钙和硅酸钙凝胶有什么区别啊谢谢 如何提升PA6或PA66阻燃工程塑料的硬度 铁丝在空气中燃烧生成4氧化3铁吗?如果是,为什么不会变成3氧化2铁? 【求助】硬脂酸与三乙醇胺在熔融条件下能够发生皂化反应吗? 英语翻译如题 硬硅钙石型水化硅酸钙 怎么翻译 请问直接接触水银会不会中毒?就是量血压的血压计里的水银漏出来了,然后和手等皮肤有接触. 85%的三乙醇胺按什么比例中和硬脂酸中和成皂的HLB值是多少 1mol硫与1mol铜在加热条件下充分反应转移电子数为NA对吗(详细解析) 硅酸钙沉淀吗 十三烷醇偏苯三酸酯、硬脂酸柠檬酸甘油酯、丙烯酸酯/C10-30烷基丙烯酸酯交联共聚物、透明质酸钠、三乙醇胺以及硬脂酰谷氨酸钠在护肤品中是有什么的作用呢 1mol硫与1mol铜在加热条件下充分反应转移电子数为NA,为什么是1摩不是2摩,方程式是什么样的,,什么条件下是1摩. 生成物中硅酸钙是否加沉淀符号? 八宝粥是怎么做的? 海带如何清洗 干海带如何泡发和储存 改性塑料的分类? 八宝粥配料 如何分离硬脂酸和甘油 PA6增塑剂一般有那些牌号? 硅酸钙是不是玻璃 有谁知道硬脂酸甘油的皂化反应?急用! 材料ERTALON PA6的中国牌号是什么? 硫与铜反应有什么现象 镁硅钙石的化学式是什么呀CaMgSiO4还是Ca3MgSi2O8 最新式的圆弧抛光机有什么功能?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘