说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

12306上的分布式内存数据技术GemFire

HTML文档下载 WORD文档下载 PDF文档下载
作为世界规模最大的实时交易系统之一,12306备受关注,尤其在特殊节日里。尽管昨天消息称其又宕掉了,但恢复时间明显缩短不少,且手机APP未受影响。多少有分布式内存数据技术GemFire的一些功劳。

编者按:打造高并发、大流量的网站一直是我们的关注的重要技术点,比如颇受欢迎的《高性能、高流量Java Web站点打造的22条建议》。所以,每年都会格外关注12306这面“旗帜”。刚刚读者分享了一篇文章,关于12306的分布式内存数据技术,原文来自IT专家网,节选并分享给大家。


中国铁路客户服务中心网站(12306.cn)是世界规模最大的实时交易系统之一。2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最高达到14亿。大量同时涌入的网络访问造成12306几近瘫痪。 为此,2012年3月开始,铁路总公司(原铁道部)开始调研、改造12306。2012年6月选择了Pivotal GemFire分布式内存计算平台改造12306,由铁科院和资拓宏宇(IISI)信息科技有限公司提供技术实施。


点击可看大图

一期先改造12306的主要瓶颈——余票查询系统。9月份完成代码改造,系统上线。2012年国庆,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快。2012年10月份,二期用GemFire改造订单查询系统(客户查询自己的订单记录)。2013年春节,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快,而且查询自己的订票和下订单也很快。

根据系统运行数据记录,技术改造之后,在只采用10几台X86服务器实现了以前数十台小型机的余票计算和查询能力,单次查询的最长时间从之前的15秒左右下降到0.2秒以下,缩短了75倍以上。2012年春运的极端高流量并发情况下,支持每秒上万次的并发查询,高峰期间达到2.6万QPS吞吐量,整个系统效率显著提高。

订单查询系统改造,在改造之前的系统运行模式下,每秒只能支持300-400个QPS的吞吐量,高流量的并发查询只能通过分库来实现。改造之后,可以实现高达上万个QPS的吞吐量,而且查询速度可以保障在20毫秒左右。新的技术架构可以按需弹性动态扩展,并发量增加时,还可以通过动态增加X86服务器来应对,保持毫秒级的响应时间。

GemFire分布式内存数据平台的原理为:

通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。GemFire支持把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。12306之前采用Unix小型机架构,采用GemFire技术改造成Linux/X86服务器集群架构。

12306ng(12306网站的开源项目)对此尚无点评。不过,昨天是春运火车票发售首日,据悉12306网站“瘫痪”1小时,且出现“串号”问题,显然,单纯分布式内存数据技术还不足以应对12306所面对的技术挑战。毕竟,即使算上SAP的HANA,和Pivotal的GemFire,都还很新。

如果有这方面的好观点,欢迎投稿给我们(@CSDN云计算)。(编辑/郭雪梅)

中国式移动办公 纷享销客完成B轮融资千万美元 打造完美用户体验:“天翼平台开放日”沙龙纪实 我的编程认知:多思考、多编码、多测试 聚焦应用开发 2014年微信开发者大会即将召开 继续补Bug,jQuery Mobile发布1.4.3版本 手游SDK服务商棱镜公司获A轮投资 东方弘道领投 广而告之:Databricks终止Shark项目,转至Spark SQL DeNA China副总裁黄雪斌:IP战国时代的生存法则 巴别时代首席执行官赵暕:从页游到手游的完美转身 Oracle借助RESTFUL API扩展移动端版图 优秀求职者应主动问的5个问题 高德LBS智能硬件编程马拉松:硬件复兴,等你挑战! 首届bong线上黑客马拉松:运动数据分析应用bong+获大奖 英特尔推出基于WebRTC的协同通讯方案 凸显本土创新“软”实力 一周消息树:不同设备不同界面的Windows 9正在逼近! 乐卓网络CEO李澄澄:移动游戏IP是把双刃剑 高性能动画!HTML5 Canvas JavaScript框架KineticJS Swift最酷炫的七大功能 微信开发者大会讲师介绍:柳峰与你一起玩转公众平台应用开发 TIOBE 2014年7月编程语言排行榜:仅发布1月,Swift进Top 20! 艾格拉斯CEO王双义:手游自研引擎的荣耀之路 以招行为例,深圳云软黄榕振谈微信公众帐号企业应用高级开发 来自前苹果高管Heidi Roizen的经验之谈 【短讯】Dropbox、微软OneDrive打不开,国内用户该如何应对? 5分钟弄懂Docker! RakNet:被OculusVR收购的跨平台游戏网络引擎 Qualcomm业务拓展副总裁沈劲:智能终端的延伸 苹果发布Xcode 6 Beta 3,Swift迎来重大更新! Linkedln技术高管Jay Kreps:Lambda架构剖析 《近匠》极光推送:聚焦巨头无法快速转身的领域 Babylon.js:拥有微软背景的开源3D游戏引擎 各位侠客帮忙啊,重新装系统出了问题! 将10进制转换成16进制的函数是什么啊? VC高手,怎样以编程的方法实现磁带机的Backup 和 Restore. enmity,进来,我给你结帐.共200分 支援白菜300分,支持白菜个人网站建设:))) CMM 的缩写是什么? 想和大家讨论一下怎样系统的编制软件 如何实现和Word、CorelDRAW同样效果缩放位图 请问各位大哥大爷大妈大。。。。。。。。。。。。。哪里有支持 ASP 的服务器软件下载 我该如何控制IP地址??高手请进。。。 弱弱地问:关于SQL server中的中括号。 各位侠客帮忙啊,重新装系统出了问题!! 一点点小问题????? 请问在 WINDOWS98 下面,除了IIS,还有没有支持 PHP 的服务器软件呢? 在ADO中如何获取表名 关于ASN树的问题(snmp中的MIB的拓扑树) 你是高手你进来!!!!! 各位的顶级域名都在哪申请?价格/速度如何?大家都来说说! DirectX8的MultiFileReader过滤器怎么找不到? 关于用VB显示ado数据库中的图像字段问题 大家来谈谈Msdn如何有效利用 请各位帮忙查看我这段程序错在哪里 , 我是照书上做的 , 可就是无法保存. SQL plus 为何无法登录?? 谁要下载msdn? 紧急求救!寻找工作! 最新新消息~~~~~~~台灣地區中午地震最大震度花蓮市5級 有没有大连的公司要俺? 请教大家!!!java如何实现多重继承?接口该如何使用?份数可以再加,只要我明白了 怎样以编程的方法实现磁带机的Backup. 愿者请进,请各位留下自己的QQ或E-mail,以后大家可以多多交流!!! solaris unix8 的一个问题 asp是用什么软件的阿?我用了interdev,可是开始新建项目时就不行,叫你输入serve时,总是不对?应该输什么啊? 关于字符集 哪里有好的LAN管理软件??? 一个去美国的机会,保签(替朋友贴的,信誉没问题) 打印没有输出? 动态分配内存 因为本人准备过一段时间出去找软件开发工作,本人手头有一张高级程序员资格证书,但没有本科学历请问?? delphi6.0中 data access中怎么没有ttable 和tquery部件了, 该怎么办? 在w2k 下多用户的自动登录。。请指教? SubclassWindow的问题,急,多谢!!!! 高分求购高程经验 一个留学美国的机会,保签 本人手头只有一张高级程序员资格证书,但没有本科学历请问?? 请问如何制作多表头报表,有什么好的VCL吗? 关于水货手机的问题 Is there very large defferent between VB and delphi? Wise INSTALL 安装 DELPHI 出现了问题? 怎么能得到系统中所有窗体(包括其他应用程序打开的窗体)的句柄 bmp图像 网络是泡沫 网络文学是垃圾!! 盘面里的黄金分割线怎么看滴……0.618 0.5 0.382 都有说法吗? 饮水机上的水,热水温度最高能达到多少度?另外喝自来水加热过的水好还是喝饮水机上的热水好? 长期饮用纯净水有利健康吗? 1.618黄金分割黄金分割 饮水机桶中的水会不会和烧开的热水混合?如果把自来水灌进桶里,当做饮用水好不好? 饮用纯净水和自来水相比哪个对身体好 黄金分割比例是0.618,这句话对吗要注意各种细节哦~ 饮水机的水是烧开的吗?有没有到100度?我想用自来水放到桶里来用不知行不行. 家庭过滤饮用的纯净水哪种对健康比较好?现在市场上提供的家庭用过滤饮用水装置有多种类型,价格从几百到几千不等.有的用反渗透膜把水过滤得除了H2O之外,几乎没有别的东西.有的(不用 黄金分割比是什么 我们家自来水烧开后特别难喝,现在每天喝饮水机过滤的水,长期喝有好处还是坏处阿?饮水机过滤的东西是碳粒我家水壶是不锈钢的,很干净的!没有水垢,自来水里应该不含碱(烧开的水没碱,没 长期饮用纯净水对身体好吗 黄金分割里较短线段与线段的比值= =就这样..不要小数带根号谢谢...是较短线段与线段的比值注意~较短线段较短线段较短线段较短线段..... 现在那些饮水机的水被反复反复的烧开,喝了这对身体有什么影响?据说烧开5分钟还是10分钟之后的水就不宜喝的了具休是几分钟啊?忘记了 末端直饮机出来的水是纯水还是矿物质水?直接饮用对健康有益吗?纯水是不能饮用的吧? 生活中的黄金分割的实例,差不多要3个,具体一点~~~ 饮水机是过滤的,现在不想用过滤桶,能用桶装水吗 桶装水和烧的自来水哪一个对身体健康更有利? 黄金分割有什么生活实际应用实例?我们今天学了黄金分割,但不知道究竟有什么用途`` 过滤饮水机用自来水过滤可以吗不要复制``我想买一个过滤饮水机``就是桶上有过滤东西的`自来水直接倒进去能喝吗? 喝烧开的水是不是比纯净水对身体好呢?> 生活中的黄金分割比,快一点,一定要写出比. 请问饮水机是买桶装水的好还是自来水过滤的好? 烧开的纯净水与没烧过的纯净水,混在一起喝, 能举例告诉我黄金分割广泛应用于生活用品的例子吗 美的的饮水机过滤器过滤之后水里有自来水味道? 喝烧开的自来水好 还是喝桶 装的纯净水好 【】“黄金分割”在生活中的例子?【】如题 美的饮水机过滤后的水直接饮用还有自来水的味道,能直接喝吗?新买的美的饮水机,带陶瓷加活性碳过滤的,过滤后的水还是有自来水的味道,可以直接饮用吗? 纯净水可以烧开喝嘛 我们喝什么水健康烧开的自来水致癌 婴幼儿喝桶装水好,还是自来水好? 在水处理中,超滤能除去水中的细菌病毒吗,超滤产水可以钦用吧我们公司用的就是超滤产水用作钦用水,但水质不得而知,最为严重的是喝这水有一种味道,有种土腥味,大家都不知道到底能不能 水二次烧开喝,对身体健康有影响吗?二次烧开的水是什么味道?蒸馏水一样的无味吗? 城市居民一般喝什么水,烧开的自来水,还是桶装水,还是买的矿泉水 自来水中细菌病毒含量多吗?加热煮沸能除去水中多少的细菌病毒? 如何饮水更健康? 专家:自来水烧开喝安全 喝什么水好呀?是烧开的自来水还是桶装水呢? 〓合格的糖果.饼干包装能抵挡细菌病毒吗?放在水中会入水吗 黄金分割与黄金比例分割有何区别 自来水烧开就是安全的饮用水吗? 桶装水健康还是家用电壶烧开的自来水好? 黄金比例的标准是什么?什么是黄金分割点?古代选美女的标准好像就是依照黄金比例的吧,这个比例是什么? 饮水机的水反复烧开能喝吗? 武汉的自来水和桶装水哪个更健康?(自来水有味道) 有没有关于黄金分割线(黄金比例)详细的介绍?如:黄金分割线的来历、应用范围等等. 自来水安全吗?烧开就可以喝了吗? 喝桶装水好还是自来水更好? 黄金分割是比例中项吗? 饮水机一般把水烧到几度? 喝自来水好还是桶装水好 为什么只有黄金分割比例 饮水机里面的水一定需要烧开了才能喝吗? 用自来水烧水好还是用桶装水烧好? 黄金分割定律1.618还是0.618如题... 饮水机喝的水是用自来水烧的,红的一边是开水,蓝的一边接的水可以喝吗?拜托了各位 谢谢 自来水烧开了和桶装水有区别吗? 股市中黄金分割数据中出现了0.382 、0.5 、0.618 和1.382 、1.5、1.618这两组数据?应怎样区分 饮水机放自来水饮用对身体有害吗? 喝桶装水好还是自来水烧开好
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn