说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

12306上的分布式内存数据技术GemFire

HTML文档下载 WORD文档下载 PDF文档下载
作为世界规模最大的实时交易系统之一,12306备受关注,尤其在特殊节日里。尽管昨天消息称其又宕掉了,但恢复时间明显缩短不少,且手机APP未受影响。多少有分布式内存数据技术GemFire的一些功劳。

编者按:打造高并发、大流量的网站一直是我们的关注的重要技术点,比如颇受欢迎的《高性能、高流量Java Web站点打造的22条建议》。所以,每年都会格外关注12306这面“旗帜”。刚刚读者分享了一篇文章,关于12306的分布式内存数据技术,原文来自IT专家网,节选并分享给大家。


中国铁路客户服务中心网站(12306.cn)是世界规模最大的实时交易系统之一。2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最高达到14亿。大量同时涌入的网络访问造成12306几近瘫痪。 为此,2012年3月开始,铁路总公司(原铁道部)开始调研、改造12306。2012年6月选择了Pivotal GemFire分布式内存计算平台改造12306,由铁科院和资拓宏宇(IISI)信息科技有限公司提供技术实施。


点击可看大图

一期先改造12306的主要瓶颈——余票查询系统。9月份完成代码改造,系统上线。2012年国庆,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快。2012年10月份,二期用GemFire改造订单查询系统(客户查询自己的订单记录)。2013年春节,在网上订票高峰期间,可以登录12306,虽然还是很难订票,但是查询余票很快,而且查询自己的订票和下订单也很快。

根据系统运行数据记录,技术改造之后,在只采用10几台X86服务器实现了以前数十台小型机的余票计算和查询能力,单次查询的最长时间从之前的15秒左右下降到0.2秒以下,缩短了75倍以上。2012年春运的极端高流量并发情况下,支持每秒上万次的并发查询,高峰期间达到2.6万QPS吞吐量,整个系统效率显著提高。

订单查询系统改造,在改造之前的系统运行模式下,每秒只能支持300-400个QPS的吞吐量,高流量的并发查询只能通过分库来实现。改造之后,可以实现高达上万个QPS的吞吐量,而且查询速度可以保障在20毫秒左右。新的技术架构可以按需弹性动态扩展,并发量增加时,还可以通过动态增加X86服务器来应对,保持毫秒级的响应时间。

GemFire分布式内存数据平台的原理为:

通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。GemFire支持把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。12306之前采用Unix小型机架构,采用GemFire技术改造成Linux/X86服务器集群架构。

12306ng(12306网站的开源项目)对此尚无点评。不过,昨天是春运火车票发售首日,据悉12306网站“瘫痪”1小时,且出现“串号”问题,显然,单纯分布式内存数据技术还不足以应对12306所面对的技术挑战。毕竟,即使算上SAP的HANA,和Pivotal的GemFire,都还很新。

如果有这方面的好观点,欢迎投稿给我们(@CSDN云计算)。(编辑/郭雪梅)

Framework7:不会Objective-C,也能开发iOS7应用 CocoaChina开发者大会 全新引擎Cocos 3d-x开源 Oracle和微软的抱团,以及对抗Amazon霸主的5个可用点 Agile已死 Agility长存? 论程序员的自我修炼 Github女员工因遭性别歧视离职 继七年iPhone、四年iPad后,苹果的下一城:Healthbook 普元CTO焦烈焱:专注于基础软件 在Spark上的深入实践 Python 3.4.0正式发布 未添加任何新语法特性 谷歌受困邮件挖掘丑闻,企图抹掉庭审记录 Python 3.4.0发布,增加了多个功能模块 美的+阿里,“云端”战略第一把火是智慧家居 对产业互联网战略的战术思考——争夺企业信息入口的战争 加入Cassandra,OpenStack发力DBaaS生态圈 死磕Google Keep,微软正式发布Mac免费版OneNote 《近匠》安管云CTO石磊:降维安全的开放平台 2014 Unity亚洲开发者大会·中国站讲师名单议题全部出炉 【独家专访】红旗Linux元老:猎猎红旗永飘扬 借助三大技巧 助你提升API状态页面 集成GemFire,Hadoop生态圈的又一把火 次世代光照体验:Unity 5面世,功能系统全升级 深入浅出,以咖啡店为例演示Web应用程序扩展 百度Clouda:可依赖的实时JavaScript开发框架 Oracle发布Java 8正式版及JDK 8 编程语言中一些令人抓狂的规则 廉颇未老,微软股价创14年新高 中国云计算大会PPT集萃(三):核心架构及应用实践 特性是增多了,但是Google的云服务仍然不温不火 全国云计算大数据创新项目评选活动正式启动 【独家专访】Perl发明者首次来华:将在OSTC大会分享其编程人生 腾讯核心创始人张志东半年后卸任首席技术官 改任终身荣誉顾问和学院讲师 大家在用c编程时,是怎样运用位运算的?(我c学得不好,请大家指教一下) 怎样从一个vlan的客户机访问到另一个vlan上的客户机,急 一个简单问题?关于查询方面的!请指点! htc文件在WEBSPHERE不能正常运行??? 有了Swing,还有必要使用AWT吗? 怎样将richtextbox中的内容存入sql server数据库? 哪位用VC做过拨号程序阿 紧急求援!!!pqmagic在Windows 2000 professional下的安装问题! 如何在PB中通过脚本将文本文件导入数据库中? 一玩3D游戏就退出,一上网就死机,本人用的是小影霸速配3000,何故? 舌尖的热恋(淡月儿) cbuilder5的工程用cbc6打开,编译的时候,出错。为什么?紧急求救!!!!!!!!!! 关于session的问题 如何读取相对路径的文件 我的这点程序怎么运行有错?(内付原码) 编译器错误信息: CS1519: 类、结构或接口成员声明中的标记“(”无效 请教关于VXWORKS的SDK转到LINUX上的方法 有多少人用Struts做过项目啊? 询问所有JSP的高手!!!(在线等) 怎样写一份解决方案 怎样做像qq那样的面板,有源码最好了 还是鼠标事件问题!大家快帮帮忙! 求和的问题 icmp是什么东西,怎么设置?如何打开或关闭它? 抢分啦~~~~ C/C++中有类似于汇编中的宏替换(&)吗? 关于VB的绘图闪烁 哪里有免费空间, 高手必看,微软专家也过来,可能是一个BUG 一个简单的问题! 询问所有ASP的高手!!!(在线等) 请问谁做过类似VC里的界面编辑器的软件 如何处理有"'"单引号的sql语句 菜鸟!!!!!!!!!!!想编一个象棋的程序看看我的思路 cn_robot(创造上帝的猪(CSDN封杀过没脸做人)),你进来!!! 请问怎样添加资源文件 关于积分系统的算法,可以实现必给分,希望大家多提出宝贵意见 《东方时空分家录》据说是中央电视台内部人拍的 JSP电子书?地址? 这里谁有写日记的习惯(打在电脑上的),欢迎参加 如何调用rar来压缩一个文件夹,在线等待 求救!为何我用GetSockName函数得到的本机IP地址为0.0.0.0? 怎样让JTextField也象TextField具有当作为密码框的效果? 简单问题:用Split分割的字符,怎么得到分割后的字符总数??? 急!!!!!请问正则表达式可否用来查询中文 高手请进,送分的问题! 没人知道add连接俩text形变量的用法吗?紧急! 请教各位一个奇怪的问题 格式问题 关于WIN2000的网络问题,急!!在线等待! 有没有什么函数可以将数据窗口A里的一个字段记录自动COPY下来,然后在另一个窗口可以人工地PASTE.? 蓝企鹅进来(其他高手也行!)------程序问题! 上上下下地看的词语是什么 英语蓉城学堂课课练八上unit 3 self check的题 my dream 英语作文50字(中文)梦想是作家但更想当歌手 五、找出一个划线部分发音不同的单词 ( )1、A、seat B、mean C、leave D、bread( )2、A、pig B、quite C、king D、this( )3、A、back B、man C、make D、happy( )4、A、head B、teacher C、ready D、breakfast( 战士指看南粤中指看改为俯瞰好吗,为什么 以My dream为题写一篇英语作文50个单词以上,梦想成为教师 从A,B,C,D中找出划线部分读音和所给单词相同的单词.【 】表示所给单词【brown】 A.cow B.row C.window【kitchen】 A.children B.headache C.toothache【kite】 A.him B.it C.bike【thank】 A.that B.thirteen C.these 鸟瞰“宫殿之海”阅读答案鸟瞰“宫殿之海” 旅居北京的时候,我最喜欢去的公园就是景山公园.它幽静、古朴,引人遐思;而且,唯有在这景山之巅,万春亭畔,才能够鸟瞰北京,俯视占地七十二 my dream 英语作文50字以上(中文)梦想是作家但更想当歌手 长春兼职翻译(汉译英)1000字多少钱? 小学英语辨音earth disappear hear near meet sweep seem engineercomfortable become enough octoberarrive kind silly shineheavy cheap each heatastronaut rack fact became 发ə:的英语单词快、快、快…… in the mornig when i rise you are the first thing on my mind. /‘bedtu:mz/的英语单词 七年级上英语练习册Unit You are the first thing on my mind 谁帮我翻译下? 小学英语辨音 英语高手快进来( )1.v[o]lleyball d[o]ll( )2.m[a]ke m[ar]k( )3.c[ar]d c[a]ke( )4.r[ea]d cl[ea]n( )5.ch[e]ss gu[e]ss( )6.n[ew]spaper y[o]u( )7.j[o]in b[o]y( )8.k[i]te s[i]t( )9.t[i]ger l[i]ke( )10.librar[y] Sunda[y] 读ə:的英语单词20个 读ə:的 英语单词! 请翻译:You are the first and last thing on my mind!(日常口语) 九上英语 Unit 5 作文,目前,我国在水资源方面存在很多突出的问题,如水资源短缺、水污染严重、水生态环境恶化等等,请以 The importance of water 为题写一篇短文,阐述以上提到的问题并提出解决 论文摘要中译英,〔论文摘要〕排序有助于儿童认知经验与逻辑判断能力等的发展.因此,在儿童数教育中,排序有着重要的地位.但目前,国内外有关学龄前儿童长度排序能力发展现状及年龄特点 You're the first and last thing on my mind 帮我翻译下哦! 按画线部分的读音给下列单词分类. would you like some chicken to eat?would you like some chicken?这两句话有错误吗 you are the only thing on my RT 杰字如何拼音 下雨天你喜欢用雨伞还是雨衣? forest some in work the animals 连词成句 请问这些繁体字用拼音怎么打 对应简体字是哪些 下雨天,是穿雨衣好呢?还是打雨伞好? 仿照(我的老师)这篇作文写一篇作文ps:不能是老师 鸟瞰与俯瞰语用上有什么区别呢?给我解释清楚一点,我是老外. 复数用has还是have 人教版语文七年级上第3单元作文!帮下ME!感受自然,帮下我! “俯瞰”与“鸟瞰”的区别 感受生活的滋味 请问人教版七年级语文第一次作文应该选择什么样的话题?急耍! 鸟瞰与俯瞰最大的区别是什么?站在明珠塔鸟瞰,美景竟收眼底. 富夜俯瞰穷光蛋,鄙视一目了然. 大家认为呢? 初中作文生活中的感受,作文思路是什么,写什么事? 从高处向远处看55555555555555555555555555555555 瞻仰什么,凝视什么,俯瞰什么 急求一篇几十字的就一分钟能讲完的“演讲稿" 具体内容、、、我是一名高二的学生 物化班的班长 明天我就要代表班级去发一个言 是关于班级整体目标的 我的语文水平不好 老师又非要叫我 从高处向远处看是什么看法? [ˈɪntrestɪŋ]英语单词是? 英语口语(汉译英)一切进展顺利麽?或一切还好嘛?用英语怎麽说啊? 西安园艺博览会于2011年4月28日在我国的西安开幕,会期共178天和上海世博会一样,票价分为指定日和非指定日门票.指定日门票为150元1张,非指定日门票为100元1张.若某旅行团中有x人持有非指定 ['zɪərəʊ]是什么英语单词? 英语口语考试,我叫XXX,来自东北,我的家乡在辽宁,图片上的绿色区域.东北物产丰富,土地肥沃.盛产玉米、大豆、大米,我的家乡是座重工业城市,以多产煤和琥珀而著称,琥珀是非常珍贵和漂亮的 表示站在高处向远处看---( )附注;成语.快块块,我的作业! 英语单词中跟读相同的音的单词有那些 中译英 我的英语口语不是很好 中译英,一段文字,谢谢~~练塘工程介绍500kV练塘变电站220kV出线工程,新建线路全长约81.9km,途经松江、青浦、金山三区.本期工程500kV练塘变电站的220kV出线为12回,采用架空线出线,分别为干练变4 ['sɪnəmə] [tʃek] [mʌtʃ] [ˈeɪti] 这些是什么词 醉翁亭记中议论语句,说说这句表达了作者怎样的思想感情?有什么含义【 求一段文字的汉译英请用英文写出下面一段文字的大意,不一定要逐字翻译,但要求是书面语言,而不是口语,我认为,以上四点关于方法的论断对我们有重大的意义和启示.首先,第一点告诉了我们 《一课一练》6年级英语N版第二学期Test5(For Unit 9--10)的几道题答案37.Some flower pots may __the car ang hurt people in the street.A.fall down B.fell down C.fall onto D.fell onto37.Tom never does his homework __,so he often makes m 醉翁亭记中的主旨句是什么,体现了作者什么的思想感情? 表示站在高处往远处看的词语111表示不经意冷谈地看? 八年级英语unit 10唉呀. 现在我的英语成绩落下了一大半. 各位好心的大哥大姐帮帮忙把 unit10的语法重点 点出来. 快期末考了呀. 还有,顺道,也干脆把整本书的内容简单的讲出考点. 谢谢 本 《醉翁亭记》中,表达作者复杂感情的句子是:_________________ 文中点明全文主旨的句子是:____________
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘