说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

安徽农信:30人,13轮测试,完成日均270万笔交易的综合业务系统架构调整

HTML文档下载 WORD文档下载 PDF文档下载
30人,13轮测试,安徽农信信息中心在完成日均270万笔交易的综合业务系统架构调整之后,通过统一门户管理系统实现了资源的自由调度。未来,他们将通过二级研发体系为83家农商行提供从硬件到PaaS层面的支持与云服务。

热爱CSDN的朋友们没少看到云计算频道翻译的国外初创企业通过AWS、Heroku等平台实现小规模、低投入、高价值技术与架构经验的实践分享。但在仰望的时候,我们也在思考:国内是否也有这样经典的技术案例?这些企业IT部门又是如何来做的?

想想在淘宝双十一频惹艳羡目光背后的高并发高交易系统,再想想工商银行数据仓库建设与数据挖掘项目获得美国同行高度认可,我们有理由相信,不是没有,而是还没有挖掘到!

6月20日,在“Power7+新力量,挚i新价值——iWorld 25周年盛典”中巧遇金融系统的企业——安徽省农村信用社联合社(以下简称安徽农信),在对其科技信息中心、主机系统部副经理曹玉蓉的采访中,体味了一场令人惊艳的实战分享!

2006年,数据大集中之后

我国银行业在信息化投入和增长是全球有目共睹的,年平均增长率一般都会超过10%。尤其是2006年,作为银行数据大集中和网络改造的最后一年,全国经营网点都要实现通过专业数据网进行连接,主要业务数据被集中到一个或几个数据中心的目标,信息化建设力度更猛。安徽农信也不例外。

就在这一年,在选择核心业务系统平台时,安徽农信通过对比评估并测试共邀请了9家银行综合业务系统厂商进行了技术交流,经过对比评估后对其中5家平台进行了封闭测试,最终选定了更能满足“安全,个性化业务订制,符合新一代银行综合业务系统稳定性需求”的IBM AS/400。作为基于PowerPC RISC微处理器的IBM iSeries,AS/400全球装机量超过75万套的明星级产品,在金融业核心应用方面就是有口皆碑的。

曹玉蓉对CSDN记者说:“AS/400很稳定,自2006年上线后,仅升级2次。一次是2008年针对硬件如CPU、内存、硬盘和板卡进行了扩容和升级;另一次是2010年的架构调整,新购了两台POWER6 595主机,全部采用外置存储,将用户数据迁移到IASP中,并使用基于存储的同步、异步数据复制进行本地高可用和异地容灾。”

7年时间,仅有2次升级,出人意料的少。对此,曹玉蓉笑着说:“我们设计时都需要为未来3年的容量增长而做预留和考虑,现在看当时做的估算还是比较准确的。2010年调整架构不是基于容,而是基于新技术应用。当时对高可用和容灾备份的新需求,使得基于存储复制的技术有了最新进展,不再是OMS(基于数据库日志复制技术)的一种选择,而且可以考虑基于存储复制的MGM(Metro/Global Mirror)技术。

从OMS到MGM,13个月,13轮测试

目前,在IBM AS/400服务器上实现高可用和灾备的方案分为两大类:第一类是基于软件的逻辑复制方案,如OMS、MIMIX等;第二类是基于硬件的解决方案,如基于操作系统的XSM方案、基于存储的同步/异步数据复制等。

其中,OMS/MIMIX是基于数据库日志的逻辑复制。该技术方案在使用过程中存在以下缺点:双机切换流程复杂,切换时间较长,RTO无法满足金融企业的要求。此外,当主机发生大批量数据变更时,会导致目标端数据的同步时间过长,从而使企业在相当长的一段时间内失去数据一致性。 若此时主节点发生故障,将导致无法承受的后果。由于金融企业对RPO和RTO的要求较高,需要提供不间断的服务,该技术方案无法满足监管机构对金融企业的业务连续性要求。

此外,做OMS的企业服务收费也比较高,MGM的出现给了安徽农信社一种新的可能:实现存储架构的改变。

这里需要补充一些技术背景。

OMS/MIMIX是基于数据库日志的逻辑复制。其原理是将主机端对象变更的数据库日志发送到备机,再通过备机APPLY日志来进行数据同步。而由于AS400使用外置存储和普通AIX(UNIX)使用存储有所不同,AIX (UNIX)使用存储的可以在光纤交换机SAN switch上把连接存储端口,在SAN SWITCH里把这个端口和多台服务器共享,但AS400不能共享端口设备,只能独占使用(相当于把AS400上光纤卡直接拉一根光纤到外置存储设备的一个光纤口上),所以,尽管2007年左右AS400已经可以支持外置存储,但考虑到整体复杂度,使用企业还是比较少,直到MGM出现。通过外置存储,比如DS8700 的Metro Mirror,Global Mirror功能能够实现基于AS400与外置存储的两地三中心的灾备,且备份优化、扩充磁盘空间方便,磁盘I/O性能更好。(技术细节可参看论文《一种基于MGM技术的应用级业务连续性方案》

“在我们之前,业内已经有很多同行在使用IASP技术(与Unix的DedVGM技术为同一个概念),不需要将所有数据放到同一个ASP1中,而是单独划分出一组盘存放存放用户数据但IASP此前多用于内置硬盘上,通过在外置存储上划分IASP存放用户数据,并基于存储复制MGM技术实现双机高可用和容灾这是全球第一次的实践。”

“作为第一个吃螃蟹的人,没有任何实践和经验可以借鉴。” 曹玉蓉形容2010年的这段时间为“暗无天日(加班),仅测试,就进行了13轮。”

13轮?这意味着什么样的工作量?“13轮测试包含了技术角度、业务角度以及切换到全行应用的角度(比如让所有切换人员熟练过程),每一轮都是不同层面的聚合。比如,技术方面,因为用的是新架构,就需要验证这个技术是否可行、是否可靠,仅技术层面,前期就做了四五轮测试,我们先去北京IBM实验室,又去了上海IBM实验室,在两个实验室都待了一段时间来反复测试。而测试完成后,机器到了现场,在没有上线之前又测了很多轮,包括各种业务场景等等。业务方面,业务系统跑在新架构上会对业务性能的影响,日后交易量翻番,翻3番、翻4番时是否能够承受这么大的压力等。运维方面,从基于OMS切换到MGM之后,操作性、易维护、易用都要测试。整个测下来一共花费了8个月。因为我们把要所有的柜面交易全部跑一遍。不止如此,我们还从下面行中抽调了大约20个有丰富经验的柜面人员参与所有交易的连通性测试,仅这一项就测试了两个多月的时间。”

“既然这么费劲,为什么一定要做的?不是很多企业还用的很好么!”针对记者的问题,曹玉蓉说:“相关监管部门对高可用要求非常严格。而OMS系统是有诸多限制和不足的,原来的基于日志复制的OMS技术由于在结息和批处理后的同步时间较长,同步期间若机器出了问题会造成很大影响。”

相对于这样的测试量,8个月,时间真的很短。而后期切换,却只用了18小时,这不能不说是令人惊艳的。“我们找到了一个非常好的时间点。由于业务增量迅猛,当时我们数据中心需要搬迁到1000平米的新机房,所以向人行申请停业三天。只有利用这样的机会,才能在不影响业务的情况下完成技术变迁。而最终,我们新旧系统的迁移实施只用了13小时就完成了,包括将综合业务系统切换到新机器上,并完成切换测试、批处理等在内,所有人不眠不休地干了18小时!现在AS400上的系统承接了日均270万交易笔数的重任。”

事实上,准备也采用这套方案的金融企业还有很多。“自从我们2011年成功实施以来,参观考察的企业络绎不绝,包括农信、城商行、农商行等等都来我们这里实际考察方案的稳定性和可行性,看看这条路子走的是否通畅。现在,应该有一些银行也完成了迁移。”

做行内的PaaS平台,提供云服务支持

“从内置存储到外置存储,涉及的硬件产品、方案和厂商都很多,技术变化也很多,再加上部分用户数据需要迁移到外置存储IASP上,留给我们评估的时间就更少了。所以如果时间充裕些,可以做的更全面。”曹玉蓉还告诉CSDN记者:“我们现在已经将所有开发测试放入云计算平台中,从资源申请到交付10分钟内全部完成。云计算平台的后台资源池包括了IBM 的AIX平台和X86平台这些不同的资源池可以通过统一门户管理系统进行调度。”

在安徽省,安徽农信共有3000多家网点,承接着国家政策性资金(如粮补、农等)的发放,目前已经达到存款余额4000亿,贷款3000多亿的规模,经济体量排名第一。

坐拥庞大的数据,对云计算、大数据、移动互联网背后所代表的新应用模式安徽农信有着更深的思考:“我们现在主要定位在数据大集中后企业私有云,目前已经实施了CRM系统,构建起行内客户信息统一平台,数据分析和挖掘会在下一阶段的管控中建模和分析。另一方面,我们也会通过二级研发体系,将部分农商行当地的特色业务交给他们来开发,我们则为下面83家农是行提供从硬件到PaaS层面的支持与云服务。”

对此,安徽农信信息技术中心总经理于汪洋有着精妙的见解:在几年前,安徽农信确立“科技先行”的战略方针后,科技已成为业务的合作伙伴。从项目规划模式、系统建设模式到服务运维模式,云计算正在帮助安徽农信的科技更可靠、更有效地运行。下一步,不论是金融互联网,还是互联网金融,都需要进一步梳理科技与业务的关系。云计算应用及云概念的引入,将对信息技术的业务应用、银行业务服务及信息系统运维产生推动及变革作用。

写在最后:

在这次大系统调整中,安徽农信的领导层极为支持,项目的成功实施:对上,考验的是领导能力;对下,考验的是团队执行力。上下团结一致是成功最核心的基础!另外,还有一个有关团队建设的细节很有意思。

众所周知,“以战代练”能迅速提升团队实战能力和水平。而在安徽农信这里,效果更加明显。2006年,安徽农信进行了校园招聘,一共招到14名。这14名新人在实习期内全部被要求写不同模块的底层核心业务代码,而直到写完代码才正式分配岗位,比如做开发、网络、主机等。而这14名新人在这次架构调整的项目中突飞猛进,快速成长为信息部门骨干(曹玉蓉就是其中之一)。而现在,第二批新人(大部分都是1987年、1988年的)也已经成长起来,形成了良好和稳定的技术人才梯队。目前安徽农信信息中心专做技术的成员共计74名,负责全行的开发、维护、网络等。

基于AS400(IBM power of i)的可管理性、高度集成、软件兼容强等特点在安徽农信的项目中得到了集中展现,而其背后敏捷开发的实现,也令IBM系统与科技事业部Power产品总监李红,这位已经在Power系统耕耘19年的重量级专家也感到惊艳:“改革从来都不件容易的事情。每一次的变化需要考虑的环节非常复杂,尤其是银行业。他们通过写代码,熟悉核心业务,没有过分依赖外包,这样不仅是能够实现深度监管,而且还可以随着业务变革而进行二次开发和优化。用如此短的时间实现庞杂的架构调整,带来了‘奇迹’!”

实习期就敢玩命儿写核心代码,谁说金融业没有这样的生力军

相关论文:《一种基于MGM技术的应用级业务连续性方案》,已经上传到CSDN下载频道。便于对上述技术进行理解。

Google也节能:挖角美能源部Arun Majumdar博士 预测:云计算领域的5大变革 CTO俱乐部:移动信息化的创新实践及互联网创业 核心组图曝光:BlackBerry 10明年1月30日发布 “蛐蛐儿”创始人朱连兴:音频二维码的技术实现和应用场景 信恩科技创始人林兴陆:QR Code二维码的前世今生 2012移动开发工具盘点:傻瓜式游戏工具引擎 《福布斯》发布年度“未来之星” 扎克伯格上榜 Cloudera透露Impala发行版新功能及开源计划 Nokia落寞身影下 三星成为全球最大手机厂商 乐视网CTO:智能电视,一个诱人的议题 SeatGeek:Web设计师如何转型iOS开发? IE10支持HTML5标准拖放 IBM IT实践达人赛24强出炉 决赛圈比拼创新实践力 [简讯] Perl迎来25岁生日 软件开发者最重要的四大技能 为什么说惠普、戴尔和IBM在互联网发展中站错队 升级iOS 6还得看Google Maps 2012移动开发工具盘点:16大跨平台游戏引擎 GitHub Web游戏开发竞赛 获奖榜单出炉 Dart里程碑2发布 大幅提升dart2js性能 To Facebook:HTML5不好用?是你不会用! AWS推快照备份服务抵御宕机风险 靠谱吗? 微软品鉴会秀Windows 8电脑 上百款新设备年末上市 甩开外包,雄踞榜首:揭开“宫爆老奶奶”成功的秘密 IBM收购大数据公司StoredIQ 推动大数据传输能力 令人意外:前Windows部门总裁将去哈佛教书 舒迅:产品经理必读的九步法 独家爆料:Facebook移动客户端开发揭秘 一个独立开发者的自白:我如何在一年赚得60万美元 Dropbox收购Snapjoy 意欲打造媒体中心 新手三层结构。问题多多。。。 jsp怎样连数据库? 高分讨教:这个vb+SQL2000的出错提示太奇怪了. 有在深圳考程序员的吗? 大家觉得电信好还是联通好啊 为什么在Win2000下我的GeForce GTS的显卡用了最新的公版驱动,在Windows优化大师中测试 一个小问题,如何在Access97数据库中创建和使用临时表??? 请问一个问题:有一个字符串,我想去掉左边固定的几个字符,剩下右边未知的几个字符!怎么做?谢谢~~ 菜鸟提问,网页上的自动变化的图片用什么作的呀? 请问哪有免费的web mail系统下载? 如何新建一个数据链接? 我想给自己的控件加一个ImageList和ImageIndex属性,选中ImageList后,在ImageIndex中显示图像列表。应如何做? 曾经的话题想改变命运的请走进来不想再说多少有自已看懂,了的曾经在这里发过言的朋友可以和我联系,QQ12545029,scaer123@163.net 如何在ASP中实现广告的按比率播放? dbedit 的问题,???????? private 里声明的函数居然调用不了? 如何得到字体的宽度和高度? ???????如果你说你对DELPHI懂,请进 SAMPLE QUESTION 在DELPHI中如何使用其他语言开发的主见? 请问LINK : warning LNK4098: defaultlib "mfcn42d.lib" conflicts with use of other libs; use /NODEFAULTLIB:library是什么含义? 请问,如何删除一个单项链表的头节点?? 怎样成为编程高手!请教高手们!! b/s程序在客户端生成EXCEL报表问题,梦天请进? 求解:如何将一幅图片或文件存入数据库??? 在用UpdateBatch方法保存纪录时VB提示:数据提供程序或其他服务返回E_FAIL状态。错误号:80004005,我死活也调不出来,还望各位高手指点一二。 菜鸟求教:要怎样去买一款满意的笔记本电脑?(29分) 我新生成一个继承自TPanel的类,但我想有其Create时,在其上放置一个TImage,请问: 急!新手请教:想查一个字符串是否存在于另一字符串中,如"asd" 不在"abca sd"中,该是哪个函数 为何网能上Ftp软件和SQL Server和Foxmail用不了? 急!!!谁有RTF文件格式中元素说明?给一份!谢先!!!!70分奉上! 请问VC中如何配置ADO(详细些)???????????????????? 关于一个DW的求和问题 问win32汇编大师(vBin等)一个非常难的问题,请看下面的源码: 请帮我看一看这个问题(关于死锁),顺便送分。 欢迎讨论jsp与ASP.NET技术 vb6+SQL2000中,在用UpdateBatch方法保存纪录时VB提示:数据提供程序或其他服务返回E_FAIL状态。错误号:80004005,我死活也调不出来,还望各位高手指点一二。 关于如何导出SQL SERVER 的数据到Excel表?? 两台PC对连问题! 一个关于ADO的连接问题,非常急!我试了好多天没进展! 在新的UNIT中我想创建一个类为什么会这样?请进吧。 恐怖!!!安装Rad Hat 7.2后,彩显报销!!!! Help Me!(简单问题) FOXpro打印与临时表的冲突? VFP高手请进。。。 继承父新生成一子类,但要屏蔽部分父类的Published或Public的Property申明属性如何做? 欢迎讨论jsp与ASP.NET技术?? 我欲展翅,我欲飞翔,我欲展翅飞翔!匆忙中,我的翅膀居然断了一个...... 怎样后台执行程序 我想工作!快想疯了 请教五城市售货员问题(即货郎担问题)分枝限界算法,机械那本书看不懂 如何去除定义为String * 256 后面的空白 OCIServerAttach这个函数的参数是怎么回事 尖子生题库数学六年级上册总复习答案 1、已知y=-(x-2)平方+5,若-1≤x≤1,则y的最小值等于多少,y的最大值等于多少?若-1≤x≤1,则y的最小值等于多少,y的最大值等于多少? 当m=____时,式子1-(2m+3)的二次方有最大值 谁有六年级上册数学复习题和答案 C语言转义字符'\ddd'代表八进制数 \后面第一个d一定要是0 才代表八进制数么 比如'\123'表示八进制数么 式子4-a的平方-2ab-b的平方的最大值()A.当a=-b时,4-a的平方-2ab-b的平方的最大值是4B.当a=b时,4-a的平方-2ab-b的平方的最大值是4 请将下面个数用八进制数和十六进制数表示.(1)10 (2)32 (3)75 (4)-617 (5)-111 (6)2483 (7)-28654 (8)21003 六年级上册数学课本第五单元整理和复习第2题目是什么 (4根号3分之2-10根号5分之1-根号80) 十六进制数B9A的八进制表示是? 当y=(  )时,式子7-(y+1)的平方+5有最大值,这个最大值为(   ) 计算:根号4又5分之4x根号5÷(-4分之3根号10) 求下面组合图形阴影部分的面积,答完给重赏 c语言题目:下列各无符号十进制数中,能用八进制表示的是.又有一题不解:下列各无符号十进制数中,能用八进制表示的是 A)296 B)333 C)256 D)199 求y=4的x次方+2*2的x次方的最大值 最小值 六年级数学,求解答! 求下列各阴影部份的面积六年级数学,求解答!求下列各阴影部份的面积 当x=__时,式子5-(x+3)的平方取得最大值___ 8进制转10进制小数部分怎么算八进制数3777.732转成10进制数,小数部分该怎么算? 求解答 六年级数学 阴影部分面积 在线等 式子5-|x+y|最大值为( )当取最大值时x与y关系为( ) 10的八进制是多少/ Window下创建的.txt文本文件中的数字是用2进制计数法的形式编码,还是用符号编码? 用描述法表示:8进制数 小学六年级上册语文第一单元作文 圆的面积计算公式是什么 下面的哪些答案可以用以表示八进制值8 小学六年级语文上册第一单元作文有什么可写 马上期末了,星期一就要要啊,各位英雄侠女,走个后门儿~祝愿我考个好成绩,积分多多! 人教版六年级上册数学第四单元整理与复习 若关于x的方程5x+2m=2与3x=10-2x的解相同,则m的值为? 小学六年级升学考数学试卷,高悬赏! 小学六年级上册人教版11条圆的概念 八进制的除法运算!如图,蓝线那里,2补下来怎么变成了170?为什么?结果是对的! 小学六年级升学考数学试卷,高悬赏! 答案是什么 2倍的根号3(3倍的根号75-根号2-根号27) 一道八进制运算题,求高手解答~~15×12~~注意:是八进制啊,不是十进制~~ 数列2 4 8 14 的通项公式? 式子10-(x+y)的平方;有最大值还是最小值?若有,请求最大值或最小值,此时x与y是什么关系?那么-x的平方-1呢 当25-3(a+b)的二次方有最大值时,a与b之间的关系是什么,式子的最大值是什么. 10.用八进制表示一个字节的无符号整数 ,最多需要_________A.1 位 B.2 位 C.3 位 D.4 位11.用十六进制表示一个字节的无符号整数 ,最多需要__________A.1 位 B.2 位 C.3 位 D.4 位 式子10减(x+y)的2次方,有最大值还是最小值?若有,请求出最大值或最小值,此时x与y是什么关系?现在需要 八进制码如何计算?求步聚 37.用八进制表示一个字节的无符号整数 ,最多需要__________ 苏教版小学数学六年级上册整理与复习答案 急急急急急 当a,b满足什么关系时,式子25-(a+b)的2次方有最大值,最大值是多少 4x²-7x-3-( )=2x²-3x+8括号里填什么? 将-617以八进制数表示答案是(176627)而为什么(-01151)不行呢,这两个的区别是什么? 六年级上册人教版语文第七单元作文500字 3x²-[7x-(4x-3)-2x²] 北师大六年级上册数学整理与复习一答案(包括算式)别让我说题目 人教版六年级语文上册第一单元作文第三种最好500字!写暑假生活,要用已过去的口气写,不写正在暑假的 越多越好如题 一个数怎样用八进制表示? 小学六年级上册语文第四单元作文500字以上现在就要! 已知(4x²-7x-3)-A=3x²-2x+1,则A为( ).A.x²-9x+2 B.x²-9x-4C.x²-5x-2 D.x²-5x-4 (3分之1-2x)=(7分之3x+1)-3 立方根8+3平方根3-根号75+根号48分之1 六年级数学上册第三单元整理和复习2至4题的答案.化简:24:36 0.75:1 4分之3:列式要写过程:(1)张大爷养了200只鹅,鹅的只数是鸭的5分之2.养了多少只鸭?(2)张大爷养了200只鹅,鹅的只数 对于式子|a|+1,当a取何值时它有最小值?最小值是多少?对于式子2-|a -2| ,当a取何值,它有最大值?是多 式子49-1/2(x-3)的平方在x=——时有最大值
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn