说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

安徽农信:30人,13轮测试,完成日均270万笔交易的综合业务系统架构调整

HTML文档下载 WORD文档下载 PDF文档下载
30人,13轮测试,安徽农信信息中心在完成日均270万笔交易的综合业务系统架构调整之后,通过统一门户管理系统实现了资源的自由调度。未来,他们将通过二级研发体系为83家农商行提供从硬件到PaaS层面的支持与云服务。

热爱CSDN的朋友们没少看到云计算频道翻译的国外初创企业通过AWS、Heroku等平台实现小规模、低投入、高价值技术与架构经验的实践分享。但在仰望的时候,我们也在思考:国内是否也有这样经典的技术案例?这些企业IT部门又是如何来做的?

想想在淘宝双十一频惹艳羡目光背后的高并发高交易系统,再想想工商银行数据仓库建设与数据挖掘项目获得美国同行高度认可,我们有理由相信,不是没有,而是还没有挖掘到!

6月20日,在“Power7+新力量,挚i新价值——iWorld 25周年盛典”中巧遇金融系统的企业——安徽省农村信用社联合社(以下简称安徽农信),在对其科技信息中心、主机系统部副经理曹玉蓉的采访中,体味了一场令人惊艳的实战分享!

2006年,数据大集中之后

我国银行业在信息化投入和增长是全球有目共睹的,年平均增长率一般都会超过10%。尤其是2006年,作为银行数据大集中和网络改造的最后一年,全国经营网点都要实现通过专业数据网进行连接,主要业务数据被集中到一个或几个数据中心的目标,信息化建设力度更猛。安徽农信也不例外。

就在这一年,在选择核心业务系统平台时,安徽农信通过对比评估并测试共邀请了9家银行综合业务系统厂商进行了技术交流,经过对比评估后对其中5家平台进行了封闭测试,最终选定了更能满足“安全,个性化业务订制,符合新一代银行综合业务系统稳定性需求”的IBM AS/400。作为基于PowerPC RISC微处理器的IBM iSeries,AS/400全球装机量超过75万套的明星级产品,在金融业核心应用方面就是有口皆碑的。

曹玉蓉对CSDN记者说:“AS/400很稳定,自2006年上线后,仅升级2次。一次是2008年针对硬件如CPU、内存、硬盘和板卡进行了扩容和升级;另一次是2010年的架构调整,新购了两台POWER6 595主机,全部采用外置存储,将用户数据迁移到IASP中,并使用基于存储的同步、异步数据复制进行本地高可用和异地容灾。”

7年时间,仅有2次升级,出人意料的少。对此,曹玉蓉笑着说:“我们设计时都需要为未来3年的容量增长而做预留和考虑,现在看当时做的估算还是比较准确的。2010年调整架构不是基于容,而是基于新技术应用。当时对高可用和容灾备份的新需求,使得基于存储复制的技术有了最新进展,不再是OMS(基于数据库日志复制技术)的一种选择,而且可以考虑基于存储复制的MGM(Metro/Global Mirror)技术。

从OMS到MGM,13个月,13轮测试

目前,在IBM AS/400服务器上实现高可用和灾备的方案分为两大类:第一类是基于软件的逻辑复制方案,如OMS、MIMIX等;第二类是基于硬件的解决方案,如基于操作系统的XSM方案、基于存储的同步/异步数据复制等。

其中,OMS/MIMIX是基于数据库日志的逻辑复制。该技术方案在使用过程中存在以下缺点:双机切换流程复杂,切换时间较长,RTO无法满足金融企业的要求。此外,当主机发生大批量数据变更时,会导致目标端数据的同步时间过长,从而使企业在相当长的一段时间内失去数据一致性。 若此时主节点发生故障,将导致无法承受的后果。由于金融企业对RPO和RTO的要求较高,需要提供不间断的服务,该技术方案无法满足监管机构对金融企业的业务连续性要求。

此外,做OMS的企业服务收费也比较高,MGM的出现给了安徽农信社一种新的可能:实现存储架构的改变。

这里需要补充一些技术背景。

OMS/MIMIX是基于数据库日志的逻辑复制。其原理是将主机端对象变更的数据库日志发送到备机,再通过备机APPLY日志来进行数据同步。而由于AS400使用外置存储和普通AIX(UNIX)使用存储有所不同,AIX (UNIX)使用存储的可以在光纤交换机SAN switch上把连接存储端口,在SAN SWITCH里把这个端口和多台服务器共享,但AS400不能共享端口设备,只能独占使用(相当于把AS400上光纤卡直接拉一根光纤到外置存储设备的一个光纤口上),所以,尽管2007年左右AS400已经可以支持外置存储,但考虑到整体复杂度,使用企业还是比较少,直到MGM出现。通过外置存储,比如DS8700 的Metro Mirror,Global Mirror功能能够实现基于AS400与外置存储的两地三中心的灾备,且备份优化、扩充磁盘空间方便,磁盘I/O性能更好。(技术细节可参看论文《一种基于MGM技术的应用级业务连续性方案》

“在我们之前,业内已经有很多同行在使用IASP技术(与Unix的DedVGM技术为同一个概念),不需要将所有数据放到同一个ASP1中,而是单独划分出一组盘存放存放用户数据但IASP此前多用于内置硬盘上,通过在外置存储上划分IASP存放用户数据,并基于存储复制MGM技术实现双机高可用和容灾这是全球第一次的实践。”

“作为第一个吃螃蟹的人,没有任何实践和经验可以借鉴。” 曹玉蓉形容2010年的这段时间为“暗无天日(加班),仅测试,就进行了13轮。”

13轮?这意味着什么样的工作量?“13轮测试包含了技术角度、业务角度以及切换到全行应用的角度(比如让所有切换人员熟练过程),每一轮都是不同层面的聚合。比如,技术方面,因为用的是新架构,就需要验证这个技术是否可行、是否可靠,仅技术层面,前期就做了四五轮测试,我们先去北京IBM实验室,又去了上海IBM实验室,在两个实验室都待了一段时间来反复测试。而测试完成后,机器到了现场,在没有上线之前又测了很多轮,包括各种业务场景等等。业务方面,业务系统跑在新架构上会对业务性能的影响,日后交易量翻番,翻3番、翻4番时是否能够承受这么大的压力等。运维方面,从基于OMS切换到MGM之后,操作性、易维护、易用都要测试。整个测下来一共花费了8个月。因为我们把要所有的柜面交易全部跑一遍。不止如此,我们还从下面行中抽调了大约20个有丰富经验的柜面人员参与所有交易的连通性测试,仅这一项就测试了两个多月的时间。”

“既然这么费劲,为什么一定要做的?不是很多企业还用的很好么!”针对记者的问题,曹玉蓉说:“相关监管部门对高可用要求非常严格。而OMS系统是有诸多限制和不足的,原来的基于日志复制的OMS技术由于在结息和批处理后的同步时间较长,同步期间若机器出了问题会造成很大影响。”

相对于这样的测试量,8个月,时间真的很短。而后期切换,却只用了18小时,这不能不说是令人惊艳的。“我们找到了一个非常好的时间点。由于业务增量迅猛,当时我们数据中心需要搬迁到1000平米的新机房,所以向人行申请停业三天。只有利用这样的机会,才能在不影响业务的情况下完成技术变迁。而最终,我们新旧系统的迁移实施只用了13小时就完成了,包括将综合业务系统切换到新机器上,并完成切换测试、批处理等在内,所有人不眠不休地干了18小时!现在AS400上的系统承接了日均270万交易笔数的重任。”

事实上,准备也采用这套方案的金融企业还有很多。“自从我们2011年成功实施以来,参观考察的企业络绎不绝,包括农信、城商行、农商行等等都来我们这里实际考察方案的稳定性和可行性,看看这条路子走的是否通畅。现在,应该有一些银行也完成了迁移。”

做行内的PaaS平台,提供云服务支持

“从内置存储到外置存储,涉及的硬件产品、方案和厂商都很多,技术变化也很多,再加上部分用户数据需要迁移到外置存储IASP上,留给我们评估的时间就更少了。所以如果时间充裕些,可以做的更全面。”曹玉蓉还告诉CSDN记者:“我们现在已经将所有开发测试放入云计算平台中,从资源申请到交付10分钟内全部完成。云计算平台的后台资源池包括了IBM 的AIX平台和X86平台这些不同的资源池可以通过统一门户管理系统进行调度。”

在安徽省,安徽农信共有3000多家网点,承接着国家政策性资金(如粮补、农等)的发放,目前已经达到存款余额4000亿,贷款3000多亿的规模,经济体量排名第一。

坐拥庞大的数据,对云计算、大数据、移动互联网背后所代表的新应用模式安徽农信有着更深的思考:“我们现在主要定位在数据大集中后企业私有云,目前已经实施了CRM系统,构建起行内客户信息统一平台,数据分析和挖掘会在下一阶段的管控中建模和分析。另一方面,我们也会通过二级研发体系,将部分农商行当地的特色业务交给他们来开发,我们则为下面83家农是行提供从硬件到PaaS层面的支持与云服务。”

对此,安徽农信信息技术中心总经理于汪洋有着精妙的见解:在几年前,安徽农信确立“科技先行”的战略方针后,科技已成为业务的合作伙伴。从项目规划模式、系统建设模式到服务运维模式,云计算正在帮助安徽农信的科技更可靠、更有效地运行。下一步,不论是金融互联网,还是互联网金融,都需要进一步梳理科技与业务的关系。云计算应用及云概念的引入,将对信息技术的业务应用、银行业务服务及信息系统运维产生推动及变革作用。

写在最后:

在这次大系统调整中,安徽农信的领导层极为支持,项目的成功实施:对上,考验的是领导能力;对下,考验的是团队执行力。上下团结一致是成功最核心的基础!另外,还有一个有关团队建设的细节很有意思。

众所周知,“以战代练”能迅速提升团队实战能力和水平。而在安徽农信这里,效果更加明显。2006年,安徽农信进行了校园招聘,一共招到14名。这14名新人在实习期内全部被要求写不同模块的底层核心业务代码,而直到写完代码才正式分配岗位,比如做开发、网络、主机等。而这14名新人在这次架构调整的项目中突飞猛进,快速成长为信息部门骨干(曹玉蓉就是其中之一)。而现在,第二批新人(大部分都是1987年、1988年的)也已经成长起来,形成了良好和稳定的技术人才梯队。目前安徽农信信息中心专做技术的成员共计74名,负责全行的开发、维护、网络等。

基于AS400(IBM power of i)的可管理性、高度集成、软件兼容强等特点在安徽农信的项目中得到了集中展现,而其背后敏捷开发的实现,也令IBM系统与科技事业部Power产品总监李红,这位已经在Power系统耕耘19年的重量级专家也感到惊艳:“改革从来都不件容易的事情。每一次的变化需要考虑的环节非常复杂,尤其是银行业。他们通过写代码,熟悉核心业务,没有过分依赖外包,这样不仅是能够实现深度监管,而且还可以随着业务变革而进行二次开发和优化。用如此短的时间实现庞杂的架构调整,带来了‘奇迹’!”

实习期就敢玩命儿写核心代码,谁说金融业没有这样的生力军

相关论文:《一种基于MGM技术的应用级业务连续性方案》,已经上传到CSDN下载频道。便于对上述技术进行理解。

乐视网联手富士康推超级电视 欲颠覆传统盈利/营销模式 IBM 2012IT实践达人赛圆满落幕 宣布成立新兴技术大学 对比MapReduce 流处理框架没有所谓的查询层 美国政府:修复漏洞仍有风险 应禁用Java插件 AppGlu应用辅助工具:帮助开发者处理善后工作 iOS!你这几个方面该向Android好好学习 小于1%,中国有真正自主的移动操作系统吗? 张小龙专访系列(下):不一样的产品思维 Gartner:截止到2016年公有云市场复合增长为17.7% Appcore:在企业内部部署IaaS平台 B轮融资600万美元 超现实主义!用脑电波控制你的计算机设备 搜狐否认“情理之中”的退市 上市仍是最优选择 六大BaaS产品推荐:移动开发必备的后端云服务 未遵守承诺 微软遭遇欧盟7.31亿美元巨额罚单 PaaS正能量:6人团队,仅1人全职后端 支撑6000万用户 三星:我不抽成,收益100%让开发者拿去! 腾讯开放平台推“送红利计划” 承诺半年内不参与分成 JavaEE快速开发框架Wabacus 4.0发布,开发效率提高五倍以上 市盈率创新高 谷歌为什么会在苹果博弈中暂时胜出 从Rovio遇到危机,看现在应用市场的演变 Windows Azure支持Android应用 面向东亚推广云服务 抛弃DRAM、拥抱闪存,Facebook重做Memcached 夏普三星联姻 电子行业或将多元化发展 从下拉菜单设计细节看Amazon对用户体验的把握 Chartboost美女CEO:40人团队服务3亿移动玩家 Distimo:新晋开发者想让产品得到关注越来越难 OpenFeint绝迹后,开源项目OpenKit继续前进 美FDA通过搜索引擎和社交平台预警药品副作用 挖坟三星“眼球追踪技术”背后的技术团队 为什么开发者热衷在Stack Overflow上查阅API文档? Facebook推新News Feed 欲造就“个性化报纸” GCC不认识sockaddr_in,但认识sockaddr,哪位大侠指点一下是什么地方没有配置好 asp中的过程和函数是否可以传递两个以上的参数? 假设我在dataGrid中的修改某一个单元格内容之后,焦点还没有离开,再去保存,就保存不了! 求助!!!鲁文易盘无法驱动,急!!!!!!!!!! 为什么只能用localhost访问? 还是烦人乱码问题~~JSP 连不上网。 人家说我有热情没天分,当不了程序员 中秋节给大家助助兴,小游戏一只,最终获胜的可获全部分数,100大分哦! 简单问题,急! 请教零长度问题(不好意思没分了救命啊) 请教零长度问题(不好意思没分了救命啊) sizeof的问题 今天的最近一问.... 写一个参数有默认值的函数出现的问题! 请教零长度问题(不好意思没分了救命啊) 有个关于可见性的问题,请指点, Delphi6中控制Excell2000的Chart的问题 看哪个地方出名人多 c++ 求学 (更上一层楼) 请教零长度问题(不好意思没分了救命啊) 高分寻求jtest4.5的破解 或注册方法 关于批量删除不同目录下相同文件的问题。 如何在VFP中运行VFP代码? 如何调用chm帮助文件? iptables问题 请教零长度问题(不好意思没分了救命啊) 大家來討論工作的問題 能用c语言编有关网络的程序吗?谢谢大侠们了:) 要在程序中控制在DBCHART显示不同颜色部分的内容及数值,如'34 丰田',来者有分? 提个建议:在祝福 璇玑大力 的贴子中,有不少的“名句妙词”,我们花点时间,搜集于一贴,同意的举手!(我的分数太紧张) 低级问题:如何把TFileStream中的一个字节读到一个byte变量中? 串口编程问题 jsp+mysql用的的resin服务器,运行一段时间,网站访问速度就很慢了,一般会是什么原因引起的呢? 两个字符串,前面是任意字符,后面必须是数字,怎么验证这两个字符串前面的字符是否一样? 怎么才能不关?? 祝大家中秋节快乐,进来帮小妹一把!关于JavaMail收邮件的问题! 一段列表筐代码不知道能不能短一些(请高手帮忙) 一个关于安装控件的问题? 请教SNMP的命令? Class.forName("oracle.jdbc.driver.OracleDriver").newInstance(); 如何在formload时就确定TabControl1显示第3页?菜鸟提问 css的问题,如何使字体大一点??? 紧急求救 datagrid选中的颜色(我重新画了一个datagrid,设置颜色) 在access中如何控制查询 avg(某字段)的小数位数,比如要两位小数 如何起死回生 一道题目 做文件上传系统时,当上传较大容量的文件时如大于2M的文件时出差,请问是什么问题? 请教一个insert into select...语句的问题! 简单的问题,取出头n条记录的select语句怎么写? 三人成什么【成语】 利用幂的运算性质计算:(根号5)×(5分之根号5)的负2次×五次根号(25分之1) 中秋感言 知道一个这样的成语【东施效】后面的字不会读 字是这样写的上面上是步加页下面卑 中秋节的感言 东施效苹的相近成语 (2x³-3x²+6)-( )=-x+2x²-6x+15( )+(-4a的n次方-5b的m次方-c)=4a的n次方-7b的m次方 the paters,into the box, He,threw怎么排序? 用朔料桶盛装白酒里面产生的朔化剂用什么方法除掉 告朔 告,音古笃反.请问 笃反 Are the two men putting the furniture into a truck?的中文意思 10个督察组今起明察暗访杭州启动最高规格专项督查 严惩公款请美第一夫人搭档\"芝麻街\"小伙伴宣芝加哥农产品期价1日涨跌不一印度开建182米高世界最高雕塑 呼吁王毅:多签免签协议提高中国护照“含金快递员送货路上猝死 多行业过劳现象蔓日本举行国内首次大规模“夺岛”演习印度开建“全球最高”塑像 呼吁民众捐外交部:美方已向中方澄清 无“夺回”美国总统与伊拉克总理谈安全问题甘肃省卫生监督推行异地交叉执法张掖山丹:走访刑释解教人员“超模”玛丽娜海边湿身拍广告 当众换上海拟明年建成“亚太设计之都”甘南玛曲:培训补助首席调解员甘肃省纪检监察机关查办案件工作综述甘肃各地食药监管部门节前排查食品药品上海:公款消费受限拉低节前肉菜水果价病红魔气质尽失惨变屌丝队 莫耶斯或只巡视监督让腐败无处藏身七星彩第14010期推荐王牌法神教皇星舰迷踪黄金眼御赐掌柜绝顶天才冏冏有神霸王怒满朝凤华霸唐逍遥录水晶般透明清华大学旅游王府井步行街旅游北海公园旅游漠河九曲十八弯旅游中俄友谊大桥旅游室韦俄罗斯民族乡旅游金帐汗旅游国门旅游国家博物馆旅游古窑民俗博览区旅游神龙谷旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘