说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

SDCC 2013:阿里周宝方谈“去IOE”战略及实施

HTML文档下载 WORD文档下载 PDF文档下载
2013中国软件开发者大会于8月30在北京新云南皇冠假日酒店盛大开幕。在大会主会场,阿里技术保障部DBA负责人周宝方详细地向大家讲解了阿里“去IOE”历程,以及所用到的核心技术架构、小结与心得体会等。

 2013中国软件开发者大会(以下简称SDCC)于8月30-31日在北京新云南皇冠假日酒店举办。作为CSDN和《程序员》杂志倾力打造、千人规模以上的顶级技术盛会,今年SDCC 2013以“软件定义未来”为主题,来自于国内外一线的技术精英,就大数据分析与BI、架构实践、研发管理、IT基础设施与运维、产品与设计、开放平台等专题和参会者进行了深入的分享和探讨。此外,32小时编程马拉松、CTO论道论坛等量身定制的特色环节也受到了参会者的强烈关注。

来自阿里技术保障部DBA负责人周宝方分享了《阿里“去IOE”战略》为主题的精彩演讲。他跟大家分享了阿里“去IOE”战略历程、核心技术与心得体会。

  阿里技术保障部DBA负责人周宝方(后羿)

IOE三个单词分别表示:IBM、Oracle、EMC,更确切地说是IBM小型机、Oracle数据库与EMC存储设备的组合。他表示,斯诺登事件让更多企业考虑“去IOE”的必要性,但是“去IOE”拥有很高的技术门槛,较大的技术风险,水很深。而集中式的严重制约是“去IOE”的核心原因,而IOE本身限制了很多开发者技术的发挥和许多企业的长远发展。同时,他还认为,“去IOE”技术难以复制,对接该技术的云计算平台更合适,需要信念,才能走下去。

周宝方向大家介绍了阿里的“去IOE”战略,包括2010——2013年预算指导原则的演进、阿里“去IOE”历程中所用到的技术架构及心得体会。并且还在大会上对一些坊间传言进行了澄清,比如阿里是使用MySQL去IOE的,其实除了MySQL,还有OceanBase、RDS。

2010~2013年预算指导原则的演进

做预算一个很重要的指导原则是阿里技术的不断发展,每年阿里做预算不单单是盘点钱的事情,而是梳理未来技术一年的规划。在这个过程中,阿里逐步确定了以云计算的思路来逐步展开应用。下面是周宝方对这四年“去IOE”整个预算过程的总结:

  • 商用技术
  • 开源技术
  • 自主技术
  • 云计算

“去IOE”历程


阿里”去IOE“前架构

首先对业务进行垂直拆分,就是按照功能拆分,misc/bmw/shoop相继拆分;然后再进行水平拆分,就是大家所说的分库分表。后来阿里又逐步放弃使用RAC来处理大数据,而是以云的思路来处理大数据。

至于为何一定要“去IOE”呢?他在大会上也跟大家进行了具体的分享,技术上主要包括以下几点:

  1. 集中式的严重制约:集中式强大单点远远满足不了阿里特别是当时淘宝爆炸式业务增长应用的模式,这里可分为三个方面,稳定性、跨IDC容灾切换、快速扩容;
  2. 技术面临失控,创新潜力受限;
  3. 专用设备规模化场景下诸多限制;
  4. 成本:这应该是整体最次的因素;
  5. 安全。

除掉以上核心因素,他还跟大家分享了当时的内外部环境、去IOE核心技术、需要克服的技术难点及“去IOE”里程碑。

(1)内外部环境

内部环境,主要源于2009年11月份的预算报告初稿,当时决定阿里以后不再购买小型机。外部环境主要包括:PC服务器处理能力增强、以及Flash技术的出现。

    阿里”去IOE“后整体架构

    (2)去IOE核心技术:

    • 存储技术(MySQL/OceanBase/RDS);
    • 分布式数据处理技术;
    • 数据流;
    • 规模化运维体系和研发支撑体系。

    (3)“去IOE”需要克服的技术难点:

    • 功能:Oracle到MySQL功能上落差大、存储过程、join操作;
    • 高可用:小型机、存储高冗余机制、PC怎么做;
    • 数据一致性:Oracle物理级别的一致、MySQL有没有问题。

    对以上技术详细进行拆分,还可分为:

    • 如何去存储过程;
    • 如何无缝数据迁移;
    • 如何分库分表分事务;
    • 如何数据路由;
    • 如何异构数据实时同步;
    • 如何数据安全;
    • 如何面对规模运维。

    在克服掉以上这些困难后,

    (4)“去IOE”里程碑

    时间 关键事件
    2010年1月 三淘核心系统”去IOE“启动
    2010年7月 完成商品库"去I“
    2011年7月 完成商品库"去OE"
    2011年9月 完成交易库"去IOE“
    2012年12月 完成三淘"去IOE“
    2012年6月 B2B/阿里金融启动
    2013年4月26日 CBU/ICBU完成"去I"
    2013年5月21日 支付宝完成"去IE“
    2013年6月4日 阿里最大的现金流结算系统"去O"

    2010年1月份启动,大概2011年7月份完成商品库的“去IOE”,这也为后期交易的“去IOE”奠定了坚实的技术基础,这期间主要经历了三个阶段:

    1. 16套读写分离Oracle,后来压力太大,根据卖家查询的部分,从数据库移至实时搜索;
    2. 2010年7月,商品去小机;
    3. 201年7月,商品KOE项目,使用Flashcache和PCIE-SSD。

    心得体会

    在完成”去IOE“后,周宝方感触很深,他表示,”去IOE“首先赋予了阿里非常灵活的技术架构,支撑业务的快速发展,比如双十一,阿里可以很淡定地做业务扩展;其次是阿里掌握了技术自主可控操作;另外还包括基础工程技术和人才的积累、技术的沉淀、成本、安全性的提升等等。

    最后他还跟我们分享了一些心得体会:

    • 对I、O、E们客观上造成误伤,本质是以自主可控的分布式Commodity PC架构替代集中专用的IOE架构,并非为了做而做,也并非纯粹为了成本或纯粹为了不用外国技术,更不是用某些国产PC/RDBMS/存储作为替代技术;
    • 个人的技术成长方向有必要和企业发展所需的方向契合,甚至推动变革;
    • 很高的技术门槛、较大技术风险、水很深;
    • 开源只是在入手时零成本,而后(对传统企业)会是极高的维持和发展成本,这并不为很多人所意识到;
    • 并非所有企业都适合“去IOE”,但规模型的企业需要考虑;
    • “去IOE”技术难以复制,对接“去IOE”技术的云计算平台更合适“去IOE”;
    • 需要信念,才能走的下去。

    更多精彩内容,请关注  @CSDN研发频道,“ 2013中国软件开发者大会图文直播”专题 

    在Delphi中避免2000年问题的捷径 在Delphi中调用API函数 在Delphi中获取和修改文件的时间 在Delphi中控制扫描仪 在Delphi中实现对WIN9X应用程序使用权限的设置 在Delphi中实现对目录拷贝、删除和搬移的操作 在Delphi中使用自定义光标 在Delphi中用拼音首字符序列来实现检索功能。 在DELPHI中用线程排序 在Delphi中制作背景音乐 在Dephi中使用TStream读写数据的技巧-Delphi资料 在应用程序中跟踪MOUSE的坐标-Delphi资料 怎样建立回调函数-Delphi资料 怎样显示自定义鼠标光标(Cursor)-Delphi资料 找出消失的 Delphi 窗口 执行外部程序-Delphi资料 执行一程序并等待其结束-Delphi资料 制作一个不在任务栏及任务列表中显示的幽灵程序-Delphi资料 抓获全屏-Delphi资料 子目录级的文件查询的实现-Delphi资料 Delphi中ChartFX构件使用详解 Delphi中动画设计 Delphi中对Jpeg格式文件的处理... Delphi中多媒体组件使用解析 Direct3D起步:教程以及资源指南-Delphi资料 播放背景音乐-Delphi资料 弹出、关闭CD-ROM驱动器-Delphi资料 检测声卡存在-Delphi资料 控制声音音量-Delphi资料 让pc speaker美妙动听-Delphi资料 闪动标题栏-Delphi资料 卖书! 请高手来看这里的错误!! 怎么判断窗口移出屏幕了? 我树型的事件脚本不执行?还有几个其它问题。请大家帮帮忙! 我们部门原创的顺口溜 如何判断处理事件和委托 在线等待:寻Delphi7中调用Excel表格打印的源程序 大家好,在线调查 原来asp中的recordset 在.net中还能用吗 “参数不足,期待是1”是什么意思? 如何读取一个文本文件的最后一行 将一表中的所有A列和B列的值(varchar型)合并后,添加到C列中。这个SQL语句怎么写? 请教用公式urlopen如何在“另一窗口“打开一页面。 win2000下如何给程序指定program ID 急,急,在VC中如何.sql文件(ORACLE) 我的DW不能启动了,问题解决马上给分100! 高手请进,在线等待! 下了一个手机游戏(JAR、JAD),想在计算机上模拟运行一下,该怎么做? 使用 应用程序组装工具 创建.ear,创建.war 在WAS中安装出现错误 !!! 立即给分 怎样改变由 javaw 打开的*.jar文件的图标? 纯粹好奇~水园、昨天晚上发生了什么? 为什么修改httpd.conf后,APACHE服务不能启动? 想买两本书,请看过该书的朋友评价一下,特别是书里的代码是C#的还是VB.NET的? win2000注册表问题 什么时候需要定义过程??? 兄弟们,替我出口气 800*600分辨率下,toolbar显示不完整,请问该如何解决?(100分) 我想在数据窗口中显示年龄信息,但是出错了!! 各位大侠,兄弟很急得问题,80分奉送 [ 新手 ] 请问几个关于时间的SQL语句 用ROUND函数,需要包含哪个头文件? 高手请进,在线等待!!! 怎么样用HTML代码实现在一个.htm文件中加载另一个.htm文件 ??? 哪位大哥有能解析ANS.1语言的东西? 比较大小的简单问题? 用Ras拨号过程中,如何取消拨号? 大家看看合适否? 怎样以逗号为标记分段读取内容? 求救:本地计算机无法启动 oracleserviceoradb 服务! java和.net你们好吗?保重VC。 如何把XML文件导到oracle数据库中? 变量初值问题,高手请进 求通过手机号码判断出手机入网地址(如上海,江苏等)的java接口 如何把htm文件移植到VB.NET中. 妈的找了几天广告交换的网站,怎么全是色情的,正常的网站就没有吗?你们的网站放不放这些东西 。 键盘错乱 高人指点 从.net想到php(欢迎大家讨论) WebService 连接问题????????????????????????????? 如何判断用户是否安装pdf格式阅读器 有什么好办法破解论坛的密码? 一个高难度的问题。100分求教!!! 怎样描写蓝球赛 简便方法计算 32×10.4-3.2×4哈哈 ..用法,词性.. 一去二三里,烟村四五家这句诗的修辞手法是什么 一去二三里,烟村四五家这句话运用了什么修辞方法?列数字是说明方法,不是修辞方法 直线 L 上有 A、B 两点,AB=40cm,点 p 从 A 点出发,沿 射线 AB 方向以 1cm/s 的速度匀速平移.⑴当 PA+PB=50cm 时,求点 P 运动时间及线段 PB 的长.⑵C 为 L 上一点,且 BC=10cm,在点 P 从 A 点出发的同时, 直线L上有A、B两点,AB=40cm,点p从A点出发,沿射线AB方向以1cm/s的速度匀速平移.(1)PA+PB=50cm时,求点P运动时间及线段PB的长.(2)点,且BC=10cm,在点P从A点出发的同时,线段BC沿L向点A匀速平移,当点P运 过程详细思路清晰再加150分 一质点作匀加速直线运动,S0>0,V0>0,a>0,当a值逐渐减少且不等于零的过程中,其速度和位移的值:A 位移减少 B 位移增大 C 位移增大 D 位移减少. 怎么能快速记忆单词 0.6*4/3+5/3*8*32/1简便方法 美国情报机构或已监听默克尔电话长达十湖州邮政管理局3332个人“抢”1个印尼母猩猩被村民捕获惨遭虐待(组图)德国小伙:\"德国政府可没收空置7年聚焦去美国化:是否为世界多极化发展的欧盟讨伐美国窃听行径莎拉波娃黑色透视装出席活动(组图)抓拍蝴蝶环绕乌龟欲饮眼泪唯美图景【组宗庆后语出惊人:中国不能再造房子了金正恩出席“2万连长”大会并讲话【高“土豪”纯金奥特曼来啦! 售价超千万想象一个没有私家车的城市【城市物种日历】5月12日 鸢尾精准医疗再燃战火 “诺奖”点燃生物医印孚瑟斯联合创始人Gopalakri宝宝腹泻怎么破?(中)玫瑰金iPhone6s来袭 热门机价还原“双十一”真相 京东涉嫌恶意营销蒙上阴影:飞行汽车AeromobilZUK牵线迪信通 首站郑州线下现货开智能手机部门不再是三星的主要增长动力大金牙和马鲛鱼网游之零纪元不死龙套满清最后一个美男锁阳神之唯爱寻宝智慧时代之九阴九阳时空传承者都市大厨仙末世修真系统警衣卫虫神暴君数据帝王路开罗旅游洛克旧居旅游唐布拉草原旅游特呈岛旅游苏家围旅游延平公园旅游五龙滑雪场旅游海豚湾之恋旅游圣亚南极企鹅岛旅游圣亚珊瑚世界旅游火车头广场旅游
    备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘