说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Clay.io基于AWS、Docker、HAProxy等的10X架构打造

HTML文档下载 WORD文档下载 PDF文档下载
当下基于云的部署大大缩短了应用的发布周期,让机构可以将更多精力投入到产品特性设计上。然而,大规模应用架构从来都不是件容易的事情。从本文起,我们将带大家领略Clay.io的10X架构,首先关注的则是技术上的选择。

近日,Clay.io的Zoli Kahan开始了“10X”系列博文的撰写。通过这个系列博文,Zoli将分享如何只使用一个很小的团队支撑Clay.io的大规模应用。首期分享则是对Clay.io所使用技术的盘点。

下为译文


云方面

CloudFlare

CloudFlare主要负责支撑DNS,并作为一个防护DDoS攻击的缓存代理,同时CloudFlare还负责处理SSL。

Amazon EC2 + VPC + NAT服务器

基本上Clay.io的所有服务器都是Amazon EC2类型,其中大部分是中大型实例。同时,我们还使用Amazon VPC将所有服务器托管在一个私有网络,从而这些服务器很难在外网访问。为了访问这些私有网络,我们还配置了一个NAT服务器,它同时也作为一个VPN终端,用以内部网络使用。

Amazon S3

我们使用Amazon S3作为应用的CDN后端,它托管了Clay.io的所有静态内容。为了安全和性能因素,我们为之配置一个独立的域名——cdn.wtf,一个cookie-less域名。

HAProxy

HAProxy是一个非常高性能的反向代理,我们使用它将流量路由到不同的服务。基于Clay.io的性质和平台所需支撑的内容(比如遗留代码),HAProxy意义重大。在以后文章中,我将对这点进行深入讨论。

当下,Clay.io使用的是一个配置了m3.medium的HAProxy服务器。在流量增加后,HAProxy必将迎来一次无可避免的升级。此外我们还会在前端增加一个Amazon ELB,在需要时进行横向扩展。


应用服务器——Docker

Docker用于管理Linux容器,类似于轻量级的Virtual Machines(同时还省略了隔离和安全保障)。Docker的好处是可以做代码封装,并且忽略底层服务器特性做任意的代码重用/移植,在下文我们将详细介绍。

演示应用服务器——Docker

在Clay.io,演示环境服务器和应用程序服务器相同,并且和生产环境运行相同的二进制Docker文件。对于防止不必要的生产系统破坏和宕机,这种设置环境非常重要。

数据存储

MySQL

MySQL是一个久经沙场的关系型SQL数据库,当下Clay.io的数据大部分都依赖一个主从设置的MySQL集群。在这个集群中,一个主节点和两个从节点服务器支撑了大部分的用户查询。当然,在未来我们可能需要对主节点进行分片。但是期望不要太早,因为我们正在考量其他数据库。

Logstash

Logstash是个日志聚合工具,通过Kibana进行分析。当下,它基本上负责了Clay.io所有的应用程序日志,以备系统发生错误时使用。使用Kibana,我们避免了必须SSH到一个机器进行日志检查。

MongoDB

MongoDB是个NoSQL文档存储数据库,当下MongoDB为我们的一些开发端点和A/B测试框架Flak Cannon提供服务。

Memcached

Memcached使用了键值存储类型,非常类似于Redis。Memcached在Clay.io主要负责一些遗留Web应用,用以缓存MySQL的查询结果。毫无疑问,随着系统的迭代,最终它将完全被Redis取代。

DevOps

Ansible 

在我们系统中,Ansible被作为服务器管理工具的一个选择。对于大部分开发者来说,它非常易于学习和使用,Ansible可以帮助许多日常DevOps的自动化处理,由一个专门的运营团队负责。

其他服务

GitHub

GitHub——无需多言,这是个非常强大的源代码管理工具。

Uptime Robot

Uptime Robot是个免费的监测服务,我们使用它来监测健康检查和端点。如果有问题发生,它可以在5分钟内给我们发送电子邮件和文本消息。

Drone.io

Drone.io是一个连续的集成服务,我们使用它为各种项目连续不断的运行测试集。它非常类似于TravisCI,近日我们还释放了一个开源的自托管版本。

Docker Registry

当下,我们使用官方的Docker Registry来管理Docker容器,它类似于Docker专用的GitHub。

New Relic

New Relic是个服务器和应用程序监视服务,主要用于服务器监视,在磁盘和内存满载时进行提醒。

Google Analytics

Google Analytics是我们主要的网站分析跟踪工具,用于跟踪网站具体功能,我们使用了定制事件特性。

Google Apps

Google Apps为我们clay.io域名提供邮件,并为机构提供了一个共享的Google Drive设置。

Last Pass

Last Pass是一个密码管理服务,它允许我们便捷的在所有团队共享公司认证信息。

未来

虽然我们对当下的设置已经比较满意,但是我们仍然期望在数个月内对系统的某些方面进行升级。审视最初的基础设施版本,有许多地方并没有花大量的时间去设计。而就是这些地方,成了未来系统扩展时必须面对的瓶颈。

  • Kubernetes在大规模Docker容器管理上表现出了惊人的潜力,也是我们重点跟踪的项目之一。毫无疑问,在该项目成熟时,必将成为我们生产环境的一部分。
  • Amazon Glacier,用于数据库备份,是我们未来的一个实现目标。
  • RethinkDB,虽然当下还非常不成熟,但其潜力不容忽视。和Docker一样,我们将紧跟这个项目的发展。在未来弃用MySQL时,它将是一个不错的选择。
原文链接:How Clay.Io Built Their 10x Architecture Using AWS, Docker, HAProxy, And Lots More(编译/童阳 责编/仲浩)
如果隐藏和显示Windows的任务条-Delphi资料 如何把文件删除到回收站中-Delphi资料 如何从任务栏上隐藏应用程序的按纽?-Delphi资料 如何得到Windows 的temp路径-Delphi资料 如何得到WINDOWS的SYSTEM路径-Delphi资料 如何得到上一个激活的组件-Delphi资料 如何得到系统目录-Delphi资料 如何得到执行程序的当前路径-Delphi资料 如何访问一个进程的内存空间-Delphi资料 如何关CD机的门?-Delphi资料 如何关闭外部开启的应用程序-Delphi资料 如何获得系统内存的有关信息?-Delphi资料 如何获取硬盘的ID-Delphi资料 如何检查软驱中的软盘和光驱的光盘是否发生变化。-Delphi资料 如何检查一个驱动器是否就绪?并且不出现错误信息-Delphi资料 如何将Wav文件做到EXE文件里-Delphi资料 如何将你的程序放在Windows启动中-Delphi资料 如何控制Ctrl+Alt+Del键-Delphi资料 如何控制壁纸-Delphi资料 如何控制关闭Windows-Delphi资料 如何屏蔽系统功能键-Delphi资料 如何取得Windows的临时文件目录?-Delphi资料 如何确保你的.exe文件仅运行一次!-Delphi资料 如何让 Windows 模拟按键-Delphi资料 如何让程式只执行一份?-Delphi资料 如何让程序只执行一次?-Delphi资料 如何删除一个控件的子控件-Delphi资料 如何识别显示器当前的分辨率-Delphi资料 如何为Delphi程序添加事件和事件处理器 如何写小执行程序-Delphi资料 如何隐藏桌面上的图标-Delphi资料 关于远程创建表,删除表的问题?请帮忙。 启动数据库时报 监听程序无法启动专用服务器进程???ORACLE 9.2.0.1.0 如何將指針作為參數傳遞。 请教vb自带的报表编程 在Sql语言中的取整函数是什么? 怎样将添加的记录到所有的现有记录后面? 如何装双系统?(在线等候) CSS一般要学多久才算掌握? 从事共享软件开发的进来谈谈做共享的辛酸好吗? 请教使用notifyicon遇到的问题 ActiveState.Visual.XSLT.for.VS.2003.v1.7.9.2475.WinNT2K无法安装。 如何合并两个dataset win98系统下ISAM问题 如何减小生成的EXE文件大小等? asp.net有没有模板 帮帮忙,呵呵!!!一个小问题!!!!! 用VB的兄弟姐妹们,来整个MSN如何? 关于dllhost占用系统资源的问题! 谁是雍亲王,出来说话!!! 在WSAD5.0里怎么添加类型为MYSQL的数据源 高手们,帮帮我噢(解决立刻给分) 全中国程序员联和起来。 如何在web的FORM1模式下画一条线段 界面贴图问题 为什么我用Server.MapPath(""),返回不了任何东东? 上手指路,高分相送 asp怎样连到SQL Server 2000?给100分,在线等 ASP.NET和SQL 哪位兄弟有用asp.net做的OA完整的例子...大家快来.. 关于dllhost占用系统资源的问题! Kylix是否和Delphi一样有RTF控件可以处理丰富文本? 小弟想考程序员!各位大哥指点一下嘛!有要考的交流一下嘛! 查询条件的问题?? 从事共享软件开发的进来谈谈做共享的辛酸好吗? TListView中某一SubItem怎末实时更新?在线等。。 http://www.000163.com/的空间能不能信得过? 请帮忙哟,在线急等 asp.net下如何用c#编写程序实现调用数据库中的多个表显示在datagrid 如何调用存储过程来删除表中的列名???? 给一个变量赋空值的问题 如何在DirectDraw显示Edit,输入文字?? 贴子回复次数大于跟给分次数是什么意思啊?让不让结啊?? 结交delphi爱好者! 请各位高手给我指点一下方向? 如何在Sybase数据库中获得刚插入的那条记录的主键? 怎样获得菜单项(menuitem)名? 简单问题 请问如果有一个dll文件,我想知道里面有什么函数,但我又没有说明书,有什么工具么? 报表设计器怎末没有在外接程序菜单中显示出来呀?? 如何知道选哪个? 急,如何将图标保存在一个数组中,并将它显示出来? 经过市场调查获得信息,生产一种绿色食品,若在市场上直接销售,每吨利润为0.1万元,经粗加工后销售每吨利润可达0.45万元,经精加工后销售每吨利润可达0.75万元.一家食品公司加工生产能力是 辛弃疾 白朴 李白 艾青 怎么排序急 不导电的水用什么流量计 第一个回答而且对了必给采纳,第二道题的两个问号 文言文《枭与鸠对话》的全文翻译 唐僧是指十二生肖哪一个希望最快解决,谢谢大家 武汉话调妖是什么意思? 文言文《枭与鸠对话》的启示是什么原文】枭①逢鸠,鸠②曰:“子③将安④之⑤?”枭曰:“我将东徙⑥。”鸠曰:“何故?”枭曰:“乡人皆⑦恶⑧我鸣,以故东徙。”鸠曰:“子能更 rain是什么意思 英语翻译Install ducting in the ceiling than begins with a vent above the aisle behind each server row and connects back to the air handler's intake. 枭与鸠的对话枭(猫头鹰)逢鸠(斑鸠).鸠曰:“子将安之?” 枭曰:“我将东徙.” 鸠曰:“何故?” 枭曰:“乡人(当地人)皆恶我鸣.以故东徙.” 鸠曰:“子能更鸣,可矣;不能更鸣,东徙,犹恶子之声.” 1 知恩图报饮水思源的意思是指十二生肖哪个 《庄子与惠子游于濠梁》的寓意是什么?这故事到底讲的是什么,不知道他在哲学上有什么意义. 古文;枭蓬鸠翻译 Rain是啥意思? 情深似海什么意思 题目看补充,解答我打问号的.最后一道也要.小胖班级有50人要划船,每条大船可做6人,需要20元,每条小船可做4人,需要15元,请你设计几种租船方案方案 大船(条) 小船(条) 金额(元)问:那 能不能给我一份英语统考的题库,万分感谢 君问可,非问臣之仇也 意思 情深似海造句 打问号的题求解析 像骨肉之情一样的词语 情深似海的近义词有哪些要多! 把打问号的解答 我是君,你是臣,君要臣死? 第二题打问号的?怎么答, 已知正六棱柱的12个定点都在一个半径为3的球面上,当正六棱柱的体积最大时,其高的值为? 有没有像"恩重如山''的词语至少4个 主要国家经济力量研究,怎么翻译成英文才地道? 拿破仑的加冕典礼是在哪里举行的?还有,拿破仑真的长这样吗? 在直角梯形ABCD中,AD//BC,∠DCB=90°,AC⊥BD于点O,DC=2,BC=4,求AD的长,不用相似.怎么做? 蛋白质的结构层次是怎么样的(不要解释得太复杂) 〈明义法师之鸠〉译文 攀岩绳结有哪些?最好有图片的 奥林匹克竞赛提高题,帮个忙!A.B两个港口相距300千米.若甲船顺水自A驶向B,乙船同时自B逆水驶向A,两船在C处相距.若乙船顺水自A驶向B,甲船同时自B逆水A,则两船于D处相遇,C.D相距30千米.已知甲船 《明义法师之鸠》的译文急~~~~~~ 登山绳坠落次数是什么意思,多大的坠落系数才算进总坠落次数里,怎么计算?一般攀岩动力绳长度是多少? 英语翻译 《明义法师之鸠》古文解释 黄海之滨什么意思 英语翻译 谁能给我文言文《明义法师之鸠》的译文和字词解释?越快越好, 我国的“黄海之滨”是丹顶鹤的第二故乡.“黄海之滨”在哪里? 正方体是不是棱柱 会计题,解题公式.甲公司成立时收到某投资者投入的原材料一批,双方确认的价值为100 000元(不含税费),增值税额为17 000元(准许抵扣),甲公司注册资本为800 000元.该投资者出资占注册资本 黄海之滨指的是? 正方体是棱柱吗 不少行人却在马路上横冲直撞,对天桥似乎视而不见,原因何在?写一篇500字左右的文章必须要500字左右的额.... 黄海之滨的明珠猜一个城市并在百度中搜索. 运用比喻或拟人的修辞,使用下面的词语写一段环境描写的话,至少用上其中的三个.宁静 涌起 领略 内涵 关于商鞅变法商鞅变法的内容是如何体现社会变革的?哪些措施最能体现社会变革?哪一项对后世政治制度影响最大?改革使那些人受益那些人受害?还有是哪几项是有利于社会进步的? 经过市场调查获取信息,生产一种绿色食品,经粗加工后销售每吨利润可达4500元 请运用比喻或拟人修辞下面备选词语中至少两个词语写一段描写环境的话词宁静涌起领略内涵 不少行人却在马路上横冲直撞,对天桥似乎视而不见,原因何在?写一篇500字左右的议论文急用………………………………………………………………6 某地生产一种绿色食品,若在市场上直接销售,每吨利润为1000元,经粗加工后销售,每吨可获利润4500元经精加工后销售,每吨利润涨至7500元.当地一家公司收购这种食品140吨,该公司的生产力是:如 体会每组近义词的不同含义,在完成词语搭配.比喻 宁静的什么什么 平静的什么什么在仿写一个个大侠知道谢谢了,. 找出一组意思相反的词 经过市场调查获取信息,生产一种绿色食品,若市场直接销售,每吨1000元,经粗加工后销售每吨利润可达4500元,经精加工后销售每吨利润可达7500元.一家食品公司加工生产能力是:如果进行粗加工, 用奔波,宁静,涌起.内涵,领略写一连贯的话,至少用2个 商鞅变法经过 智利沿海发生6.6级地震 圣地亚哥房加拿大首设比特币自动提款机“美丽中国”大型图片展在莫斯科举行吸烟让你变丑:双胞胎脸部皮肤对比作证解决伊核问题需要信任和耐心纽约规定21岁以下禁买烟普京治下的“俄式反腐”值得借鉴斯诺登最新照:在莫斯科乘游览船 未戴默克尔遭美国监听 德议员称斯诺登愿协孟建柱会见乌兹别克斯坦总统并主持中乌铁腕普京突击检查俄军核战备以色列攻击叙利亚军事基地 目标是俄制斯诺登莫斯科生活照曝光:休闲打扮未戴联合国称叙利亚完成对化武生产设施功能叙利亚当局表明愿无条件参加叙问题国际留祥路本月起改叫石祥西路 路牌错了破男硕士年薪5万月花400 穿旧衣相亲男子为救假装落水儿童瘫痪 28年后获美国六大互联网巨头致信国会要求改革监自称21岁大学生 40岁男子男扮女装中央第八巡视组组长:着力发现选人用人除夕夜福利|新春刮刮卡,开启一年好运互联网+时代,电影还得好好讲故事足球汪们看过来!你想过穿婚纱看球么?我真的不需要股价上涨这种好消息,我要“IP圈地运动”正当时 影视上市公司福岛核电站变异雏菊照在网上疯传逾八成投资者选择持股过节 期盼羊年真正男子汉,昂科威2.0T 大SUV反腐风暴让书画市场迎来寒冬:一幅画贬杨敬敏:膝伤严重,还要孕妇照顾用简单的数学计算来看穿庞氏骗局:泡沫曾捷 | 这四大原因帮你破解宝宝一放【人物】洋屌丝狂飙34种方言给大家拜及时调整利于延长蜜月期!看四大迹象揭这个套装,很适合你!世界新首富是普京,你相信吗?耐克 (Nike) 2015秋季女子年终奖10w与4k的区别!知道你输在世界上最成功的投资:投资回报6638女子网购路由器受骗泄露个人信息 信用男子吸毒产生幻觉屡报警称收到假币 被
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘