说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Aeron:每秒可以传递数百万消息的低延时开源消息系统

HTML文档下载 WORD文档下载 PDF文档下载
Aeron一个分布式开源消息系统,使用它,用户在一秒内可以传递数百万消息给大量的客户端。它使用一个新颖的设计将主机间延时控制在微妙级别,并以一个稳定的响应时间进行消息传递。

Aeron开发团队由3名成员组成:Todd Montgomery是一个组播和可靠协议专家,Richard Warburton是一个编译器优化专家,而Martin Thompson则是一个性能优化高手。这个团队由一个非常明确的目标,旨在让Aeron的吞吐量超越该领域的所有产品,并让其延时上可以达到领域内最好商业工具的90%。Aeron的性能非常突出,它可以在1秒内推送600万个40字节大小的消息。

本文是HighScalability创始人Todd Hoff总结Martin在Strangeloop上名为“Aeron: Open-source high-performance messaging”的演讲。

以下为摘译:


Martin的团队是非常令人羡慕的,不仅因为他们有一个需要打造Aeron这样产品才能支撑的客户端,也因为他们愿意支撑Aeron项目的发展并将它开源(Aeron的GitHub开源页)。值得注意的是,Aeron当下仍然处于初期阶段,还面临着大量的优化。

对比以前,世界已经发生了翻天覆地的变化,而时至今日,连终端都需要进行前所未有的扩展。当下,一切都变得多重化,multi-core、multi-socket、multi-cloud,甚至是multi-billion终端用户计算系统,通信可谓是无时无刻不在。海量的消费者定期打开通道从同一个发布者接收信息,从而导致锁争用、队列阻塞,随之而来的是吞吐量和延时飙升。

因此,这个新的世界需要一个全新的消息库,而向微服务的架构转变也加强了这个需求:当系统迁移到微服务架构,我们需要通信有一个非常低和可预测的延时,同时USL(The Universal Scalability Law)相关组件的设计将非常困难。

Aeron简单而专注。在基于大量的基准测试,我们发现使用Aeron,吞吐量和延时可以得到进一步改善。同时值得关注的是,用户并不需要做吞吐量和延时的取舍。Aeron在最小化吞吐量的同时可以最大化的提高吞吐量,直到饱和。

“许多消息系统都像把瑞士军刀,而Aeron更像把手术刀,”Martin如是说。这句话用来解释Aeron非常准确。区别于你之前使用的产品,比如Kafka,Aeron的功能可以说非常单一。Aeron并不支持消息的持久化,不支持保证传送,也不支持聚集与话题(topics)。Aeron不会去探知一个客户端是否崩溃,因此它也不会去为客户端同步历史锚点之类的事情,也就更谈不上使用历史记录重新初始化一个客户端。

因此,Aeron的使用场景可能就是TCP的面向消息替代,在上面编写更高级的服务。Todd Montgomery解释了这个观点:

Aeron作为一个ISO传输层协议,它提供了许多消息系统不可能完成的特性,同时它也失去许多消息系统可以拥有的特性。如果你觉得这么说毫无意义的话,那么我们首先从一些常见的系统看起。

从某些情况来说,Aeron比较适合TCP用例,它是一个更可靠的组播选项。虽然在设计上Aeron也存在着一些限制,但是它可以比TCP完成更多的东西。下面将做一些具体的说明:

Aeron的核心是一个“replicated persistent log of messages”。通过特殊的设计,在Aeron中,从发布到接收,贯穿整过程消息的处理都是无等待和零备份的。这样一来,用户无疑将得到一个很低的延时,同时这个响应时间是完全可预知的。

同时,Aeron是非常可靠的。它由一个经验丰富的团队建立,使用了其他项目中久经验证的设计准则,其使用的技术超出许多工具。在Aeron设计中,所有理念都是经过深思熟虑的,它们必须具备简洁、高性能、高并发等特性。

更多关于Aeron的设计可访问原文: Aeron: Do we really need another messaging system? 

全国大数据创新项目评选活动目前正在如火如荼进行中,详情点击这里。

2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将于2014年12月12日-14日在北京新云南皇冠假日酒店召开。传承自2008年,历经七届沉淀,“中国大数据技术大会”是目前国内最具影响、规模最大的大数据领域技术盛会。本届会议,你不仅可以了解到Apache Hadoop提交者Uma Maheswara Rao G(兼项目管理委员会成员)、Yi Liu,以及Apache Hadoop和Tez项目管理委员会成员Bikas Saha等分享的通用大数据开源项目的最新成果和发展趋势,还将斩获来自腾讯、阿里、Cloudera、LinkedIn、网易等机构的数十场干货分享。 当下门票团购还有些许优惠, 预购从速。


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。

亚特兰大峰会精彩看点:软件吞噬世界,OpenStack是变革核心 数据中心基础设施是大数据战略成败的关键 实时大数据分析:网络分析的一种新方法 最新消息:iPhone 6将采用更大、更清晰的1704x960分辨率屏幕 吴毅挺:OpenStack是开源IaaS平台大势所趋的集大成者 关于asp连接数据库的问题 如何改变答复文档的父文档,请教解决思想 想学DOMINO,NOTES,可是搞不到相关的软件啊,请问哪里有下的吗?谢谢! 请兄弟们帮忙! 在主窗体如何访问活动子窗体中的控件及其它成员? 基于Rational Rose 的文档自动生成和管理工具——Document Builder 为什么dev-C++包含<iostream.h>时会编译通不过?急 bcb里对于怎么样创建、修改、保存word文档,并且保存到数据库!能做到吗?怎么做啊! 唉,郁闷呀,平时不注重算法的后果 现在统一直角坐标系中画出一次函数一次函数y1=1\ 圆是轴对称图形如何改成“如果.那么.”的句式! 高数极限题, 圆是轴对称图形,任何一条直径所在的直线都的是圆的对 写人物外貌的成语有哪些? 圆是轴对称图形么 圆形中哪些是轴对称图形 形容人知识丰富的成语有哪些? 形容知识丰富的成语2个 男子扮高富帅专门诈骗按摩女 谎称投资俄罗斯一火山喷发 烟柱高万米持续50媒体曝美全球监听地图 澳大利亚是美监近3成日本大学毕业生3年内离职 疑被小狗被饿三周吃伞充饥 其主人不愿救治麦迪高薪再战CBA陷僵局小花大满贯正赛难求一胜麦迪高薪再战CBA陷僵局小花大满贯正赛难求一胜今起风力加大本周天气凉爽狼人足球吴承恩拎着脑袋写西游记混元神道大中华帝国的崛起高手寂寞之嫣然林语堂故居旅游行天宫旅游汉阳陵博物馆旅游烟台塔山旅游周公庙旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘