说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Heka:Go编写,来自Mozilla,高效、灵活的插件式数据挖掘工具

HTML文档下载 WORD文档下载 PDF文档下载
一直崇尚开源的Mozilla近日释放了Heka测试版——插件架构,Go编写。在支持使用Go扩展功能的同时,还通过允许“Sandboxed Filters”提供了另一种选择——Lua,同时这种选择下还省去了配置文件的编辑和系统的重启。

近日Mozilla Service团队首次发布了 Heka测试版(v0.2b1),Heka是一款拥有数据收集、分析、监视和报表的工具。其主要组件为 hekad,一个适用于任何主机的轻量级守护程序,其主任务是:

  • 通过读取和解析日志文件收集数据,监视服务器状况,和(或)使用任何协议(syslog、statsd、http、heka等)接收客户端网络连接。
  • 将采集到的数据转换成标准的内部表示,把元数据封装成Heka系统其它组件可以有效处理的形式。
  • 使用一组路由规则评估消息内容和原数据,并为每一个消息分配相应的处理过滤器和外部端点。
  • 飞速地处理消息内容,用以执行聚合、滑窗(sliding-window)事件处理和监控、非结构化数据到结构化数据的形成(举个例子:将日志输入文档解析到数字统计数据或者更加友好的数据结构)并将新的消息以报表的形式输出。
  • 将接收到或者是内部生成的消息数据发送到外部位置:数据可能被写入一个数据库、一个时间序列数据库或者一个网络服务,包括上行的一个hekad实例做更深的处理和(或)聚合。

Heka使用Go语言编写,在α测试中已被证明其非常适合构建数据管道,并让数据管道同时占有快速和灵活两方面的优势;在α测中,一个单hekad实例可以支撑(接收和路由)起每秒10GB的消息数据。Mozilla Service团队借鉴并延伸了 Logstash的想法,将Heka打造成基于插件的系统。开发者可以通过构建定制的Input、Decoder、Filter(比如数据处理)以及Output插件,进行快速和简洁的功能扩展。

所有4个类型的插件都可以用Go来实现,但是管理这些插件需要修改配置文件并重启系统,比如:添加新的插件,甚至是重新编译hekad binary。Heka还通过允许“Sandboxed Filters”提供了另一种选择,这样你就可以使用Lua来代替Go。这样一来,在一个运行中的Heka实例添加或者删除功能就不需要修改配置及重启服务器。Heka同样还提供了一些Lua API,Sandbox Filters可以使用这些API管理时间序列的环形缓冲区,并生成曲线图报告,这些报告将呈现在Heka的仪表盘上:


(点击查看大图)

开源相关

Heka是项新的技术,虽然已在Mozilla内部广泛使用,但仍稍显粗糙。就像Mozilla每个产品一样,Heka同样开源。了解更多详情可阅读相关资源:

  • Heka v0.2 binaries
  • Intro to HekaHTML presentation slides
  • Heka project documentation
  • hekad daemon documentation
  • Heka github project
  • Heka-build github project
  • Services devmailing list (for developer support)
  • IRC: #heka channel on irc.mozilla.org
  • Heka python client
  • Heka node.js client

原文链接: Introducing Heka (编译/仲浩 审校/王旭东)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

大数据时代:移动数据能为我们带来什么? iOS开发经验谈:如何提高应用开发效率? 贝索斯:你否定亚马逊的现在 我决定亚马逊的未来 谷歌新产品Chromecast:一夜之间价格从35美元飙至100美元 移动周报:苹果5周年限免神作,BADLAND开发者访谈 开源平台Cloud Foundry获IBM和百度支持,步入高速发展的“黄金期” GDK仍未发布 谷歌鼓励Glass开发者可提前用Android SDK开发 Adobe发布PhoneGap 3.0 支持命令行工具 初级vs.高级开发者 哪个性价比更高? 一周观察:Cloud Foundry生态圈渐成型 数据分析中的10个注意点,让你更了解用户体验、行为及需求 压不垮就奋行!Dropbox Datastore API给初创NimbusBase带来的启示 史上14大最具创新意义的科技发明 亚马逊应用商店:给应用开发者一个国际舞台 白帽黑客英年早逝:R.I.P,Barnaby Jack 苹果发布支持iTunes Radio服务的iTunes 11.1测试版 诺基亚将发布Treasure Tag配件 让你再也不怕丢东西 从三大互联网巨头布局,看移动时代的商业逻辑 亚马逊应用商店:一个开发者走向世界的机会? 企业级App探索:开发者们的正途在哪里? 如何有效地在海外市场推广产品? 网站转化率统计分析及优化方案 从资深设计师那我们能学到什么? 原作者使用Go开发memcached替代版,现已扎寨谷歌多个项目 像证券一样交易云资源,Zimory一年内收入翻两番并获德国证交所青睐 移动SDK崛起:未来会不会整合成一大坨? 关于 VS2010 异常捕获 在线编程教育平台Treehouse推免费iPad应用 微软发布Windows 8.1企业预览版 功能更强劲 如何管理和优化日益增长的代码复杂度? SDCC 2013大会讲师名单议题更新 8月1日前3.8折优惠截止 win2k中所略图问题,大家帮忙!! 请问:自动化这个专业怎么学 C++高手们,谁能讲一下extern的用法? 请高手们谈谈,如何在客户本地硬盘里获取其敏感信息???? MSHFlexGrid的分层记录集问题 关于NMHTTP的问题,急急急!!! 请问哪里有支持 ASP 的服务器下载?(空) 为什么我的硬盘找不到了呢? 如何在sqlserver7中实现ID字段自动递增?(SOS) 为什么98下可以到2000下不行了.关于openfilename???????????????????????????? (困惑请教 )关于内存释放的一些问题! 数据库操作出错该如何避免???? 我是第一次来到CSDN,大家多关照! YYSUN关于大富翁论坛的解释(从水母看到的) vb 访问SYBASE的问题 支持北京伸奥的朋友,进来签个名吧! 怎样截获一个应用程序的消息? 数据结构得答案 大连的软件人员工作环境怎么样? 不好意思,小弟又来麻烦大家了! 上次的文章到那儿去了? enmity,进来,我给你结帐 enmity,进来,我给你结帐!! 各位侠客帮忙啊,重新装系统出了问题! 将10进制转换成16进制的函数是什么啊? VC高手,怎样以编程的方法实现磁带机的Backup 和 Restore. enmity,进来,我给你结帐.共200分 支援白菜300分,支持白菜个人网站建设:))) CMM 的缩写是什么? 想和大家讨论一下怎样系统的编制软件 如何实现和Word、CorelDRAW同样效果缩放位图 请问各位大哥大爷大妈大。。。。。。。。。。。。。哪里有支持 ASP 的服务器软件下载 我该如何控制IP地址??高手请进。。。 弱弱地问:关于SQL server中的中括号。 各位侠客帮忙啊,重新装系统出了问题!! 一点点小问题????? 请问在 WINDOWS98 下面,除了IIS,还有没有支持 PHP 的服务器软件呢? 在ADO中如何获取表名 关于ASN树的问题(snmp中的MIB的拓扑树) 你是高手你进来!!!!! 各位的顶级域名都在哪申请?价格/速度如何?大家都来说说! DirectX8的MultiFileReader过滤器怎么找不到? 关于用VB显示ado数据库中的图像字段问题 大家来谈谈Msdn如何有效利用 请各位帮忙查看我这段程序错在哪里 , 我是照书上做的 , 可就是无法保存. SQL plus 为何无法登录?? 谁要下载msdn? 紧急求救!寻找工作! 最新新消息~~~~~~~台灣地區中午地震最大震度花蓮市5級 有没有大连的公司要俺? 请教大家!!!java如何实现多重继承?接口该如何使用?份数可以再加,只要我明白了 谷歌地球出现这个是什么意思啊为什么我持续放大那个叉就会没了而且还可以看到地下的东西? 各位帮帮忙 可不可以告诉我在那里可以看到谷歌地球啊? 谢谢 到底月球上有没有外星人 有谁知道怎么用? 谷歌地球飞行模拟器怎么用 月亮上有没有外星人呢? 怎样看谷歌地球 谷歌地球上比例尺寸是什么意思 月球上发现5亿年前的飞船, 怎样更新谷歌地球中的图像?怎么设置? 谷歌地球的这个图是什么意思 在月球上已经坠毁1亿年的巨型飞船,各国争相登月就是为了研究它 有这回事吗? 最新地图的卫星地图哪里有啊?googleearth地图怎么一直都没有更新,都是老地图啊? 谷歌地球是什么意思啊? 美国宇航员在月球发现15亿年前的飞船是真还是假? 谷歌地球右上角控制看地图工具不见了.就是右上角控制远近,方向,角度,不见了,在那里调出来? Google的三维卫星地图软件“谷歌地球”(GoogleEarth)能成虚拟三维地图.怎么操作?到哪下载插件啊? 在谷歌月球上那个月球飞船残骸的坐标是多少? 有不有比谷歌地球更强的卫星地图 我想要 能看到中国各大城市的摄像 很清晰的 谷歌地图好还是谷歌地球好? 在谷歌月球上那个月球飞船残骸的坐标是多少? 我搞不懂,霍金说黑洞不存在,可是天鹅座又是有黑洞的.灰道他又怎么证的呢?又有什么美国女科学家算出宇宙爆炸论是假的.还有,质量足够大,是不是引力也大?那一个物体质量达到一定程度不 GOOGLE EARTH谷歌地球储存所有地图文件的服务器容量有多大?如题.GOOGLE EARTH的地图那么详细,要保存下来一个地球,需要多大容量的硬盘? 谷歌上的月球背面的外星飞船坐标是多少?首先强烈谴责这段视频的制造者,连个坐标都不给,它断子绝孙! 详细介绍一下天鹅座X-1 7月22日日全食时间 要详细的全国各个地点的时间 美国的阿波罗20号在月球上发现飞船和外星人,这个有可信度吗?是不是太荒唐了.我本人不相信这个事.从视频上看我认为也不应该是真的.但我希望他是真实的,大家都谈谈这个话题从目前人类 白鸟座和天鹅座是同一星座吗?在百度里搜索白鸟座居然介绍的是天鹅座!请问这是同一星座吗? 2009年7月22日日全食时间我们衢州开化看的到日全食吗 美宇航员称在月球发现巨大外星飞船残骸 天鹅座X-2星距我们有多少光年?意思是说就算是光速也要走8000年从地球,才能到达天鹅座么?以光速能到达离地球最近的可居住行星么? 浙江7月22日日全食具体时间浙江7月22日出现日全食具体时间具体指上午级时或中午几时或下午几时 月球是外星飞船么? 天鹅座X-1是黑洞吗? A 是 B不是 C可能是(请在自己所选的选项后面说明理由) 2009年7月22日日全食具体时间1.在日全食带吗?(山西南部)2.具体时间(具体到分)回二楼:临汾市襄汾县 阿波罗11号飞船的宇航员在月球上安装了一个什么? 天鹅座是不是黑洞 7月22日日全食上海的具体观测时间顺便问一下,什么时候戴墨镜,什么时候可摘掉(答者加10分)回答要有重点好不好,不要给我一大筐东西 阿波罗11号之前还有什么宇宙飞船拍摄到过月球的表面吗? 一队双星向撞可以产生黑洞吗? 谷歌地球上,火星和月球上面的国旗是什么含义?还有火星上2个小绿人的标记怎样解释? 阿波罗11号真的上过月球吗?月球上的日夜温差很大的,白天几百慑氏度,夜里零下几百度!一般的金属在这种温差下都是要分解的!美国人的太空车的金属能熬住这么大温差?太空人的装备能熬住? 如果,黑洞与另一个黑洞在比较相近的地点上,会发生什么事?黑洞会移动吗? 为什么谷歌地球看到的图像不像是真实的? 美国的阿波罗20号飞船从月球带回外星人的尸体,是不是恶作剧或骗人的? 关于银河系中心的黑洞?我们的银河系中心 据说是一个 超大黑洞.而且 我们的太阳系 围绕银河系中心 旋转,我们知道 黑洞是不断 吞噬 物质的,而且 吞噬的越多 其 体积就越大,体积越大 引力 下载的谷歌地球安装不了出现这个画面 这是为什么? 谷歌地球上有关麦田怪圈或是UFO坠毁或者沉船的座标! 银河系最中间是黑洞吗 谷歌地球可以看立体照片了?最近我在使用该软件观赏美国地区时无论是在城市市区里还是在州际公路上都可以显示立体图像,就仿佛你是站在地面上观赏周围景观,而不是像以前只能从上往下 我用谷歌地球的时候,在非洲好望角上有一个照片(球形的),里面发现了一个酷似UFO的东西, 宇宙中有比银河系大的黑洞有没有可能银河系被比它大的黑洞吞噬了? 谷歌地球中怎么弄立体图形 这个是不是UFO啊!我用谷歌地球6.2看到的,是在美国,大家看下到底是神马? 关于银河系黑洞问题?银河系中心是个黑洞,我们太阳系位于银河系边缘,如果位置在黑洞旁边,我们会怎样呢? 谷歌地球如何才能看清图像 月球上有没有外星人 银河系的中心是黑洞吗? 谷歌地球怎样才能看到3D图原来在右边还有滑标,不知咋搞的没有了,咋弄出来呀? 月亮上有外星人吗?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn