说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Heka:Go编写,来自Mozilla,高效、灵活的插件式数据挖掘工具

HTML文档下载 WORD文档下载 PDF文档下载
一直崇尚开源的Mozilla近日释放了Heka测试版——插件架构,Go编写。在支持使用Go扩展功能的同时,还通过允许“Sandboxed Filters”提供了另一种选择——Lua,同时这种选择下还省去了配置文件的编辑和系统的重启。

近日Mozilla Service团队首次发布了 Heka测试版(v0.2b1),Heka是一款拥有数据收集、分析、监视和报表的工具。其主要组件为 hekad,一个适用于任何主机的轻量级守护程序,其主任务是:

  • 通过读取和解析日志文件收集数据,监视服务器状况,和(或)使用任何协议(syslog、statsd、http、heka等)接收客户端网络连接。
  • 将采集到的数据转换成标准的内部表示,把元数据封装成Heka系统其它组件可以有效处理的形式。
  • 使用一组路由规则评估消息内容和原数据,并为每一个消息分配相应的处理过滤器和外部端点。
  • 飞速地处理消息内容,用以执行聚合、滑窗(sliding-window)事件处理和监控、非结构化数据到结构化数据的形成(举个例子:将日志输入文档解析到数字统计数据或者更加友好的数据结构)并将新的消息以报表的形式输出。
  • 将接收到或者是内部生成的消息数据发送到外部位置:数据可能被写入一个数据库、一个时间序列数据库或者一个网络服务,包括上行的一个hekad实例做更深的处理和(或)聚合。

Heka使用Go语言编写,在α测试中已被证明其非常适合构建数据管道,并让数据管道同时占有快速和灵活两方面的优势;在α测中,一个单hekad实例可以支撑(接收和路由)起每秒10GB的消息数据。Mozilla Service团队借鉴并延伸了 Logstash的想法,将Heka打造成基于插件的系统。开发者可以通过构建定制的Input、Decoder、Filter(比如数据处理)以及Output插件,进行快速和简洁的功能扩展。

所有4个类型的插件都可以用Go来实现,但是管理这些插件需要修改配置文件并重启系统,比如:添加新的插件,甚至是重新编译hekad binary。Heka还通过允许“Sandboxed Filters”提供了另一种选择,这样你就可以使用Lua来代替Go。这样一来,在一个运行中的Heka实例添加或者删除功能就不需要修改配置及重启服务器。Heka同样还提供了一些Lua API,Sandbox Filters可以使用这些API管理时间序列的环形缓冲区,并生成曲线图报告,这些报告将呈现在Heka的仪表盘上:


(点击查看大图)

开源相关

Heka是项新的技术,虽然已在Mozilla内部广泛使用,但仍稍显粗糙。就像Mozilla每个产品一样,Heka同样开源。了解更多详情可阅读相关资源:

  • Heka v0.2 binaries
  • Intro to HekaHTML presentation slides
  • Heka project documentation
  • hekad daemon documentation
  • Heka github project
  • Heka-build github project
  • Services devmailing list (for developer support)
  • IRC: #heka channel on irc.mozilla.org
  • Heka python client
  • Heka node.js client

原文链接: Introducing Heka (编译/仲浩 审校/王旭东)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

HCC2013:华为FusionCube融合至简,性能至优 已确认Stephen Elop候选微软下任CEO 英语对于软件开发者来说到底有多重要? SDCC 2013中国软件开发者大会成功落幕 新浪微博宋琦:PHP在微博优化中的“大显身手” 8月份浏览器份额:IE浏览器PC端出现反弹 移动端跌出前五 如何让Ruby项目速度提升10倍 跨平台进行到底:Facebook发布Unity SDK 云薪资管理初创公司ZenPayroll:年处理薪资超1亿美元,获多位知名CEO力挺 Twitter开源Summingbird:近原生编码下整合批处理与流处理 亚马逊推Matchbook 欲将顽固纸质书读者拉向电子书 Broadcom为可穿戴设备推新开发平台WICED 再战江湖 New Kodak还牛不牛? 郭理靖:公、私有云架构异同点与难点 美化代码的15个代码语法高亮工具 你所不知道的虚拟化和云计算 [开源推荐]Effeckt.css项目:CSS交互动画应用集锦 针对Google Glass应用的四大UX设计原则及典型应用 Google收了摩托罗拉,微软收了诺记,黑莓又将花落谁家? 十亿月PV网站秘诀:Reddit自失败中总结的25条经验 粉碎5个NoSQL流言:各司其职,NoSQL的出现比关系型更早 豌豆荚发力移动游戏平台,推出SDK 2.0 BlackBerry Jam Asia 2013即将在香港隆重召开,免费门票限量提供 小米发布会高潮迭起:米3、电视、Hugo大牛 谷歌放在Windows上的特洛伊木马:Chrome Apps应用平台 解析:Google基于数据驱动的招聘面试程序 决战“缓存”之巅:微软 vs. 亚马逊 雪中送炭:十大前沿移动应用开发工具 高通智能手表Toq都用到了哪些技术? 研发周报:修改一行SQL代码 性能提升了100倍 2013年NoSQL就业趋势分析 谁能教我配置PHP服务器啊? 帮我看一下, 紧急求救!!!jsp的出错信息! 如何合并两个Image对象为一个Image对象 还有一个问题,帮帮我嘛! 高分请教高手!简单,看了你也是高手 代码编辑器的问题。 计论:大家都用什么工具进行数据库的比较? 我高中的班主任 请大家评评理,特别是JAVA版版主! 这样的SQL语句怎么写啊 form切换!VB.net里面如何在语句里调出别的FORM 如何用ADO连接EXCEL数据? 什么是上溯造型? 如何把console.write 输出很多内容保存到文件?thread.join()如何使用? 我想实现像网络蚂蚁那样在IE上点右键,把这个IE中的信息传送给我主程序,现在遇到两个问题! 控件的布局问题? 实例化算不算继承? 急!!!!关于SQL数据堵塞 请大家推荐一下哪个汇编集成环境比较好用?DOS下用什么?WIN下用什么? 向各位请教两个tomcat的问题:(谢谢) 高手请问 拉格朗日算法VB=>BCB 求ASP的字符串比较函数. 找C++BUILDER高手!! 我在做演示光盘,用camtasia录制的屏幕图象,可是在客户的机器上播放不出来,在线等待,解决问题马上揭贴! fastreport如何不进行预览而直接打印! 不使用下拉数据窗口,如何实现输入产品代码即可显示产品名称 大哥救命啊 一个简单问题,在一个Win32 applicaion 中如何使用CString变量! 在线等待! 倒霉!!!平白无故被副总扣了100点! 我高中的班主任 JBuilder的爱好者,请留下您的联系方式!谢谢,让我们共同进步! 未指定默认数据库驱动…… VC中如何添加数据库支持? 栽ejb-jar.xml中部署的Ejb QL怎么和Home接口中声明的查询连接起来,必须以ejbSelect开头吗? 如何通过程序调用荧光笔操作?急,在线等!高分相送啊! 表格宽度 发现我的作文水平如果参加今年高考能得满分(仅限作文) 送100分,JB7+JBoss下,用CMP方式建两个EntityBean,比如DIfsZxx(主键所在实体),DIfsZxxRw(外建所在实体),当两者之间关系设为。。。。 谁能够告诉我所有ACCESS数据类型的英文名字?偶在VB中有用到! 请问如何才能使用asp连接foxpro数据库,使用oledb 启动出现找不到windows\system\service.vbs怎么回事??但进入系统正常,如何去掉??? Datagrid!!! 大家能不能推荐一个免费个人主页啊。 大家来帮我看看PHP连接ACCESS数据库的问题! 大家讨论一下这种软件的开发机制和速度优化机制,有没有可能进入代理内部? 放分拉,关于struts的问题,如何在action类中调用ApplicationResources.properties中的信息!!进者有分!! 如何基于对话框打印表格(比如个人简历)在线给分! 今天刚装了新的内核,所以写出过程供大家参考! 一个急需要解决的问题??? VC下如何接收COM+事件 一个有酒精的啫哩!12度的!里面有多少酒精量? 人心最初是善还是恶? 拖字怎样换偏旁 照样子写成语 兴国安邦 克服 用英语短语怎么说. eight eges.wang! 求 深入浅出 兴国安邦 式成语(各5个)深入浅出 ,前两个字为一个意思,后俩个字为这个意思的反义词* * ^ ^ 兴国安邦 ,前两个字为一个意思,后俩个字为这个意思的近义词* * ^ ^ 奎 一个意思组一个词 求助英语练习题(标题字数不够)第一个:the country life the old man was used to ( )a lot since 2008A,change B,has change C,changing D,changed第二个:(  )this method does not work ,let`s try another.A,though B,until C,bef 兴国安邦这个成语中,国和邦是一组近义字,还有没有其它的成语也是这个类型的?一定要准确噢!谢谢! 余与芸寄届……此真乡居之良法也的文言文解释 怎么标注拼音中的阴平、阳平、上声、去声? 兴国安邦 置之不理 恍然大悟 饱经风霜.近义成语和反义成语有哪!写大哥大姐快说 速度! 军加偏旁可以组成什么字 尘字换偏旁再组词 1.根据“使国家兴盛安宁”的意思写出的成语是“兴国安邦” 对还是错?( )2.对联实际上是对偶句,它最明显的特点是对仗工整.对还是错?( ) 3.《我的伯父鲁迅》结尾“他为自己想得很少, 用奇峰异岭造句 一份报纸的批发价是2.35元,零售价是2.5元.小明在星期天卖报赚了30元钱,他卖了多少份报纸? 怪石()()填成语 奇峰异岭的造句 白银盘里一青螺这句诗形象地写出了望洞庭什么 百度知道 某合金为(Mg与Al组成物质)与足量的稀硫酸产生ymol的气体,合金的物质的量为7mol,y=8.5mol,我的算法不知道哪错了 设MgaAlb(a,b为角标系数)Mg(n)~H2(n)=7a 2 Al(n)~3H2(n) Al为7b H2=10.5b7a+10.5b=8.5 奎,拼音 初一数学评价手册P25第5题帮我 kkkkk 《与朱元思书》全文 65gZn加入过量的10%的稀硫酸,得到106.3g溶液.求反应后溶液中H2SO4的质量. “奎” 怎么读?请给我拼音,D 与朱元思书全文 善痣和恶痣的区别?我的右脸,眼皮下鄂骨上有个,脖子上有个,左胸上靠腋下的地方有个(都是小圆点的痣),另外左小腿外侧也有个痣上面还有毛,问这几个痣的好坏,需不需要点掉的.抄袭的滚 奎这个拼音叫什么字 与朱元思书的全文是什么 好与善,坏与恶的区别是什么?是是非非 求各位数学高手,算出阴影部分面积,步骤详细 外国人论中国人吃的文章是一个外国人形容中国人什么都吃的文章! 如下图,A、C、D的对面分别是什么面?四、等量代换 (1)一只小猴子的重量等于2只松鼠的重量;一只松鼠的如下图,A、C、D的对面分别是什么面?四、等量代换(1)一只小猴子的重量等于2只松 若a、b、c、d都是实数,求证:(a2+b2)(c3+d2)大于等于(ac+bd)2 Mastercam 用中文怎么读 什么样的痣叫善痣,什么样的痣叫恶痣?红色的痣是什么痣? xing ( )高 看拼音写汉字 鲁迅说中国人发明了指南针,外国人拿去航海,中国人却拿着看风水;出自鲁迅的哪本书?文章名?原话是什么记得鲁迅先生早就说过,中国人发明了指南针,外国人拿去航海,中国人却拿着看风水; 【目送.龙应台】本文从目送儿子过渡到目送父亲的过渡句是? 气象万千、风云变幻、奇峰异岭、若隐若现、腾云驾雾、飘飘欲仙、白云苍狗、瞬息万变 的意思 求一篇英语短文:外国人和中国人装着打扮颜色的不同不要有语法错误 什么是善痣和恶痣? 有什么英文单词发“wang”和“xing”这个音的?或是组合起来的,本人起英文名字哦.. 成语大全 四字成语 什么事善痣什么是恶痣 气象万千,风云变幻,奇峰异岭,若隐若现,腾云驾雾,飘飘欲仙,白云苍狗,瞬息万变,选其中的两三个词语写一段话. 怎么用“博览群书”造句呀? 什么是善痣?什么是恶痣? 请英语高手帮我取两个英文名?wang xing,最好和中文有斜音,然后中文意思像男孩子,好读! 翻译词组,(交朋友) 求两条蓝色线段与圆的交点的坐标,最好能用圆的参数方程解决1 名字带奎字什么意思 超难的物理题,求教T^T 求过点A(-2,3),B(4,5)的直线的参数方程,并求出它与直线2x-3y+1=0的交点坐标如题. “奎”字的意思?是不是可以是皇帝的意思. 酒精泄露量超过多少为大量泄露 已知一点的坐标,怎么求得它的参数方程, a.b为不等正实数,a方-b方=a立方-b立方证a+b大于1相当相当难 南大西洋南桑威奇群岛发生6.5级地震英航空公司推出空姐半裸慈善日历 (组环球小姐决赛即将举行 佳丽泳装展示傲美田纳西州海军基地又发枪击案 2人受美国情报机构被爆监听35名国际政要电奥巴马医改核心举措漏洞频出接受国会质美田纳西州海军基地又发枪击案 2人受土耳其已用中国导弹试验 硬顶美国别买中国画家潘义奎获艺术界\"诺贝尔\"德国就默克尔手机或被美监听一事召见美美方称无迹象显示两美国人遭绑架是恐怖小贝携全家看比赛 父爱爆棚吞小七胖手星巴克星巴克创始人回应“在中国高定价专家:中国已有5大类17种转基因生物芝加哥农产品期价24日全线下挫美国总统呼吁年内通过移民改革法案美国13岁少年持玩具AK-47 遭两印度少女回家途中遭轮奸 事后遭歹徒焚美国情报机构被爆监听35名国际政要电美遭盟友“愤怒围城” 昔日帝国实力大美媒称土购中国导弹或是把特洛伊木马塞本市全年慈善募捐数额增长27.6%秉承“善的力量”增强社会责任感(上)山西查办一批“三假”案房产中介遭投诉量倍增进球大咖秀图说世象今年机械工业产销和利润增速可达12%伪基站发诈骗短信百亿条帅过男神最大金融监管机构FSB加入对汇市操纵希腊官员访华签署《中希谅解备忘录》秦皇岛铁警排查隐患保安全中国副外长昨起访朝数十港人闹市抗议当街辱骂内地旅客警惕八大“招工”骗局临汾铁警积极应对春运返程苏宁进军保险代理市场股指冲高震荡难免网上遇见美女也许不是艳遇实施40多天开出首张千元罚单购物,仍是旅游绕不过的“坎”?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘