说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Heka:Go编写,来自Mozilla,高效、灵活的插件式数据挖掘工具

HTML文档下载 WORD文档下载 PDF文档下载
一直崇尚开源的Mozilla近日释放了Heka测试版——插件架构,Go编写。在支持使用Go扩展功能的同时,还通过允许“Sandboxed Filters”提供了另一种选择——Lua,同时这种选择下还省去了配置文件的编辑和系统的重启。

近日Mozilla Service团队首次发布了 Heka测试版(v0.2b1),Heka是一款拥有数据收集、分析、监视和报表的工具。其主要组件为 hekad,一个适用于任何主机的轻量级守护程序,其主任务是:

  • 通过读取和解析日志文件收集数据,监视服务器状况,和(或)使用任何协议(syslog、statsd、http、heka等)接收客户端网络连接。
  • 将采集到的数据转换成标准的内部表示,把元数据封装成Heka系统其它组件可以有效处理的形式。
  • 使用一组路由规则评估消息内容和原数据,并为每一个消息分配相应的处理过滤器和外部端点。
  • 飞速地处理消息内容,用以执行聚合、滑窗(sliding-window)事件处理和监控、非结构化数据到结构化数据的形成(举个例子:将日志输入文档解析到数字统计数据或者更加友好的数据结构)并将新的消息以报表的形式输出。
  • 将接收到或者是内部生成的消息数据发送到外部位置:数据可能被写入一个数据库、一个时间序列数据库或者一个网络服务,包括上行的一个hekad实例做更深的处理和(或)聚合。

Heka使用Go语言编写,在α测试中已被证明其非常适合构建数据管道,并让数据管道同时占有快速和灵活两方面的优势;在α测中,一个单hekad实例可以支撑(接收和路由)起每秒10GB的消息数据。Mozilla Service团队借鉴并延伸了 Logstash的想法,将Heka打造成基于插件的系统。开发者可以通过构建定制的Input、Decoder、Filter(比如数据处理)以及Output插件,进行快速和简洁的功能扩展。

所有4个类型的插件都可以用Go来实现,但是管理这些插件需要修改配置文件并重启系统,比如:添加新的插件,甚至是重新编译hekad binary。Heka还通过允许“Sandboxed Filters”提供了另一种选择,这样你就可以使用Lua来代替Go。这样一来,在一个运行中的Heka实例添加或者删除功能就不需要修改配置及重启服务器。Heka同样还提供了一些Lua API,Sandbox Filters可以使用这些API管理时间序列的环形缓冲区,并生成曲线图报告,这些报告将呈现在Heka的仪表盘上:


(点击查看大图)

开源相关

Heka是项新的技术,虽然已在Mozilla内部广泛使用,但仍稍显粗糙。就像Mozilla每个产品一样,Heka同样开源。了解更多详情可阅读相关资源:

  • Heka v0.2 binaries
  • Intro to HekaHTML presentation slides
  • Heka project documentation
  • hekad daemon documentation
  • Heka github project
  • Heka-build github project
  • Services devmailing list (for developer support)
  • IRC: #heka channel on irc.mozilla.org
  • Heka python client
  • Heka node.js client

原文链接: Introducing Heka (编译/仲浩 审校/王旭东)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

微软将于10月17日正式发布Windows 8.1 Google推出在线教育C2C平台Helpouts 技术人员组团参加SDCC 2013的十个理由 继BAT之后 第四大巨头是谁 如果传统IT部门真的消亡,你该何去何从? 闪存突袭,混合储存是否已步入黄昏 Cloudera发布Hadoop开源组件Sentry:提供细粒度基于角色的安全控制 我从其他Shell脚本中学到了什么? 10个调试和排错的小建议 机器学习的时代来临,人类应该做点什么? 云端测试破1500万 Testin已为开发者省2亿 智能腕表inWatch:已发售近3600台 Bingo!微软证实Windows 8.1将捆绑安装Skype IBM宣布收购以色列网络安全公司Trusteer 约10亿美元 如何才能运作好一个开源项目? 为什么JavaScript有能力成为未来企业级编程语言? Red Hat CEO:拥抱开源 拥抱克隆 小米手机-HAXLR8on硬件黑客马拉松 开团了! 移动周报:雷军做红米的N个理由 Pangea Software CEO:08年App Store游戏降价大战的真相 揭秘MongoDB最新Java驱动:更好的JVM支持,指日可期的异步 不仅只有IE Mozilla将于发布Win8平台Metro版Firefox 360搜索发布新产品“我的搜索” 引入网民评价和网站名片功能 AppScale:Google App Engine的开源实现 近期十大优秀jQuery插件推荐 通过语音识别来编程 速度远超键盘 BrowserStack:多系统跨浏览器兼容性测试工具API发布 更加开放?Path向13家应用开发商开放API 重金力邀开发者 联想智能桌面应用开发大赛开幕 SDCC 2013大会讲师名单议题出炉 8月20日五折票价最后一天 程序员困境:底层编码能力正逐步丧失 回车和换行分别是什么ascii? 用notes做论坛:用户登录接收到的用户名存在某一个地方,供后面几个页面中的发表及回复使用? 屏幕取词的问题 宝兰的回信 里程表的制作,大家谈。 偶想编个网络游戏的外挂程序,请网络编程高手近来讨论一下(来者有分) 有兴趣的过来看一看! JSP中如何调用SERVLET? 怎样自动检测OICQ是不是在线,用C/C++A做,我可以自己输入号码(OICQ) 怎样自动检测OICQ是不是在线,用C/C++A做,我可以自己输入号码(OICQ),大家帮忙 请问各位高手改变字段类型和向一个已存在的表添加新字段的SQl怎么写? 请问在XML规范里TR是什么的缩写? 关于COM中“聚合”的问题,那位大侠给小第指点迷津,多谢多谢! 呵呵!! CSDN 茶馆 再次开张!!!!(东北分店)欢迎光临 那有pdf版的经典的英文计算机书下载。 来指教一下http://www.csdn.net/expert/topic/383/383603.shtm 发送Microsoft.XMLHTTP怎样获得验证 ldap的问题,大家都来看那, 【怎样在韩文版的windows中调出输入法?】 :)java参考书指点................. 怎样获得Microsoft.XMLHTTP请求验证??? 关于asp.net的web控件的响应事件问题! DOS程序后台运行问题? 高手请指教->多个Form间怎么互通消息? 菜问题....D3D的 谁知道怎么做oicq,分全部归他。 各位兄台:如何激活一个窗口! 我发送Microsoft.XMLHTTP怎样获得验证??? 高分相送:有没有能察看一个dll文件中包含哪些函数的工具??????? help!!!! 怎样发送Microsoft.XMLHTTP获得验证???????? 请问,ASP中,能使用类似VB中的“On Error GoTo XXXX”这样的语句吗? foxpro怎样倒入sql server? 我现在有foxpro的dbf文件?应该怎样做? 多谢 mediaplayer的问题。 告诉我tostring 函数什么用途我们感到阿!谢谢了一个初学者! 请问VB6如何才能认到access2000的数据库文件? 关于对象序列化问题 怎样让返回值为自定义结构? 怎么在对话框上面话线? 请解释一下跃点数 小问题一个,但是需要高手................. 我想把公司的网站改放到公司,该怎么办? ——如需要还有很多分送 请帮忙,我自己觉得问题很难(特急)!!!!!!!!!!!!!!!!!!!! 明天我哥结婚,我很开心啊!!! 我想把公司的网站改放到公司,该怎么办? ——如需要还有很多分送 关于存储过程和触发器的问题?(高分求助) WIN2000机器上ADSL,另一台linux下如何做ADSL的代理让局域网中机器上网! 为什么新生成一个session对象后,jsp page中的scope=session的bean会不正常? ★★oracle中ora-04031错误 请问:在安装MSSQL2000 时(因为公司的电脑是对等网的原因)我装完后出现以下错误: 语文六年级下册18课跨越百年的美丽居里夫人内在美的句子切记,一定要加上对这些句子理解,10句可以 冰心对读书有什么体会 阅读短文《瞬间的永恒人性》,1917年圣诞节前几周,欧洲大地上战争的硝烟日趋浓烈.其时正值第一次世界大战,在美国军队的中间,是一条狭窄的无人区.一个年轻的德国士兵在执行任务时被击倒 课文以跨越百年的美丽为题,居里夫人跨越百年的美丽指的是什么? 关于什么的春节的作文题目 阅读短文,飞 入我家的绿毛龟 生命的品格阅读答案_ 冰心对读书的最大感受是什么 幸福是什么?牛郎说:“幸福就是男耕女织,勤勤恳恳地过日子.”哈尔威说:“幸福就是( )”霍金说:“幸福就是( )”钱学森说:“幸福就是( )” 居里夫人的美丽指什么? 居里夫人的故事有那些? 跨越百年的美丽中心是什么? 居里夫人的品质是什么? 绿手指 阅读短文1.在法国一个小镇,有位老奶奶,长着“绿手指”.你可千万别奇怪,“绿手指”是当地人对好园丁的称赞. 2.一天,她在报上看到一条消息,园艺所重金悬赏纯白的金盏花.老奶奶想 有关父爱、母爱的文章123快 生命的品格阅读答案帮帮忙 绿手指这篇文章的题目好在哪里? 写一篇关于月球的作文,100字 父爱母爱名人名言急切!1 绿手指这篇文章的答案比较下面两个绿手指的不同.1、美国某小镇有一位绿手指.2、但愿你我还能长出新的绿手指. 以”月”为话题,写一篇800字的作文. 关于父爱母爱的名言警句 绿手指阅读答案1.在法国一个小镇,有位老奶奶,长着“绿手指”.你可千万别奇怪,“绿手指”是当地人对好园丁的称赞. 2.一天,她在报上看到一条消息,园艺所重金悬赏纯白的金盏花.老奶奶想 60~64 父爱和母爱的名人名言我要各5句 关于写父爱和母爱作文的结尾怎么写? 六下语文课堂作业本中总复习的第六题6月24日8点之前 关于父爱母爱的名言语气亲和、态度友好 求作文 题材要写父爱母爱的叙事要明确 清晰最好与初三生活结合起来 六下语文课堂作业本中总复习的所有题目我的书不见了,作业有正好有很多,好心人啊,我需要六年级下册语文人教版《课堂作业本》中最后的总复习的所有题目!急需,在线等! 关于母爱、父爱的名言警句 虚掩着的门阅读答案,下面是短文和问题.在四小时之前迅速发来答案,一天,某公司总经理叮嘱全体员工——“谁也不要走进8楼那个没挂门牌的房间”,但也没解释为什么.在这家效益相当不错的 六下语文课堂作业本总复习第四大题答案要正确 没有遗漏 快 是本册的成语 写人类 叙事类 绘景类 状物类 初一中 作者说:“我永远感到读书是我生命中最大的快乐”结合自己的读书经历,谈谈你对这句话的初一中 作者说:“我永远感到读书是我生命中最大的快乐”结合自己的读书经历,谈谈你 冰心《忆读书》作者感悟到了什么 冰心的赏析 请在十分钟内答完.急呀.阅读短文回答问题(二)油城美 我见过许多美丽的,城市:大连的海美、青岛的山一美,长白山的树美,济南的泉美……我十分喜欢她们.在这些美的城市中,我最爱北国 冰心写的读后感(500字)意义要深刻一点 读过冰心的作品之后,你有什么感受?请给出准确答案! 作文 读 ,越多越好!不是半命题作文!就是 “ 读 ” 600字以上! 帮忙想一个作文题目的开头(关于春节)如题.关于写春节来临的开头 冰心家庭背景 要以牛年春节和春晚我最喜欢的节目为话题的作文急需,今天就要 《落叶》这篇短文阅读答案 ”我惊叫道,不知什么时候,地上已铺满了落叶!看看这片片枯黄的落叶静静的躺在地上,真让人了难以相信它们曾经还在微风中满是美丽和骄傲. 真是秋天到 友谊的作文题目要求新颖 关于母爱、父爱的文章描写片段最好是名篇的类似于《背影》这样的最好把文章片段贴过来 我爱落叶短文答案我爱落叶阅读题答案待解决 [ 标签:落叶阅读题,] ぺ灬葬、爱、 2009-05-13 18:54 我爱落叶我爱春风和朝霞,也爱小草和鲜花,但我更爱落叶.在瑟瑟的秋风中,落叶簌簌地飘到地上 填空:“( )的春节”(要与众不同、新颖一些)是作文题目 作者为什么十二三岁时,对红楼梦兴趣不大,而中年以后才深有感悟 落叶作文 绿手指阅读答案要快 在忆读书阅读中作者者为什么从十二三岁开始看《红楼梦》直到中年才把他读懂? 人教版六年级上册语文课堂作业本第六单元第一课诗海拾贝全部答案.快今晚就要!除了画图题外其余都要!如果有全部的更好(第六单元)我会追加悬赏分! 阅读“绿手指” 1.在法国一个小镇,有位老奶奶,长着“绿手指”.你可千万别奇怪,“绿手指”是当地人对好园丁的称赞.2.一天,她在报上看到一条消息,园艺所重金悬赏纯白的金盏花.老奶奶想: 六年级18课跨越百年的美丽可以用一句怎样的话来表达对居里夫人的敬佩之情快.急用 人教版六年级上册语文课堂作业本第六单元第一课诗海拾贝全部答案.快今晚就要! 绿手指阅读答案 用一句简短的话,概括第四节主要内容1.在法国一个小镇,有位老奶奶,长着“绿手指”.你可千万别奇怪,“绿手指”是当地人对好园丁的称赞.2.一天,她在报上看到一条消息,园艺 20课 什么是真正的美丽?课题为什么说居里夫人是“跨越百年的美丽”?文章的写法搞错了。是18课 六年级上册课堂作业本诗海拾贝答案语文(人教版)我急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急 在5 31之前给我 生命,生命阅读短文答案夜晚,我在灯下写稿,一只飞蛾不停地在我头顶上方飞来旋去,骚扰着我.趁它停在眼前小憩时,我一伸手抓住了它,我原想弄死它,但它鼓动双翅,极力挣扎,我感到一股生命的 作文题目 春节要明简一点 幸福是什么感觉?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn