说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Heka:Go编写,来自Mozilla,高效、灵活的插件式数据挖掘工具

HTML文档下载 WORD文档下载 PDF文档下载
一直崇尚开源的Mozilla近日释放了Heka测试版——插件架构,Go编写。在支持使用Go扩展功能的同时,还通过允许“Sandboxed Filters”提供了另一种选择——Lua,同时这种选择下还省去了配置文件的编辑和系统的重启。

近日Mozilla Service团队首次发布了 Heka测试版(v0.2b1),Heka是一款拥有数据收集、分析、监视和报表的工具。其主要组件为 hekad,一个适用于任何主机的轻量级守护程序,其主任务是:

  • 通过读取和解析日志文件收集数据,监视服务器状况,和(或)使用任何协议(syslog、statsd、http、heka等)接收客户端网络连接。
  • 将采集到的数据转换成标准的内部表示,把元数据封装成Heka系统其它组件可以有效处理的形式。
  • 使用一组路由规则评估消息内容和原数据,并为每一个消息分配相应的处理过滤器和外部端点。
  • 飞速地处理消息内容,用以执行聚合、滑窗(sliding-window)事件处理和监控、非结构化数据到结构化数据的形成(举个例子:将日志输入文档解析到数字统计数据或者更加友好的数据结构)并将新的消息以报表的形式输出。
  • 将接收到或者是内部生成的消息数据发送到外部位置:数据可能被写入一个数据库、一个时间序列数据库或者一个网络服务,包括上行的一个hekad实例做更深的处理和(或)聚合。

Heka使用Go语言编写,在α测试中已被证明其非常适合构建数据管道,并让数据管道同时占有快速和灵活两方面的优势;在α测中,一个单hekad实例可以支撑(接收和路由)起每秒10GB的消息数据。Mozilla Service团队借鉴并延伸了 Logstash的想法,将Heka打造成基于插件的系统。开发者可以通过构建定制的Input、Decoder、Filter(比如数据处理)以及Output插件,进行快速和简洁的功能扩展。

所有4个类型的插件都可以用Go来实现,但是管理这些插件需要修改配置文件并重启系统,比如:添加新的插件,甚至是重新编译hekad binary。Heka还通过允许“Sandboxed Filters”提供了另一种选择,这样你就可以使用Lua来代替Go。这样一来,在一个运行中的Heka实例添加或者删除功能就不需要修改配置及重启服务器。Heka同样还提供了一些Lua API,Sandbox Filters可以使用这些API管理时间序列的环形缓冲区,并生成曲线图报告,这些报告将呈现在Heka的仪表盘上:


(点击查看大图)

开源相关

Heka是项新的技术,虽然已在Mozilla内部广泛使用,但仍稍显粗糙。就像Mozilla每个产品一样,Heka同样开源。了解更多详情可阅读相关资源:

  • Heka v0.2 binaries
  • Intro to HekaHTML presentation slides
  • Heka project documentation
  • hekad daemon documentation
  • Heka github project
  • Heka-build github project
  • Services devmailing list (for developer support)
  • IRC: #heka channel on irc.mozilla.org
  • Heka python client
  • Heka node.js client

原文链接: Introducing Heka (编译/仲浩 审校/王旭东)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

VB的API编程精粹(一) VB调用API函数技巧快速选择全部项目 VB调用API函数使窗口保持在最上层 VB中调用Windows API的注意事项 VB中访问API函数之防错技巧 VB中利用API函数实现特殊窗体的两种方法 VB中用API函数实现文件夹列表 WIN32 API-VB资料 WIN32 API的分类介绍 -VB资料 Win95系统API函数大揭秘 作者:何发武 -VB资料 把图标放在WIN95的系统托盘中-VB资料 打开/关闭光驱门-VB资料 调用API函数设计ABOUT窗口 -VB资料 功能强大的SendMessage函数 -VB资料 简单计算函数的编写过程-VB资料 将文件大小变成相应的字符串-VB资料 可以直接用API改变textbox的扩展样式-VB资料 快速读取TextBox第N行的数据 -VB资料 VB利用 API 可以直接拨号 VB利用API 使Text框只读 VB利用API创建文件目录 VB利用API函数实现VB特殊窗体的两种方法 VB利用API函数实现无TittleBar窗体的移动 VB利用API在VB5.0中实现清除文档名 VB利用App.PrevInstance防止同一程序执行多次 VB判断应用程序是否仍在运行并设置焦点 巧用VISUAL BASIC的RND()函数 让你的程序不在任务栏中显示 -VB资料 VB如何不用API使文本框属性只读? VB如何从文件中提取图标 VB如何关闭/重新启动计算机? 大家好~ 大家好~ 大家好~ vb还能存在多久 vb还能存在多久 Windows死机密码 如何用vb取出数据库中任意单元格里的内容? 如何正常显示 HTML 内容…… 动态建立数据库 WIN2000双网卡安装的怪事!!!!!有碰到过的来看!!!!! 在线等待!!!特急 用ado返回数据库的信息 请问如何才能把一个字体文件安装到windows下的字体文件夹中? 动态创建数据表 DLL问题 小仙妹,浪人支持你!!!!穷人不是错,人穷还不自卑就错了,,,,,,,,,,,,,, 我不明白了,ntfs格式的硬盘,一簇到底有多大? 无锡的朋友,提供一些信息吧(内详) 关于New和CreateObject的问题。(Windows Script Host Model) 20分请教关于考试答案区的设计 怎样才能隐藏在ctrl+atl+del中进程列表中的项目啊 关于Office的一个隐藏功能 请问有 ORACLE 的错误码 文档吗?倾我所有300分。 有 ORACLE 错误码文档吗? 谢谢大家! 请进来解决小弟的一个问题,谢谢 请问在对话框类里如何获得文档类的指针??? java开发工具的一些问题 如何知道一个子目录是否存在,如不存在,新建一个? 如何做activebar2.0控件 有关文件操作的问题 今日给分王 请问如何在一个CStatic控件中显示一个位图?很急的! 如何将image中的图转换成灰度图!!!然后如何转换成ascii字符画?急救! Apache_1.3.24,php-4.1.2,mysql3.2349a,环境RedHat7.2,make apache的时候出现error. 谁能告诉我这样把对话框的背景变成一个位图? icon to bmp的 代码???????????????? 图的表示问题 关于逻辑坐标和物理坐标问题的讨论 这是怎么了--winme 的工具栏没了,SOS SOS 请各位帮忙!!!! 烦请各位告诉我CBitmap和HBITMAP的区别及相互转换方法。多谢了 请问,当我将应用程序和我的指定文件类型相关联时候,我怎么才能指定该文件类型的图标。我试了将ResourceView中的ICON修改,可还是不行。 如何读AVI文件到缓冲区 今日我要把分全送人,我要隐退江湖了 关于关闭“进程”的问题???,help!!!!!!! 在家用SQL server7.0 做的數據庫backup文件怎麼不能在公司的機器上restore,急死我了!!! 关于MTS问题 给分王,我要功成隐退了 关于fdisk的使用出现意想不到的问题!!!!! 在公司做好的本地程序,和数据库,如何上传 有缘人,送分人,功成身退 誰有Java的在線网絡游戲,就象263,yahoo上那樣的. error C2664是怎么回事?十万火急!!! 题在补充里,把一块棱长是30cm的正方体钢材,锻造成高和宽都是5厘米的长方体钢材,钢材的长是多少cm?甲乙两队共同修一条2400米的公路,甲队每天修80米,乙队每天修60米,甲队的工作效率是乙队的 关于西方经济学的:已知'消费量和总效用',求边际效用 的算法?(边际效用递减),以面包消费的效用表为例(补充说:根据公式MU=TU/Q,但是,怎算不对啊?,请给我讲讲,思路!思路!)面包的消费量(Q) 总效 几道初一的数学题【丫丫的,我都快变成数学白痴了T^T】1、某地今年第一季茶青(刚采摘下来的茶叶)每千克的价格是去年同期价格的十倍,某茶农今年种植的茶叶受冻霜影响,第一季茶青产量 一道经济学问题 关于需求价格弹性的 原因If the price elasticity of demand for a good is 2, then a 10 percent increase in the price of that good ________ the quantity demanded by ________ percent.A) increases; 20B) decreases; 2C) decre 已知某16位机的主存采用半导体存贮器,地址码为18位,若使用8K×8位SRAM芯片组成该机所允许的最大主存空间如何画图 文化引领生活 怎么理解 一道微观经济题,关于需求价格弹性的.假定在某市场上,A,B两厂商是生产同种有差异的产品的竞争者;该市场对A厂商的需求曲线为Pa=200-Qa,对B厂商的为Pb=300-0.5Qb;两厂商目前的销售量分别为Qa=50;Qb 组成4k*4位的存储器,需要几片8k*8位的RAM芯片,如采用16k*4的RAM芯片,则需要几片 一个圆锥,直径5cm,高7cm,求体积. 经济学难题.如果在总需求曲线上有一点,需求价格弹性=-2,P=20,边际收益为?谢谢! 用2k×8的SRAM芯片组成16K×16的存储器,共需SRAM芯片_______________片,片内像这类题目怎样计算啊 英语翻译A steel vault protects the steel tube to complete the cable core. 求解一道数学题,问题在补充内平角的4分之1是()度,是()角,周角的4分之1是()度,是()角,直角与它的2分之1的和是()度,是()角 安徽哪些电缆厂 出张 的「张」作何解释? 有一块圆柱铁块,底面半径是15CM,高18CM.将它铸成底面直径20CM的圆柱形的铁块,铸成的圆锥形的铁块高是求高 河北有哪些电线电缆厂 光纤英语翻译,只有一句话!《Optical Transmission Fiber Design Evolution》这是一篇英语论文的标题,求翻译!要精炼,翻译得漂亮些! 把一个底面直径20cm,高18cm的圆柱削成一个最大的圆锥,要削去部分的体积是?cm³快 生活处处皆学问的含义是什么 做解释还是作解释 一个圆锥半径20cm,高15cm体积多少立方厘米? 文化生活概念 英语翻译Knowledge gained from this process informed the development of a 3D model of an un-cooled straight joint bay.Results confirm that such joint bays are not he limiting factor on circuit rating where sufficient core to core spacing has been 我想:倒不如把旅行家树的品质移植在自己的心里.这句话你是怎么理解的? 把一个底面半径是10cm的圆锥完全浸入在直径为40cm的圆柱中,水面比原来高1.5cm,圆锥高多少,求方程解 英语翻译要完整,不是英文,大道之行也,天下为公,选贤与能,讲信修睦。故人不独亲其亲,不独子其子,使老有所终,壮有所用,幼有所长,矜、寡、孤、独、废疾者皆有所养,男有分, 将一个底面积半径是10cm的金属圆锥,全部侵没在直径是40cm的圆柱形玻璃水糟中,这时水糟的水比原来升高1.5cm,这个金属圆锥的高是多少? 英语翻译capacity corresponds to a number of potential transitions (between 1 and 0) in a given time.When capacity increases,the number of potential transitions increases as well,i.e.transition frequency increases. 电炉丝热得发红,但跟电阻丝连接的铜导线都不怎么热,为什么? 纹身图案的含义? 梦见棺材作何解释? 英语翻译"景公饮酒数日而乐^^^^^^^^^^^^吾以彰晏子之教也"不是这一篇````郁闷`` 这幅图的英文纹身什么意思啊整句什么字母, 英语翻译The high sensitivity of bandwidth to the profile shape poses great challenges to the profile control in the fiber manufacturing process.关键在:profile shape 和profile control 搞不懂!1.With the LP approximation,light propagating i 怎样做一个高是15CM,底面半径是5CM圆锥 你如何理解精神生活不要说的太深奥,大家说的现实一点,就是你想追求的精神生活是一个什麽样的状态? 深凡可以作何解释!深凡作为一家公司名称,深凡可以作何解释 ,越具体越好 谁知道顺其自然,为所当为的真正含义! 懂英文的进 图下 一般旅游中所说的地接是什么意思呢? 尝试说明消费者选择理论中的“边际效用递减规律” 精神生活是什么意思 在经济当中, 作为消费者的合理选择,是否哪种商品的边际效用最大就应当选哪种商品?需要详细理由. 你感觉生活的意义是什么? 计划经济是什么意思? 给人评价的歪歪是什么意思 圆锥的底面直径是10cm,体积是235.5cm的立方,这个圆锥的高是多少cm? 旅行社的地接是什么意思 歪歪上有人会发1是什么意思 请问一个底面直径是5cm,高是17dm的一个圆锥,体积是多少? 芭菲王子 你说的这个我懂,不过这张图在一个英语网站引起了非常多的讨论,应该是google的自动提示有一个很大的错误,我想知道是怎么回事儿? 歪歪上的女专是什么意思? 保准你会某企业有A、B两种经营收入,今年A种年收入是B种年收入的2倍,预计明年A种年收入将减少百分之十,B种年收入将增加百分之十八.问明年该企业的年总收入是增加还是减少? 用英语描述一下这幅图 在比例尺为1:2000000的地图上,量得两地距离为15厘米。一辆客车与一辆货车分别从两车同时相向而行,经过2.5小时相遇。已知客车与货车的速度之比是7: 我想:倒不如把旅行家树的品质移植在自己的心中,这句话表达了作者什么样的感情?还有一个问题:旅行家究竟具有什么样的品质呢? 白痴数学题,我是理科白痴.1-x²1.多项式 ----- 的最高次项系数是( )4A.-1 B.1 C.四分之一 D.负四分之一2.观察下列代数式:-x,2x²,-3x³,4x的四次方,-5x的五次方...指数的规律是什么?第1题打错
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘