说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

程序员想玩转大数据:需要知晓的12种工具

HTML文档下载 WORD文档下载 PDF文档下载
无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具,这绝对是一个好东西。GigaOm的记者Derrick Harris列举了十二种大数据工具。可谓各有千秋,不过适合自己的才是最好的。

无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具。这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具。GigaOm的记者Derrick Harris列举了十二个工具,CSDN进行了编译整理:

在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为程序员带来先进的数据分析能力。有时候,程序员们会使用简单的脚本开发出强大的显示效果,或者在开发过程中使用一种更简易的方式来实现数据的交付功能,Derrick相信这是一个很有意义的发展趋势。

在云计算和移动应用的世界里,围绕一个简单的应用开创一个新事业已经比以往要容易的多。甚至在大公司,开发者都在为推销应用或者推进应用的货币化而奋斗。不过在应用的开发过程中,开发者可能需要加入一些数据流,这样才能让应用“火”起来。

毋庸置疑,大多数程序员的工作都是围绕着铺天盖地的代码而绝非数据流。所以程序员们可能需要一点点帮助,Derrick为开发者列举了12种工具(按字母排序),不过他表示也可能会有遗漏一些不错的选择,如果细心的读者发现的话,请在文章评论中留言。

1. BitDeli

BitDeli是今年11月份在旧金山成立的一家初创公司。它能衡量出任何使用Python脚本的应用程序的指标,联合创始人兼CEO Ville Tuulos告诉Derrick,脚本可以很简单,也可以很复杂——甚至未来可以延伸到机器学习。不过和“重量级选手”Hadoop相比,BitDeli自认为是一个轻量级的Ruby。

2. Continuuity

Continuuity是前Yahoo首席云架构师Todd Papaioannou和Facebook HBase的工程师Jonathan Gray的心血结晶,Continuuity想让所有的公司都能像Yahoo、Facebook一样运营。该团队创建了一个大数据工具,它可以简化Hadoop以及HBase集群的复杂性,而且包含一系列开发套件,旨在帮助程序员开发大数据应用,该平台采用Hadoop技术,允许开发者在防火墙内外对大数据应用软件进行部署、扩展和管理。公司联合创始人兼首席执行官Todd Papaioannou表示,作为一家初创企业,Continuuity正在试图掀起下一波大数据应用软件的浪潮,公司所提供的工具能够大大提高处于开发状态的软件不同部分与阶段的扩展性。

3. Flurry

Flurry是移动应用统计分析领域里的标杆,正因为在行业内独特的优势,它每年的营收高达一亿美元。Flurry拥有非常全面的功能,不仅仅只是帮助开发者构建移动应用,它还帮助开发者分析所有的数据,进而产生更大的效益。其实数据也支撑了该公司的广告网络,他们通过数据分析可以帮助开发者推送准确的广告到需要的用户面前。不过单纯从移动应用的数据统计功能来看,Flurry绝对是处于领先地位。其功能模块设置合理,分析维度全面,分析流程也易于理解。

4. Google Prediction API

Google Prediction API可能是最酷的工具了!Google Prediction API是一个基于云服务的机器学习工具,它可以帮助开发者分析数据,并为应用程序加入情感分析、反垃圾邮件、追加销售分析、识别可疑活动和诊断等功能。 这套API支持众多编程语言,比如.NET、Go 、Java、PHP、Ruby、Python、JavaScript、Objective-C以及应用脚本语言等。Google的开发者主页提供了相关的培训和开发指南,读者可以访问Prediction API介绍页面进行学习。

5. Infochimps

尽管Infochimps非常努力的想让自己成为一家企业级的IT公司,但是显然还有一定的差距。不过与公司同名的平台的确为开发者们带来了真正的价值。配置和管理大数据环境的工具称之为Wukong——这是一个基于Ruby的命令行界面,开发者可以编写大数据应用调用Data Delivery Service或Hadoop,使用的语法也非常简单,开发者无需学习MapReduce或者Flume。Infochimps的首席战略官Dhruv Bansal介绍:常见的情况是,客户用Infochimps的平台开发程序处理分析数据,只有在需要批量分析海量数据时才会用到Hadoop。基于这种经验,他们的新版本关注的重点是对数据的实时处理功能(而不是Hadoop)。

6. Keen IO

Keen IO赢得了Structure 2012 Launchpad的比赛,该赛事致力于为移动开发者提供强大的分析工具。开发者仅需要把一行代码插入到指定的追踪位置,该公司同时表示,开发者可以追踪他们应用程序中的任意代码。如果是这样的话,只需要再创建一个显示面板或者查询进程就可以把所有的数据转化成有用的信息。

7. Kontagent

Kontagent的基本业务主要是靠对移动、社交以及Web应用的分析平台,不过这一切都是建立在Hadoop基础设施之上。在今年的早些时候,该公司扩展了一项新业务:使用Hive打造了一个数据挖掘服务,并且提供了一个类似SQL的接口进行查询存储在Hadoop上的数据,取代了追踪预定义变量,他们可以对选择项进行更深入的挖掘。

8. Mortar Data

Mortar Data宣称“Hadoop,没有复杂性”。该公司提供了自己的云服务——整合了Pig和Python进而取代了MapReduce——已经有一年的时间了。在11月份,它发布了一个开源的Mortar框架旨在构建一个社区,这样不仅有利于成员之间共享数据集,也让构建Hadoop管道变得更容易。Mortar Data在AWS之上运行,目前支持来自Amazon S3以及MongoDB(托管在Amazon EC2之上)的数据源。

9. Placed Analytics

Placed“干掉”了脚本、API还有其他需要开发者“跑腿”的工作,仅仅是交付结果。在Placed的案例中,结果显示的都是一些细节性信息,例如在何时何地,用户使用了移动应用以及Web站点。这种类型的信息对吸引广告商非常有帮助,同时也有助于应用的设计。

10. Precog

点击 观看相关视频

Precog提供了一项服务Labcoat,它是一个交互式的开发环境,可以用来编写基于开源的Quirrel(由Precog实现的统计查询语言,Quirrel很多方面都与R编程语言比较相似)查询语言的分析工作,该集成开发环境包含了一个语言学习教程以及一些复杂的函数。Precog的COO告诉Derrick,即使没有任何编程经验的人也能在几个小时内学会操作。

Precog可以从各种数据源抓取输入数据,其中包括SQL数据库、Amazon S3、Hadoop、MongoDB、客户端Web应用和后端服务器等。RESTful API支持开发者从外部源(如Twitter或Facebook)、CSV文件或移动设备抓取数据。抓取的数据保存到一个叫做PrecogDB的定制数据库中,而且还可以使用人群统计、态度、位置和其他信息,使数据更为丰富。在一次采访中,Precog的CEO和创始人John A.De Goes解释到:“系统的架构与数据库分析有些相似,比如都包括面向列的存储。但是其区别在于:前者支持完全异构的、非规范化的数据,通过对Quirrel的支持,相对于使用RDBMS进行分析,使用这种类似于“面向大数据的R”的语言,能够很方便地执行很多更为高级的计算。”(信息来源于infoQ)

11. Spring for Apache Hadoop

点击 观看视频

虽然Hadoop是用Java语言编写,但是对Java开发者来说,并不意味着容易学习或者使用。在2012年的早些时候,SpringSource宣布把Spring框贡献给Apache Hadoop项目,这就让使用Spring框架构建Java应用程序变得更容易,不过这也意味着整合了其他的Spring框架应用,使用了基于JVM的脚本以及使用Hadoop或者相关的技术如Hive、HBase来进行开发应用程序变得更容易。

12. StatsMix

StatsMix与BitDeli以及Keen IO算得上是一脉相承,StatsMix也是想实现对开发者使用的编程语言进行应用数据的搜集和分析。该服务可以自动追踪特定的指标,但是需要开发者添加StatsMix API以及预先确定代码库。最终的结果将通过一个用户自定义的显示面板呈现出来,用户不仅可以在其上进行分享,也可以把多个数据源整合成一张简单的视图。(编译/@CSDN王鹏,审校/仲浩)

做动态显示的控件-Delphi资料 做一个OpenGL控件-Delphi资料 Api函数列表——与打印相关-Delphi资料 Delphi 5快速创建控制面板程序 Delphi 编写Windows NT服务 Delphi 的 分 发 工 具 ─ ─InstallShield Delphi 关于系统编程中的技巧 Delphi3如何调用Excel Delphi5.0中的函数调用模式 用Delphi 编 程 时 如 何 利 用 线 程 Delphi的8个技巧 delphi函数参考手册 DELPHI键盘常用快捷键汇总(DEFAULT 和CLASSIC) Delphi实现自动切换输入法 Delphi使用汇编 Delphi系 统 提 示 信 息 的 汉 化 DELPHI下的多线程程序设计 Delphi下汉字输入法的编程及使用 在Delphi与C++之间实现函数与对象共享 DELPHI中处理时间 Delphi中的INI文件编程 DELPHI中的消息处理机制 Delphi中对目录拷贝、删除和搬移的操作 Delphi中任务栏状态区的编程 Delphi中如何处理2000年问题 Delphi中如何实现系统权限的设置 Delphi中异常的截获及其个性化处理 Delphi自定义消息应用一例 Delphi5中资源文件的创建和使用 Delphi的Bug-Tthread Suspend方法 Email服务器的简单实现-Delphi资料 在一个datawindow中放了多个button,如何针对每一个Button进行编程? 派生类的三种继承方式 高薪诚聘 C# 程序员 一个有关失效率的问题,请大侠们指点! sun的j2ee sdk 1.3.1不能在2000server上运行?? [黑色幽默]唉 难道这就是IT人的未来? 几个项目开发问题,有经验者请进。 關於用vb取sybase數據的問題 如何实现呢?请教各位高手,高高手。。。 急。死。问一下UDP的写的一个NETICQ的使用方法.在线等 初学JSP,在用JavaBean创建了一个数据库连接的程序,但是在JSP中用<jsp:useBean>使用JavaBean时出现了问题。 我是新手,一个工程换目录了需要改哪些地方? listview控件网格的高度如何设置啊? 请问TFORM 中的onActivate 事件是在什么时候触发 help 关于菜单 為什麼服務器中的NETLOGON(用戶登錄)服務老是出現錯誤呢? 我的PIII 667 现在启动时自检为333E,然后进入CMOS,提示CPU频率不对,这是什么原因? 分不多了,帮我看看这个短小超难的SQL怎么写 unsigned char * 和 object pascal 中的什么是等价的?pchar 是无符号的么? 那位大哥帮看看 这句为什么总编译不过去 xiexie trectangle类型为什么总说我没有定义?在线等…… 为何收不到邮件的BODY部分? platform builder platform 时出错 有关SQLJ的问题 有谁可以提供几个关天isa server的好认坛? 在计划任务中编写t_sql语句的字符长度限制问题! JAVA 图形化编程如何控制组件的大小和位置!!! 如何用ASP上传文件到数据库、读取并下载? 100分求教我的ActiveForm出现access violation at address...的问题(急急急) 最真诚的祝福大力和璇玑! 控制文件损坏,恢复是碰到了难点--ora-00600错误。怎么办??? 请问WebBrowser对象在弹出式窗口中是不是不能用? 关于CListCtrl的一个问题 多个cpp可以有多个main吗? 怎么样在不同分辨率下显示同一网页不变形? 卡拉OK厅中的男人和女人们(zt) 怎么在一个接口中调用另外一个接口 大力过来 帮忙! 论坛里有保留cookies的功能,但是有些用户说cookies保存不了 大家好!我有问题很急呀!!! 哪个函数可以打开多个文件? 大家请进来说说吧,用什么软件编辑jsp和javascript能测试出网页中提示的:完成,但网页上有错误,这种错误所在的行和具体的什么错误。 关于在课件项目中应用XML的问题,回复心得或相关链接都有赠分 多个附件上传和下载 VB.NET中樹是怎樣展開 我可以把ACCESS数据库的表导出到SQL SERVER中吗? 图片存在目录与存在数据库各有什么优缺点呢? 点击这个框架中的网页能够打印另一个框架中的内容吗 求救~!!!! 请问如何将台式机硬盘上的内容copy到笔记本的硬盘上?? 禽兽讲仁爱,人当重信义,不及禽兽者,枉自披人皮用成语概括 信义房屋怎么样 校园里的花开得欣欣向荣对不对 用得意洋洋、迫不及待、满怀信心、一如既往、引入歧途、勇往直前这些成语造句.造好一点,要有点水平. 彳亍而乐行怎么读, 月亮近还是太阳近?提供数据:日地距离约14 960万公里月地距离40.6万公里 革命先辈的名言(短的)急急急急急急急急急急急急急急急急急急 面对帝国主义对中国领土的侵略,无数的革命先辈深深的知道——————————?填出正确的名言警句 浴池肾疗是什么意思 为什么我努力了这么久,什么都没有得到,我真的尽力了,努力,为什么我还是不能提升,我该怎么办?我真的做好了. 碳酸根离子的检验,取少量待测液,加入CaCl2溶液有白色沉淀产生;再取少量待测液,加入盐酸,产生无色无味的气体,将气体通入澄清石灰水中产生白色沉淀,证明有碳酸根离子.我的问题是:1,为 白俄总统错坐普京座位 发现后起身让座伊朗边境发生武装冲突 14名边防人员朝鲜纪念中国志愿军赴朝参战63周年 世界浙商大会开幕 夏宝龙赞浙商是最倚人感染H7N9禽流感病毒疫苗株在杭州马尼拉巿长据报拟下月赴香港就人质事件俞正声谈中共十八届三中全会毒性很强的废水直接排放 瓯海一老板被从X光片CT片中提炼白银 丽水男子因杭州西湖特聘十大“刺客” 常年为西湖立塔打井 杭州首个井筒式停车库有望下利群百货集团肉类蔬菜二维码追溯体系在城市信报图文版竞猜还在继续,快来参与监狱局长扮抢劫犯卧底体验监狱生活夏日美肤有道道熬夜看球,公交上睡着获巨额捐助后老家来要人了城市信报图文版美丽分享雕塑园旁海边多处现油污51岁男子飞机上偷拍大反派之轮回系统御魔仙仙伐逆脉天骄花都神医朝阳再起最后一个狐狸精尸神是怎样炼成的先知来了万劫不死极品帝魂香炉寺旅游卧龙海旅游中庙旅游半汤温泉旅游丰宁坝上旅游天门寺旅游荔江湾旅游桂林訾洲公园旅游桂林市区水上游旅游孟屯河谷旅游清风楼旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘