说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

初创公司Citus Data将CitusDB扩展到Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
初创公司CitusData进入高速发展的快车道。公司的旗舰产品就是分布式数据库系统CitusDB,它与全局式发布系统最大的不同就是可以在数据库任何一个节点上查找整个数据库信息,而不必老套的依靠数据中心点,大大地优化了查询数据的效率。

数据库初创公司Citus Data在本周二实现了Hadoop数据上的快速SQL查询,这并不算什么大事,因为它们还有更大的目标。Citus Data已超越Postgres将其高速、分析数据库CitusDB扩展到Hadoop上,接着可能扩张到MongoDB以及其它你已经想到的数据库产品。GigaOM的记者Derrick Harris认为,它是所有人都需要的唯一分析型数据库,它能够数据的查询,无论存储任何环境之中——关系型数据库、Hadoop、MongoDB、 Amazon S3或者还有其他的地方。

大数据已经打开了企业数据分析以及选择性数据存储的视野。那么这两项的结合往往意味着需要学习新的语言,使用多工具处理,而且在分析平台上还可能需要牺牲一部分性能。

Citus Data公司的旗舰产品就是CitusDB,它通常建立在PostgreSQL之上,第一代的目的就是为关系型数据设计像谷歌Dremel这种规模和速度的数据库。由于其中的一项功能“foreign data wrappers”,所以它能够在多种数据类型(像CSV, log以及JSON files,而且这些数据类型在原生的Postgres上是并不匹配的)上运行SQL。所以当CitusDB除了Postgres之外,还官方支持Hadoop文件分布式系统(HDFS),这就意味着绝不仅限于这些。

Matt Ocko是数据收集的负责人,也是Citus Data早期的投资者之一,他认为数据库从技术来来讲应该支持任何使用ODBC驱动的数据源,甚至能够直接从存储的数据中直接查询日志文件。事实上,Citus正在致力对MongoDB的支持——这种能力现在已经在测试版上了。Ocko强调了CitusDB像“网”一样的能力,它能够连接各种数据源,而不需要用户进行独立的查询,然后再手动地连接数据。他举了一个例子,使用CitusDB跨Postgres和Hadoop做join查询。

另外一点就是,CitusDB不仅具有良好的灵活性而且很快。Ocko说到CitusDB已经超越甲骨文Exadata machine上引以为豪的一个TPC-H基准测试(数据直接存储在硬盘上)。上文中提及的运行在亚马逊EC2云上的Postgres-Hadoop查询仅仅在几秒钟之内就完成了。

Citus的联合创始人Umur Cubukcu告诉Derrick,CitusDB之所以如此之快是因为它的架构:取代将数据在网络中传输,它将焦点聚集到数据位置的计算,并且在资源间具有强大的负载平衡能力。比如,需要一个很慢节点上储存的资源去完成完成一个任务,取代一味的等待它会去其它的节点上寻求相同的资源。

以Hadoop举例,MapReduce把计算带给了数据,但是每一个Job需要对整个数据集进行扫描。这就是早期的Hadoop上的SQL查询工具Hive现在仍然很慢的原因。曾经在Cloudera工作的Citus的软件工程师Carl Steinbach表示,CitusDB比Hive查询数据类型的速度快3到20倍。在一个典型的互动环境中,短查询的实际的速度可能还会更快。但是他同时指出,这些并不是Hive真正的设计目的所在。


然而,CitusDB真正的竞争对手是SQL-On-Hadoop的项目,产品还有很多初创公司。下个月“ Structure: Data”有一系列的话题为围绕于此展开,届时Aster Data,Platfora,Cloudera (Impala),Apache Drill,Drawn to Scale以及Hadapt都会展现各自的风采。

这些都是令人印象深刻的技术(至少在理论上,它们仍然处在发展阶段),Citus可能会不小心的忽视他们。但是除了可以查询多个数据源之外,Citus仍然还有自己独特的产品,这是其他的公司所不具备的。“当你在谈论一个企业级的数据库的时候”Steinbach表示,“那么谈论的内容绝对不仅仅是一个查询执行引擎。”(文/王鹏,审校/仲浩)

原文链接: CitusDB-today-SQL-on-Hadoop-tomorrow-the-world

苹果聘女黑客为系统安全员 曾让Vista推迟发布 移动游戏定价之谜:0.99美金行不通 9.99美金和19.99美金才是王道 2012末日年:《时代》评选年度十大App 使用HTML5 Web存储实现离线工作 紧跟亚马逊、谷歌步伐 微软下调Azure云服务价格 云计算一周热点回顾:Hadoop专家分享大数据技术工具与最佳实践 Python之父Guido Van Rossum离开谷歌 一月加盟Dropbox 图灵奖获得者Butler Lanpson:计算机在做些什么 华为高级技术经理Anoop Sam John:HBase的二级索引 秦令今:技术是竞争的核心,形成自己的特色! 兰旭:拒绝同质化,做自己的真材实料! Cloud Foundry直面PaaS对手 初具商用能力 IndieBros访谈:探寻《2+18+200万》背后的故事 移动周报:生存还是毁灭 HTML5未来路在何方? 开发者的新机遇:微软生态系统打开开源大门 阻碍创新:谷歌、Facebook请求驳回抽象专利概念 Apple专利战分析:战火不停 创新不止 史上最牛独立开发者:花20美元狂赚100万美元 Twitter VS. Instagram:照片分享大战爆发 第二届“龙芯杯”中国开源软件设计大赛圆满落幕 TUP Masters第六期实录:Jeffrey Richter讲解Win8应用开发与.NET4.5 [简讯]Bootstrap 2.2.2发布 官博宣布新特性 我们正处于API的黄金时代吗? 敏捷开发的26条至理名言 12月10日:1815年首位程序员Augusta Ada出生 TOP30+应用排行榜:十一月国内外综合榜单 抱大腿:Square礼品卡服务进驻Passbook 科技创新剑指开源产业 “龙芯杯”破题自主研发 25GPU的Linux集群6小时内破解标准Windows密码 Lady Gaga与大数据的“火花” 手势才是王道:3款应用捕获3个设计灵感 想到亚信去,请各位兄台给点建议!(有分!) 请问能不能用System.Drawing对象在一个页里里画多张图? 索引和自增字段 关于对话框? 求能人?或给思路 请问哪儿有Lotus Notes C API的教程?以及要进行编程必须进行哪些配置? 100分求助:怎麼判斷數據庫服務器存在與否? JUnit重复测试的问题 请问一个hyperlink简单问题 求助:datagrid中控件事件的使用问题? 在C中写文件的内容,在线等待!!! 装了linux后,我的win2000和linux的时间老是都不对了 如果结束会话 如何送分呀? 谁有这个文档的中文资料,谢谢,高分奉送!!! 急!!!请问系统恢复盘的问题! 自定义数据类型如何定义?(数组) dw疑问 请问一下,李维的哪几本书比较好,我有VC基础,想学学DELPHI,望各位给个建议谢谢! jbuild好用吗? 怎样将一个单值的String类型赋给char类型的变量? 哪位有实现(首页 上一页 下一页 末页)的例子? 对话框?求救? 高手看过来,超难问题,高分求解!!!!!分不够,再加~!!! 关于VB中DataGrid控件挂ADO的问题,我想程序中运行时,改变ADO的RecordSoure,并希望DataGrid显示时动态更新? 怎样读懂msdn中的英语 最近我们将用C语言开发一个接口快帮我哦~~~~~~~~~~ 关于socket.setSoTimeout()的问题,请进,请进…… 一个小问题帮我看看该怎样写!!! 百分询问一个问题,哪里有JBUILDER的电子图书下载? 拷贝内存时出现的问题! 拼音加加输入法是我用国的的最好的输入法,可是遇到了一点问题 我要支持MP3的JAVA JMF包文件(FOR POCKET PC),谁有阿???50分 为什么GETDATE()在自定义函数中不能使用 请问EXEC()语句是 执行完后返回? 未来在哪里?---献给大多数人 那里有使用Analysis Service进行数据挖掘方面的例子! 关于程序的输出 在数据窗口中RETRIEVE的参数是DATETIME型如何写这个参数//.. 输入法字体修改问题 我问一个简单的问题 关于SQL语句的简单问题 ???????????????????????????、、、 为什么在DBGRID中用INSERT命令输入记录后记录会追加到数据集的最后? 关于控件的问题! 我用ADSL上网,有一固定IP,我能在我的服务器上发布主页吗?????????? 请问在一个机器上是否可以同时装Delphi 5,和Delphi6,不会有什么问题吧? 如何做一个自动检测插件并安装的页面? 一个小问题?在线等。。。 SYSINT什么类型! RH 7.0下,打开一个文件如果是乱码的话,关闭以后,整个系统都是乱码了;除非是logout 100分求JBUILDER的电子图书下载地址学习用 温岭一名女子车祸死亡 或因台风吹偏方宁波两小伙凿洞偷窥楼下小情侣性生活并女子趁午睡猥亵4岁男童 将其下体亲红11岁女孩偷尝禁果 怀孕三个多月后流男子单手开车 飙171码高速上海合作组织大有作为—写在上海合作组日本将设“内阁情报局”强化情报收集能日中止Epsilon火箭发射或因数据剑桥大学放宽学士服规定:男可穿裙 女巴西8省份电力故障令其主办世界杯能力纽约女子拟用6万美元财产雇凶手杀夫被奥巴马政府解释动武理由 提叙政府化武斯诺登揭秘文件曝美情报部门追捕拉登预澳将就“死亡叛乱分子双手被砍”调查驻日本低收入家庭养家者中150万为非正山西6岁被挖眼男童伯母跳井自杀 原因瑞美就银行助客户逃税签署协议美国华人收藏家陈灿培向重庆捐赠抗战文鲁吉 夏尔马:印度为自满付出代价化武疑云持续笼罩叙利亚 各国加紧对叙加支持美国及盟友对叙“动武” 但尚无百余所高校学生在“金相技能大赛”中同季前赛-雷霆30分痛宰费内巴切 威少中行未来5年将向中山提供50亿金融支台湾“双十庆典”现场:会场金钗最受注儒家内核:理神论、自然法与保守主义侨领谈侨社建设:团结乡亲凝聚力量 融安徽警方破获一起非法制造爆炸物案昆明市委原书记高劲松被检方立案侦查全世界最好的工作:21岁旅行博主晒照美国将暂停训练叙利亚反对派计划俄总统普京访问索契师生 亲自指挥拍摄《中国梦》作者:美国领袖可到中央党校济南商户埋怨物业不作为拒交物业费 走江苏南通濠河景区被通报批评 南通市政中国买家拿下新西兰北岸90余公顷土地德州:隔墙有耳?家里钱财被惦记 邻居国库存款紧张影响项目进度 山东省财政南京大屠杀档案正式列入《世界记忆名录日本将加快导入最新防卫装备 意图推动鲨鱼出没:洛杉矶海滩现3米长鲨鱼 游大一女生站军姿 双腿夹扑克牌
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘