说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

初创公司Citus Data将CitusDB扩展到Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
初创公司CitusData进入高速发展的快车道。公司的旗舰产品就是分布式数据库系统CitusDB,它与全局式发布系统最大的不同就是可以在数据库任何一个节点上查找整个数据库信息,而不必老套的依靠数据中心点,大大地优化了查询数据的效率。

数据库初创公司Citus Data在本周二实现了Hadoop数据上的快速SQL查询,这并不算什么大事,因为它们还有更大的目标。Citus Data已超越Postgres将其高速、分析数据库CitusDB扩展到Hadoop上,接着可能扩张到MongoDB以及其它你已经想到的数据库产品。GigaOM的记者Derrick Harris认为,它是所有人都需要的唯一分析型数据库,它能够数据的查询,无论存储任何环境之中——关系型数据库、Hadoop、MongoDB、 Amazon S3或者还有其他的地方。

大数据已经打开了企业数据分析以及选择性数据存储的视野。那么这两项的结合往往意味着需要学习新的语言,使用多工具处理,而且在分析平台上还可能需要牺牲一部分性能。

Citus Data公司的旗舰产品就是CitusDB,它通常建立在PostgreSQL之上,第一代的目的就是为关系型数据设计像谷歌Dremel这种规模和速度的数据库。由于其中的一项功能“foreign data wrappers”,所以它能够在多种数据类型(像CSV, log以及JSON files,而且这些数据类型在原生的Postgres上是并不匹配的)上运行SQL。所以当CitusDB除了Postgres之外,还官方支持Hadoop文件分布式系统(HDFS),这就意味着绝不仅限于这些。

Matt Ocko是数据收集的负责人,也是Citus Data早期的投资者之一,他认为数据库从技术来来讲应该支持任何使用ODBC驱动的数据源,甚至能够直接从存储的数据中直接查询日志文件。事实上,Citus正在致力对MongoDB的支持——这种能力现在已经在测试版上了。Ocko强调了CitusDB像“网”一样的能力,它能够连接各种数据源,而不需要用户进行独立的查询,然后再手动地连接数据。他举了一个例子,使用CitusDB跨Postgres和Hadoop做join查询。

另外一点就是,CitusDB不仅具有良好的灵活性而且很快。Ocko说到CitusDB已经超越甲骨文Exadata machine上引以为豪的一个TPC-H基准测试(数据直接存储在硬盘上)。上文中提及的运行在亚马逊EC2云上的Postgres-Hadoop查询仅仅在几秒钟之内就完成了。

Citus的联合创始人Umur Cubukcu告诉Derrick,CitusDB之所以如此之快是因为它的架构:取代将数据在网络中传输,它将焦点聚集到数据位置的计算,并且在资源间具有强大的负载平衡能力。比如,需要一个很慢节点上储存的资源去完成完成一个任务,取代一味的等待它会去其它的节点上寻求相同的资源。

以Hadoop举例,MapReduce把计算带给了数据,但是每一个Job需要对整个数据集进行扫描。这就是早期的Hadoop上的SQL查询工具Hive现在仍然很慢的原因。曾经在Cloudera工作的Citus的软件工程师Carl Steinbach表示,CitusDB比Hive查询数据类型的速度快3到20倍。在一个典型的互动环境中,短查询的实际的速度可能还会更快。但是他同时指出,这些并不是Hive真正的设计目的所在。


然而,CitusDB真正的竞争对手是SQL-On-Hadoop的项目,产品还有很多初创公司。下个月“ Structure: Data”有一系列的话题为围绕于此展开,届时Aster Data,Platfora,Cloudera (Impala),Apache Drill,Drawn to Scale以及Hadapt都会展现各自的风采。

这些都是令人印象深刻的技术(至少在理论上,它们仍然处在发展阶段),Citus可能会不小心的忽视他们。但是除了可以查询多个数据源之外,Citus仍然还有自己独特的产品,这是其他的公司所不具备的。“当你在谈论一个企业级的数据库的时候”Steinbach表示,“那么谈论的内容绝对不仅仅是一个查询执行引擎。”(文/王鹏,审校/仲浩)

原文链接: CitusDB-today-SQL-on-Hadoop-tomorrow-the-world

游戏任玩!开源虚拟现实头戴式设备Open DoVision MDCC大会召开倒数10天 看Twitter、Facebook和国内“BAT”三大巨头最新动态 《近匠》Wijmo 5 CTO:从Web到移动,我的25年编程生涯 重复充电、防丢失!多功能智能行李箱Bluesmart 【设计经验传承】图标设计初阶要先型 “光年”光纤路由 支持千兆网络的家居中心 MDCC 2014移动开发技术与平台峰会:知名应用技术大牛传授实战经验 Unity生态圈将变?EA前总裁接替创始人任新CEO 第九届中国Linux内核开发者大会在京举办 《近匠》爱拍SDK:手游录像分享 爱拍才会赢 Mark走起!iOS开发最常用的第三方库 【CTO俱乐部读书会】《人件》译者肖然:软件工程是社会学 错过就要等一年 深圳微信开发者大会不容错过的十大理由 【干货】国外程序员整理的 C++ 资源大全 一周消息树:被投资人“送”入看守所,创业人汪洁有罪还是无罪? 聚焦五大主题 Atlassian Summit 2014精华PPT下载 2014中国移动开发者大调查第四期获奖名单曝光 【问底】许鹏:使用Spark+Cassandra打造高性能数据分析平台(一) 【特惠倒计时两天】参加深圳微信开发者大会赠书及全套讲师讲义 《英雄联盟》支撑最高750万同时在线用户的聊天服务打造 深圳云软技术副总黄榕振:招行信用卡微信公众号开发高级篇 来自未来的你,MDCC 2014新奇智能硬件揭秘 Twitter开源云环境时间序列数据断层检测工具BreakoutDetection 浅析Facebook软件架构:Tao和BLOB的实现原理 【图文实录】CTO俱乐部:走近Keen Team,走近智能设备Hack 2014聚合开发者大会(JDDC)在京召开 专访腾讯反病毒实验室:揭秘TAV引擎,哈勃分析系统两大利器 Cocos Studio v2.0 Beta0正式发布!多维升级,合三为一 环信即时通讯云获3000万融资 用于研发运维 苹果谷歌都无力?前员工开发跨设备无缝同步应用 带你看会带你飞!MDCC 2014移动开发者大会参会指南 请教大家一个问题: 请教大家一个问题: 本人给出配置表,请问路由器配置好之后,客户机网上邻居--》本地连接该怎么设置? 提问:页面如何顶边??? 难道嗳!!! 如何在几个窗体之间进行数据传递 请问:为什么编译无错,但生成。EXE文件时却有错,我是在卸载中文VC后安装英文版的 高手们,有一事不明! 郁闷~~ 调用VCDLL的参数传递问题 各位好心的大哥帮帮我,救救我~~~~~~我在线等待~~~~~~~~~ 六七十年代发生的几件很牛B的事情【转载】 求一存储过程写法 select ....union windows xp上oracle 816的数据库服务进程不能启动 image字段的处理? 今天我开始上班了 数据判断加分 关于注册用户问题 请教关于时间类型的问题 如何获取一个字符串中中文字符的个数?100分 如何用api获取cpu的processorId? 如何获取一个字符串中中文字符的个数?100分 神啊,救救我吧! 能把bcb6的程序转换成bcb5的吗? 如何获取服务器时间? 万分紧急,请大哥们帮小弟!!!!!!!!我在线等待高手相救 请教关于连接数据库的问题 如何把当前时间组合成一个字符串? 如何使SOAP客户端的web引用的url变成程序中设置(就是不写死了),又不需要重新编译客户端程序的! 我在运行某些程序的时候,为什么会出现office2000的安装进程,还要叫我放入off2000的安装盘??? 请问Oracle触发器里能执行Grant语句吗?? 关于DBGRID字段显示问题 连接时出现这样的提示,可能的问题在那里? 碰到一个几乎让我晕倒的问题!! 紧急提问:我的小型机死机了,怎么样关闭安全的关闭数据库,在重新启动小型机?在线... access有没有光盘路径的设置? 如何让DBGrid控件显示指定的数据 谁有photoshop7.0的注册码?在线等待,立即给分 如何在vfp中实现将表保存在硬盘上(用命令) 关于水晶报表的问题.很急.... 学unix下的c++编程看什么书好? 问个简单问题,在vb.net中无法新建web应用程序 求救.我做的一个网站,打开时会自动跳出一个别的网站.怎么办啊? 高分请教,在线等待,急 java发布时jdbc driver类找不到? vc中资源编辑器得问题:请教 一个堆栈的问题! 光盘路径的问题 我的编译好的程序,在没有bcb环境中不能运行, 如何响应表单中文本框的回车事件?(急急急!) 冤家路窄怎么样 冤家路窄道理吗 冤家路窄用数字解释应该是数字几 今年的 P24、25选择题、填空题P26选择题P27、28、30、32选择题、填空题封面是红色与白色,有一辆车,右下角写有:语文R数学ZH英语R科学ZH历史与社会R 电风扇转子原理,结构,为什么没有线圈? 英译汉Love the hurt of the bulk of the outcome still the case 单克隆抗体在感染性疾病诊断中的应用?能不能多给点这方面的资料 单克隆抗体可以用于单一疗法是什么意思 A.B两物体相距d=5m.A在B后面,A以5m/s的速度做匀速直线运动,而此时B以v0=10m/s的初速度做匀减速运动,加速度为a=2m/s^2.问A经过多少时间追上B 什么是夸夸其谈? 温州全省首推非现场记分交通违法网上处南京“礼让斑马线”行动满月 109人黑龙江非转基因大豆产业遇危机:加工一苏州一公交司机工作时猝死 安全停车2专家:房产税遗产税的推出应逐步探索小狗“旺财”被遗弃后痴等主人 从春天实拍!迪拜七星酒店上的高空原地转圈烧四川竹溪村十余年频现盗尸 24小时守欧盟成立20周年一体化频遭挑战 经济中国珠算进入2013年联合国人类非物日本最新型潜艇“黑龙”举行下水仪式全新角色加入 我的世界故事模式将登W乱斗西游2九灵元圣篝火视频详解一旦暴跌,美股可能比A股更惨手游全攻略《月光传奇》穿越无止境经纪人确认:丹特将会留在拜仁中华诗词学会第四次全国会员代表大会在上汽集团上半年净利润142亿元 同比官方:米兰正式宣布租借巴洛特利全民水浒手游角色详解 好梅展怎么用新战袍来袭!拜仁发布欧冠球衣手机买菜:姐不是人?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘