说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【云先锋】红象云腾:Hadoop将和高铁一样改变我们的生活

HTML文档下载 WORD文档下载 PDF文档下载
“高铁是动力分布式列车,每节车厢都有动力,这和Hadoop有神似之处。Hadoop也是每个节点有存储又有计算,提供充沛IO、CPU动力,我坚信Hadoop会像高铁改变我们生活一样改变数据的存储和处理方式”,童小军如是说。

红象云腾(RedHadoop)公司创始人童小军认为创业是一个从0到1的过程。每个创业者都只能靠自己去经历从0到1的转变,才有资格通过和别人合作完成1到100,即使失败我们还能回归到1从新出发。期望通过别人的1来完成的100往往多是空中楼阁。这个1有很多了,比如养活自己、独立的品牌产品等。

从2012年8月出来创业的时候他通过培训来养家,有大量时间来做自己想做的事情又能解决生存问题。坚持了一年左右积累客户和一定的品牌资源。“我比较幸运,很多客户都是我之前听过我的Hadoop课程,研发的产品和服务率先让客户应用。创业两年多,将创业比作下海,最关键的就是自己能养活自己”,红象云腾创始人童小军表示。


北京红象云腾系统技术有限公司创始人 童小军

据了解,红象云腾(RedHadoop)公司八月底发布了两个产品,基于Linux平台的RedHadoop Enterprise CRH3以及基于Windows平台的 RedHadoop CRH Studio。本文来自对该公司创始人童小军的采访实录。

CSDN:首先请你介绍一下自己、公司及技术团队?

童小军:大家好,我是童小军,我是红象云腾创始人,我们致力于将大数据(Hadoop、Spark、Storm等)分布式技术带入更多中国企业,开展有大数据相关的基础软件平台、应用、解决方案、大数据培训等业务。公司在业界有广泛的渠道和合作渠道,服务客户有石油、电力、银行、保险、互联网、游戏等拥有大数据的企业,客户主要分布于北京、上海、广州、深圳等地区。

目前公司团队有在IT行业工作超过十年以上的软件研发工程师、销售老兵,有图像处理算法背景的工程师、也有在知名发型版本软件公司负责Hadoop培训业务的讲师,还有一批朝气蓬勃的年轻小伙程序员,大量支持我们的兼职销售朋友,帮助我们带来各种市场机会。


RedHadoop的技术团队

CSDN:能否和大家分享一下你们最新产品的战略定位、技术架构以及用到的关键技术?

童小军:RedHadoop Enterprise CRH3:战略定位是一体化大数据平台,以此为基础软件平台层,我们持续开发应用层软件。Hadoop平台已经成为大数据分析的水和空气,重要且开源免费,红象云腾公司的战略是夯实底层软件产品的稳定性,重点在应用软件的开发,已开发了RedDisk 网盘、SeasBase非结构化数据库等应用软件。 最新的CRH3版本软件中整合了三个计算框架:MapReduce批处理框架、Spark 内存计算框架、Storm 流计算框架。囊获了主流计算模型,集成了Mahout、R引擎等数据挖掘组件,集成ETL,调度系统等管理系统。


CRH studio(windows版)RedHadoop CRH Studio 是一键部署Windows Hadoop 开发环境的软件包。 CRH Studio软件包集成了 Hadoop/Hive 等基础组件,通过Windows界面快速启动和配置。提供 HDFS 工具等方面用户导入数据,集成Eclipse plug-in 快速开发 MapReduce应用程序,现在我们已经实现了基于 Windows 平台的图像检索功能等应用软件(SeasBase 非结构化数据库),可以快速将视频运动目标提取并转化成可以检索的元素,比如运动物体大小,颜色等,集成基础的人脸识别功能,未来希望能集成图像识别能力,现在开放出基础软件,图像处理应用软件没有开放。视频计算的需求未来会越到越密集,新闻上经常出现的刑事案件,都需要通过大数据技术来快速 定位,缩短侦破案件排查,获得宝贵营救时间。


CSDN:刚才你提到CRH,这让我想到中国的高铁,这二者有什么联系?近几年来大数据云计算都很火,你们CRH3区别与同类产品,有哪些特点?你们目前只做大数据(Hadoop)吗?

童小军:是的,其实我们的CRH名称是ChinaRedHadoop的缩写,我经常做培训,讲述hadoop、HDFS、MapReduce等概念,很难深刻理解,想到了类比高铁的基本原理。传统铁路是集中动力火车头,高铁是动力分布式列车(Multiple Units,MU),每节车厢都有动力,是城市间纽带连接的重要交通工具。相比原来计算机的集中式架构(IOE),现在分布式处理架构Hadoop和动车原理有神似之处。Hadoop也是每个节点有存储又有计算,提供充沛动力和功能模块带动客户的大数据应用环境。而不是之前一个小型机拖一个存储机柜。我坚信Hadoop会像高铁改变我们生活一样改变数据的存储和处理方式。 


RedHadoop Enterprise CRH3主要有一下几个特点:

  1. 简易的安装过程。CRH3分布式集群的安装部署非常简单,我们提供全程化的安装部署界面,管理员或程序人员不需要修改任何hadoop配置文件,只需简单地前期准备工作即可。安装界面极大的简化了集群安装的复杂度,降低了误操作录的几率,提高了成功的百分比。
  2. 快速数据导入导出。Hadoop目前仍属于新技术架构,传统的数据处理模式向hadoop做迁移势必涉及数据迁移。RedHadoop Enterprise CRH3提供了快速的数据迁移功能,无论是从传统的数据库向hadoop平台迁移还是在hadoop平台向传统的关系型数据库迁移CRH3都能够以并行的方式快速的完成数据同步。
  3. 智能化集群监控平台。CRH3提供智能、专业的集群资源监控管理平台,这个平台将集群资源图形化,以简单易懂的形式将集群的总体状况展现给管理人员。
  4. 集成了更过更全面的计算框架。CRH3集成内存计算(spark)、流式计算(storm)等业界主流的计算框架。内存计算spark能够极大的提高部分业务的处理速度。CRH3同时集成了sparkR,这意味着R语言程序也可以运行在CRH3的spark上。

另外,云计算作为基础架构已经广泛应用,比如阿里巴巴的ODPS,腾讯云平台,百度最新工具(Query Engine)等。红象云(RedCloud)也在开发中,通过集成OpenStack+Hadoop平台对外提供快速构建Hadoop的基础服务,很快会和大家见面。

CSDN:您是怎样看待开源Hadoop与商业版Hadoop的?你们的RedHadoop Enterprise CRH3 会考虑开源吗?

童小军:我认为既然选择了做如Hadoop这样的开源软件,就得抱着回馈开源的思想去研发。而且不能急于求成,我们开发的组件和更新也会回馈到Apache社区,从开源中来,融化到开源中去。只有这样,产品和团队才能焕发活力。现在我们人力有限,开源贡献较少。长远角度看,做基础软件就像基础科学,很多时候我们是传道者,贡献一点算一点吧。

其次Hadoop已经是大数据的基本标准,通过开源就像大数据生存的水和空气一样重要、免费。Hadoop和大数据事业驱动力首先是兴趣和热爱,Hadoop大数据生意的本质是服务。水是免费的,依然有矿泉水,桶装水的需求。Hadoop大数据基础平台之上的应用软件层,就像手机(Android)操作系统那样还有很大的扩展空间,本质是开源和免费的,通过增值产品和服务实现公司盈利。

就目前来讲很难以公司有限的人力去开发太多基础产品,所以在基础软件部分我们更多的是保证基础软件的稳定和易用。我们开放有 RedHadoop Windows这个产品线。 同时我们提供基于RedHadoop的培训和认证服务。

CSDN:能和我们分享一下你们的一体化软硬件产品吗?可不可以给我们具体介绍一下它的CPU计算能力、内存资源以及存储能力?

童小军:基于经验、结合几家互联网公司部署节点,红象云腾配置设计了RedHadoop BigData Cluster一体机产品,提供一整套软硬件一体机环境。默认三个数据节点,提供3*12个核心CPU计算能力,64*3G内存资源,108TB的存储能力,通过高速网络连接,系统同时还提供Linux操作系 统,RedHadoop Enterprise CRH3软件,并导入上千万图片和一亿多非结构化网页数据。软硬件一体化的设计,让用户购买开箱即用的效果。不断优化效果方便用户从 Oracle,SQLserver等系统导出数据到RedHadoop CRH3中。

CSDN:产品目前的应用场景有哪些,有无一些重量级的客户?

童小军:我们主要客户主要需求特征是:

以为大数据生产环境典型需求:

海量:数据量在TB到PB级别用户,用户群体都过亿、历史数据约万亿条,各省、各功能系统的历史二级数据存储结构,有海量数据集中、统一运营的需求。—这正是Hadoop大数据体系平台的强项,可以海量、高速、分布式、并行、廉价硬件集群的处理海量数据集中地问题。
高速:平均每小时产生百亿级数据,需要在分钟级别同步,数据在10分钟内要求可处理、可显示、可统计等。加上各种流程采集设备 和实时的采集时间,都要求具备高速的收集加载数据、高速存储、高速处理的需求。—– Hadoop的mapreduce+Spark+Storm等计算框架,能够把海量任务并行、分性质的加载、处理、再合并,可以用低廉的PC服务器集群架构,满足高速批量和流处理的需求。
高效:面对终端用户迅速变化、复杂的需求,要求企业必须提供高质量的BI平台、数据仓库系统、统一管理的系统日志、云平台 等可以二次开发的各种复杂平台。—–Hadoop大数据体系平台提供了高级数据采集、数据清洗ETL、数据分析,最终是要产生智能化数据,提供洞见,更好 的满足用户的需求。这是大数据处理平台能迅猛发展的原因所在。

现在主要客户的需求各异,一般都需要结合Hadoop给各行各业去做对应的定制开发,现在需求第一梯队来自电信行业,第二梯队来自金融 电力等行业。我们总结了各行各业的案例场景,可以到我们官方网站查阅。

CSDN:你们的稳定性怎么样?目前客户关心最多的问题是什么?有什么针对的解决措施?

童小军:现在客户最关心的还是稳定性问题,Hadoop系统承载了存储和计算等核心职能,好比一个软件系统的核心发动机。因为Hadoop系统组件繁多,安装配置和维护都有一定难度,开源组件彼此有一定兼容性问题,同时服务有彼此依赖关系,往往一个底层问题爆发出来会影响整个系统,对应维护管理需要简化工作。

我们开发的CRH3产品通过一体化软件包的方式解决组件安装配置等问题。通过自建集群做大规模的软件压力全自动化测试。在运维管理方面提供完整的监控管理界面。

通过CRH3 Studio 来简化在Windows平台上的Hadoop部署安装难度。未来基于Windows平台 CRH3 Server 版本会简化Windows平台上的Hadoop配置,集群管理等问题。

CSDN:打造这款产品一定遇到不少的挑战吧,你们如何处理和解决?

童小军:Hadoop基础软件产品的开发过程中需要大量基础测试,如何能模拟几百个节点并长期运行是一个难题,我们已经在公司内网搭建了一个生产环境,并导入10TB级别数据进行分析和处理,通过运行大量基础测试测试软件问题。

同时客户环境和需求根据不同行业特性会有较大差异。需要我们长期深入各行业内部去深度定制。

CSDN能否总结一下创业的一些体会?相应RedHadoop产品的未来有什么规划?

童小军:创业是一个从0到1的过程。每个创业者都只能靠自己去经历从0到1的转变,才有资格通过和别人合作完成1到100,即使失败我们还能回归到1从新出发。期望通过别人的1来完成的100往往多是空中楼阁。这个1有很多了,比如自己造血、独立的品牌产品等。

Hadoop可以分成基础软件、应用软件、服务租用、培训服务等服务模式。在我看来Hadoop生态圈还是缺乏重量级应用程序,如何能将各行各业的应用迁移到Hadoop中,丰富整个大数据的处理和分析应用能力会是我们下一步的重点。

Cloud Edge:中国“云先锋”系列报道
序号 公司名称 成立时间 CEO/CTO 官方微博 公司产品/方向
1. 云适配 2012年 陈本峰
网站适配
2. 友友 2010年 
姚宏宇
@友友微博 C、C++、Java产品研发 
3. 聚合数据
2010年
左磊 
@聚合数据管 移动数据服务
4. Anchora 2009年 鲁为民       

MoPaaS和InPaaS 
5. 够快 2012年
蒋烁淼 @够快科技 
云存储
6. 文思海辉
2012年 吴凯
@文思海辉 OpenStack公有云       
7. 搜狐云 2011年 邱英波
SendCloud                  
8. 联想云存储 2009年 罗予晋
云存储
9. 南京讯之智 2012年 谢晚霞
大数据实时分析
10. 上海圣何赛 2012年 
金剑 

云管理、云存储                
11. 国云科技 
2010年
季统凯
@国云科技 云操作系统                
12. SSO365 2012年 赵健                

云安全、云身份认证 
13. ClouDil云方案 2001年
叶滨 @世纪鼎利 
通信运营商                
14. 多备份 
2013年 胡茂华            
@木浪 云备份                 
15. 上海越诚软件 2011年 王炜                  
基于云的建站软件超市 
16. 云智慧 2009年 殷晋 @监控宝 云监控、基于大数据APM
17. 深圳泽云 2012年 何巨彬
高性能存储系统
18. 深圳智冠 2004年 卢慧莉  
手静脉生物识别、虚拟化
19. 北京沃安科技 2009年 曹学武 @沃安科技 移动视频技术提供商
20. 星环信息科技 2013年 孙元浩 @星环科技 大数据分析平台
21. 红象云腾
2012年 童小军 @RedHadoop中国
基于Hadoop的大数据平台
备注:2014年9月10日更新,持续更新中......


备注:云先锋系列文章是由CSDN云计算频道打造的,主要报道国内外在云计算、大数据方面具有独特竞争优势的企业,以传播技术为目的,推动中国云计算技术的发展,只有你有云计算或大数据方面独特的技术、产品和服务,你就可以投稿,欢迎投稿weiwei@csdn.net。

MDCC之移动娱乐游戏峰会:百家手游齐逐金玩奖 专访Mozilla宫力:基于Web是Firefox OS最大的资本 如何设计一款Java框架? AngularJS优化最佳实践:从1200ms缩减到35ms Linus Torvalds宣布Linux kernel3.12正式发布! 硅谷的技术文化——渴求独处! MDCC为移动开发者服务:一看、一聊、一聚 做华为合伙人:华为开发者联盟沙龙&#183;北京站纪实 Q3全球智能手机报告:Android和iOS基本不变 WP最得意 Google Apps不再支持IE9 IE9用户或将无法使用Gmail等服务 [开源推荐]CecOS:企业级的云操作系统和虚拟化平台 Avangate SaaS模式开启全球软件新营销之门 Android平台的两大移动威胁现状与变化趋势 推荐五款优秀的PHP代码重构工具 11个值得注意的安全问题及应对,第12个高端黑 微软新举措:打通Windows和WP开发者账户,下调注册费用 合并两应用商店的前兆?微软开始合并Windows Store和WP开发者账户 最难忘的Bug调试经历 LiveCode:让每个人都能开发APP的开发平台 17173总经理赵佳:媒体移动化需抓住三大要素 Django 1.6发布 支持持久数据库链接 如何优化单页面网站搜索引擎? TechCrunch国际创新峰会将于上海举行 极路由:一场由路由器引发的概念盛宴 14nm制程:三星64bit处理器 Exynos 6/S曝光 从Oracle到MySQL,余额宝云实践分享 从南水北调东线工程看物联网,大数据的另一面 不只是技术!成为IT经理必备的十大软技能 看看传说5亿行代码的Healthcare.gov网站的架构 如何走出选择PHP还是ASP.NET的两难境地? 你的设计够档次吗?分享25个奇异的404页面 怎样调用 其它窗体的内的对象的属性?? JSP的应用经验 工具条的问题,求解 我喜欢西瓜小姐 我公司现有固定电话收发电子邮件系统,可收附件,将WORD,HTML文档转换为TXT文本 关于内码问题 远程控制 关于JDBC2.0的问题(50分!!!!) 哪位有高招? 升级BIOS和升级主板? 急!急!急!急!窗口不能关闭. 哥哥姐姐们请帮忙???(急需linux环境下用php+mysql如何实现搜索引擎) 大家赞不赞成开一个Palm技术区?赞成的跟贴,满50个就开。 定义 Dim reader As System.Data.SqlClient.SqlDataReader lvlvlvlylyly请看,你的贴子我加不上了,还查一段程序加在这里了 如何传送monthview1中用户选择的日期到其他窗体里 你该怎么做呢 国内什么样的网站托管好?还是选择国外的? 女网友一定要小心 mschart控件问题 赶快来尝试一下吧! 如何在 View 类中编写press any key to continue功能模块 Vc++下应用Matlab数学函数库出错 如何用VB实现自动登录? 赶快来尝试一下吧! ado的问题! 如何传递带“%”的参数? 有全套的ERP源代码为你提供,助你在开发过程中更上一层楼 字符串str=" aaa ",如何变为"aaa" 怎么没有人理俺泥?? 关于dw的问题 如何读入数据库中的HTML格式的正文呢? 一个在阅读<<深入浅出MFC>>中遇到的问题 !!!!急 新手,说找不到mfc42d.dll文件 怎么没有人理俺泥?? 关于dw的问题 FAST.lib 2000 for windows是个什么东东 请问各位一个非常简单的问题 jdk和jvm 笨蛋 大家有什么建议吗? ASP.net如何刷新另一个页面 有一年delphi工作经验的程序员在全国各地的待遇如何?哪个城市有发展前途(钱途)? 100分求解!!!这个问题大家都来看,来者有分!!! 告诉我几个地方,给你几十分,简单吧 :-) 有没有关于VPN的书籍 Interbase源码分析 西瓜是Plmm哎~! 一个字符串替换的小问题。。。 还有一个问题需要问大家。。。特别急。。。 我变成了大家的一员 哪儿有在jbuilder中让三键鼠标可以使用滚动功能的驱程? 我想把ODBC的所有数据源列出来显示,不知道用哪个函数,谁能告诉,多谢了!来就有分 鱼塘亚硝酸盐高怎么办 将等物质的量的Na,Na2O,Na2O2投入大量且相等的水中,所得溶液的质量分数分别为a,b,c(忽略溶液体积变化),其关系是 二氧化碳与氢氧化钙溶液反应生成碳酸钙和水,不用配平. 如何用甲醛法制备三氯甲烷 钠的氧化物有Na2O2和Na2O两种这两种化合物组成混合物,钠与氧的质量比为23:12求Na2O2和Na2O的物质的量之 CO2通入氢氧化钙溶液中,是水和氢氧化钙同时与二氧化碳反应吗? 家庭怎么制三氯甲烷和如何检验? 物质量均为nmolNa,Na2O,Na2O2,同时加入nL水中完全反应后测溶液密度为ag/cm3则所测得溶液的物质的量浓度为? 醋酸氟轻松冰片乳膏的副作用 氯仿如何制甲酸最好有化学反应式 1,在基因型前面加的分数是什么意思?(例如1/3 AaBb )2,分枝法怎么推测子代性状分离比?子一代自交.3,推测基因型和表现型有没有什么诀窍,请举例.加扣扣, 醋酸氟轻松冰片软膏可以使宝宝皮肤白吗 河水中,亚硝酸盐跟氨氮的关系? 下列物质中不能与二氧化碳反应的是 A氧气 B水 C木炭 D氢氧化钙 那么C呢~ 为什么氯化钙的熔点比氯化镁高按影响晶格能的因素,镁离子半径比钙离子小,电荷相同,氯化镁的熔点应该比氯化钙高,查阅数据可知,氯化钙的熔点比氯化镁高,这是为什么? 怎么测污水中的氨氮和亚硝酸盐?有仪器氨氮比色计亚硝酸盐比色计,这个直接测出吸光度是吗?怎么在测出浓度 质遗传的杂交实验,F1的表现型总是和母本一样这句话错在哪 温室下,在氢氧化钙的饱和溶液中加入下列物质,冷却至温室,溶液的PH没有改变的是A,CO2 B ,CaO C ,NaOH D,HCl 冰片怎么溶化 怎样学习我很难理解概念,总觉得很模糊.每个知识点很难联系在一起.我对遗传学比较有兴趣,但是感觉很难.我花了很多时间去了解、记忆, 氢氧化钙溶液中通入或加入下列物质,不能使溶液的PH显著降低的是A、硫酸 B、氯化铜 C、氯化钡 D、二氧化碳 怎样快速去除养殖水体的氨氮,亚硝酸盐? 生物遗传现象简介 在氢氧化钙饱和溶液中加入什么不影响PH值A、通入二氧化碳B、加入大量水C、加入盐酸D、加入石灰石 亚硝酸盐,氨氮都是正常,为什么PH值会过高呢?HP值在9.2虾放里水里面后3-4个小时就全部都死光了,请问这个问题怎么决解,是什么原因呢? Aa与Aa自交生出AA:Aa:aa=1:2:1为什么有时算Aa的概率=2/3为什么有时候概率是1/2什么时候分母4为什么时候分母为3哈 向氢氧化钙的饱和溶液中加入下列物质,不可能使溶液的ph有明显变化的是 A通入CO2 B加入稀H2SO4 C加入氧化钙 D加入Na2CO3溶液 是不是是OH-的浓度决定酸碱度,而不是OH-的数量 氯化钠是熔点是多少?为什么 血液和尿液中同时含有蛋白质是什么原因 氢氧化钙溶液中加入下列哪种物质不能使ph值显著降低?单选 A.硫酸B.氯化铜C.氯化钡D.二氧化碳请说明理由 补分的 我的海水缸no2 no3都偏高,怎么办? 为什么第一题第一个空不是AA呢\?第二题为什么没有AABb?还有,计算怎么算?AA aa AaBb AaBB 20/27 怎样把重铬酸钾中的六价铬还原成三价铬 为什么鱼塘里的水亚硝酸盐的量越来越高如何降底? 海水中的亚硝酸盐含量受温度影响大吗?家里有养殖海参的,在温室里,温度有十八度左右.本来海水亚硝酸盐含量符合标准(海水温度5度左右),可放到温室池子里浓度就超标了,懂化学和水产的 关于基因遗传某女性患红绿色盲,她的下列亲人中肯定携带色盲基因的是A 祖父 B 外祖父 C 外祖母 D 祖母求详解 ETFE塑料介绍? 降低氯化钠熔点怎么降低?还有,电解时生成钠,但钠很活泼,能与空气反应,那在电解时应注意什么,才不会让刚生成的钠又与空气反应? 如果父母双方都有某病,那么无论孩子男女都会患比病,如果父母双方有一个人有此病,那么生出的女孩百分百患病,男孩百分之五十患病,我想问一下这种病是什么遗传病?好久没做过生物遗传题 鱼塘水亚硝酸盐超标,该怎么办?鱼塘亚硝酸盐超标,怎么把亚硝酸盐的含量降下来?换水除外,我主要是问泼洒什么药物? 遗传变异对生物本身的意义是什么?A .能培育出新的品种B.能保持前后代染色体数目恒定C.能把性状传给后代D.既能保持种族的延续,又能使后代适应变化了的环境 1.假定某三体植株自交时,n+1的胚囊全部参与受精,而参与受精的花粉中,n+1的花粉只有10%。那么,该三体植株自交子代群体中,四体、三体和正常二倍体个体数分别是?5%、50%、45%)请问为 氯仿是什么哦?分子式以及它的空间结构 生物遗传特性和变异特性的意义是什么? 【急求解】一道高中生物题,遗传方面的一株纯黄玉米(YY)与一株纯白玉米(yy)相互传粉,两株植株结出的种子的胚和胚乳的基因情况是:A、胚细胞相同、胚乳细胞不同B、胚细胞和胚乳细胞都 冰片则么融化在中药里?有没有不用酒精那些的 因为当时医生只说了在煎好中药之后放进去 生物遗传与变异的意义, 打针时进了空气会不会死?不进血管也会死吗?多久会死? 鱼池水亚硝酸高怎么办? 请问蒸发器的作用是什么? 人的身体进多少空气会死 如何融解冰片 谈谈遗传的生物学意义. 为什么将空气注入静脉会导致人体死亡呢? 鱼塘的亚硝酸盐高怎样才能降低? 冰箱里蒸发器的作用是什么请简明扼要 什么叫往身体注射空气? 怎样把冰片溶解到白凡士林中? x克Na2O和y克的Na2O2分别加入等质量的水中(水足量),结果得到等质量的溶液,则x和y的关系.比大小x克Na2O和y克的Na2O2分别加入等质量的水中(水足量),结果得到等质量分数的溶液,则x和y的关系 为什么打针时要是针管里有空气,住入人体里人就会死呢?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘