说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【云先锋】红象云腾:Hadoop将和高铁一样改变我们的生活

HTML文档下载 WORD文档下载 PDF文档下载
“高铁是动力分布式列车,每节车厢都有动力,这和Hadoop有神似之处。Hadoop也是每个节点有存储又有计算,提供充沛IO、CPU动力,我坚信Hadoop会像高铁改变我们生活一样改变数据的存储和处理方式”,童小军如是说。

红象云腾(RedHadoop)公司创始人童小军认为创业是一个从0到1的过程。每个创业者都只能靠自己去经历从0到1的转变,才有资格通过和别人合作完成1到100,即使失败我们还能回归到1从新出发。期望通过别人的1来完成的100往往多是空中楼阁。这个1有很多了,比如养活自己、独立的品牌产品等。

从2012年8月出来创业的时候他通过培训来养家,有大量时间来做自己想做的事情又能解决生存问题。坚持了一年左右积累客户和一定的品牌资源。“我比较幸运,很多客户都是我之前听过我的Hadoop课程,研发的产品和服务率先让客户应用。创业两年多,将创业比作下海,最关键的就是自己能养活自己”,红象云腾创始人童小军表示。


北京红象云腾系统技术有限公司创始人 童小军

据了解,红象云腾(RedHadoop)公司八月底发布了两个产品,基于Linux平台的RedHadoop Enterprise CRH3以及基于Windows平台的 RedHadoop CRH Studio。本文来自对该公司创始人童小军的采访实录。

CSDN:首先请你介绍一下自己、公司及技术团队?

童小军:大家好,我是童小军,我是红象云腾创始人,我们致力于将大数据(Hadoop、Spark、Storm等)分布式技术带入更多中国企业,开展有大数据相关的基础软件平台、应用、解决方案、大数据培训等业务。公司在业界有广泛的渠道和合作渠道,服务客户有石油、电力、银行、保险、互联网、游戏等拥有大数据的企业,客户主要分布于北京、上海、广州、深圳等地区。

目前公司团队有在IT行业工作超过十年以上的软件研发工程师、销售老兵,有图像处理算法背景的工程师、也有在知名发型版本软件公司负责Hadoop培训业务的讲师,还有一批朝气蓬勃的年轻小伙程序员,大量支持我们的兼职销售朋友,帮助我们带来各种市场机会。


RedHadoop的技术团队

CSDN:能否和大家分享一下你们最新产品的战略定位、技术架构以及用到的关键技术?

童小军:RedHadoop Enterprise CRH3:战略定位是一体化大数据平台,以此为基础软件平台层,我们持续开发应用层软件。Hadoop平台已经成为大数据分析的水和空气,重要且开源免费,红象云腾公司的战略是夯实底层软件产品的稳定性,重点在应用软件的开发,已开发了RedDisk 网盘、SeasBase非结构化数据库等应用软件。 最新的CRH3版本软件中整合了三个计算框架:MapReduce批处理框架、Spark 内存计算框架、Storm 流计算框架。囊获了主流计算模型,集成了Mahout、R引擎等数据挖掘组件,集成ETL,调度系统等管理系统。


CRH studio(windows版)RedHadoop CRH Studio 是一键部署Windows Hadoop 开发环境的软件包。 CRH Studio软件包集成了 Hadoop/Hive 等基础组件,通过Windows界面快速启动和配置。提供 HDFS 工具等方面用户导入数据,集成Eclipse plug-in 快速开发 MapReduce应用程序,现在我们已经实现了基于 Windows 平台的图像检索功能等应用软件(SeasBase 非结构化数据库),可以快速将视频运动目标提取并转化成可以检索的元素,比如运动物体大小,颜色等,集成基础的人脸识别功能,未来希望能集成图像识别能力,现在开放出基础软件,图像处理应用软件没有开放。视频计算的需求未来会越到越密集,新闻上经常出现的刑事案件,都需要通过大数据技术来快速 定位,缩短侦破案件排查,获得宝贵营救时间。


CSDN:刚才你提到CRH,这让我想到中国的高铁,这二者有什么联系?近几年来大数据云计算都很火,你们CRH3区别与同类产品,有哪些特点?你们目前只做大数据(Hadoop)吗?

童小军:是的,其实我们的CRH名称是ChinaRedHadoop的缩写,我经常做培训,讲述hadoop、HDFS、MapReduce等概念,很难深刻理解,想到了类比高铁的基本原理。传统铁路是集中动力火车头,高铁是动力分布式列车(Multiple Units,MU),每节车厢都有动力,是城市间纽带连接的重要交通工具。相比原来计算机的集中式架构(IOE),现在分布式处理架构Hadoop和动车原理有神似之处。Hadoop也是每个节点有存储又有计算,提供充沛动力和功能模块带动客户的大数据应用环境。而不是之前一个小型机拖一个存储机柜。我坚信Hadoop会像高铁改变我们生活一样改变数据的存储和处理方式。 


RedHadoop Enterprise CRH3主要有一下几个特点:

  1. 简易的安装过程。CRH3分布式集群的安装部署非常简单,我们提供全程化的安装部署界面,管理员或程序人员不需要修改任何hadoop配置文件,只需简单地前期准备工作即可。安装界面极大的简化了集群安装的复杂度,降低了误操作录的几率,提高了成功的百分比。
  2. 快速数据导入导出。Hadoop目前仍属于新技术架构,传统的数据处理模式向hadoop做迁移势必涉及数据迁移。RedHadoop Enterprise CRH3提供了快速的数据迁移功能,无论是从传统的数据库向hadoop平台迁移还是在hadoop平台向传统的关系型数据库迁移CRH3都能够以并行的方式快速的完成数据同步。
  3. 智能化集群监控平台。CRH3提供智能、专业的集群资源监控管理平台,这个平台将集群资源图形化,以简单易懂的形式将集群的总体状况展现给管理人员。
  4. 集成了更过更全面的计算框架。CRH3集成内存计算(spark)、流式计算(storm)等业界主流的计算框架。内存计算spark能够极大的提高部分业务的处理速度。CRH3同时集成了sparkR,这意味着R语言程序也可以运行在CRH3的spark上。

另外,云计算作为基础架构已经广泛应用,比如阿里巴巴的ODPS,腾讯云平台,百度最新工具(Query Engine)等。红象云(RedCloud)也在开发中,通过集成OpenStack+Hadoop平台对外提供快速构建Hadoop的基础服务,很快会和大家见面。

CSDN:您是怎样看待开源Hadoop与商业版Hadoop的?你们的RedHadoop Enterprise CRH3 会考虑开源吗?

童小军:我认为既然选择了做如Hadoop这样的开源软件,就得抱着回馈开源的思想去研发。而且不能急于求成,我们开发的组件和更新也会回馈到Apache社区,从开源中来,融化到开源中去。只有这样,产品和团队才能焕发活力。现在我们人力有限,开源贡献较少。长远角度看,做基础软件就像基础科学,很多时候我们是传道者,贡献一点算一点吧。

其次Hadoop已经是大数据的基本标准,通过开源就像大数据生存的水和空气一样重要、免费。Hadoop和大数据事业驱动力首先是兴趣和热爱,Hadoop大数据生意的本质是服务。水是免费的,依然有矿泉水,桶装水的需求。Hadoop大数据基础平台之上的应用软件层,就像手机(Android)操作系统那样还有很大的扩展空间,本质是开源和免费的,通过增值产品和服务实现公司盈利。

就目前来讲很难以公司有限的人力去开发太多基础产品,所以在基础软件部分我们更多的是保证基础软件的稳定和易用。我们开放有 RedHadoop Windows这个产品线。 同时我们提供基于RedHadoop的培训和认证服务。

CSDN:能和我们分享一下你们的一体化软硬件产品吗?可不可以给我们具体介绍一下它的CPU计算能力、内存资源以及存储能力?

童小军:基于经验、结合几家互联网公司部署节点,红象云腾配置设计了RedHadoop BigData Cluster一体机产品,提供一整套软硬件一体机环境。默认三个数据节点,提供3*12个核心CPU计算能力,64*3G内存资源,108TB的存储能力,通过高速网络连接,系统同时还提供Linux操作系 统,RedHadoop Enterprise CRH3软件,并导入上千万图片和一亿多非结构化网页数据。软硬件一体化的设计,让用户购买开箱即用的效果。不断优化效果方便用户从 Oracle,SQLserver等系统导出数据到RedHadoop CRH3中。

CSDN:产品目前的应用场景有哪些,有无一些重量级的客户?

童小军:我们主要客户主要需求特征是:

以为大数据生产环境典型需求:

海量:数据量在TB到PB级别用户,用户群体都过亿、历史数据约万亿条,各省、各功能系统的历史二级数据存储结构,有海量数据集中、统一运营的需求。—这正是Hadoop大数据体系平台的强项,可以海量、高速、分布式、并行、廉价硬件集群的处理海量数据集中地问题。
高速:平均每小时产生百亿级数据,需要在分钟级别同步,数据在10分钟内要求可处理、可显示、可统计等。加上各种流程采集设备 和实时的采集时间,都要求具备高速的收集加载数据、高速存储、高速处理的需求。—– Hadoop的mapreduce+Spark+Storm等计算框架,能够把海量任务并行、分性质的加载、处理、再合并,可以用低廉的PC服务器集群架构,满足高速批量和流处理的需求。
高效:面对终端用户迅速变化、复杂的需求,要求企业必须提供高质量的BI平台、数据仓库系统、统一管理的系统日志、云平台 等可以二次开发的各种复杂平台。—–Hadoop大数据体系平台提供了高级数据采集、数据清洗ETL、数据分析,最终是要产生智能化数据,提供洞见,更好 的满足用户的需求。这是大数据处理平台能迅猛发展的原因所在。

现在主要客户的需求各异,一般都需要结合Hadoop给各行各业去做对应的定制开发,现在需求第一梯队来自电信行业,第二梯队来自金融 电力等行业。我们总结了各行各业的案例场景,可以到我们官方网站查阅。

CSDN:你们的稳定性怎么样?目前客户关心最多的问题是什么?有什么针对的解决措施?

童小军:现在客户最关心的还是稳定性问题,Hadoop系统承载了存储和计算等核心职能,好比一个软件系统的核心发动机。因为Hadoop系统组件繁多,安装配置和维护都有一定难度,开源组件彼此有一定兼容性问题,同时服务有彼此依赖关系,往往一个底层问题爆发出来会影响整个系统,对应维护管理需要简化工作。

我们开发的CRH3产品通过一体化软件包的方式解决组件安装配置等问题。通过自建集群做大规模的软件压力全自动化测试。在运维管理方面提供完整的监控管理界面。

通过CRH3 Studio 来简化在Windows平台上的Hadoop部署安装难度。未来基于Windows平台 CRH3 Server 版本会简化Windows平台上的Hadoop配置,集群管理等问题。

CSDN:打造这款产品一定遇到不少的挑战吧,你们如何处理和解决?

童小军:Hadoop基础软件产品的开发过程中需要大量基础测试,如何能模拟几百个节点并长期运行是一个难题,我们已经在公司内网搭建了一个生产环境,并导入10TB级别数据进行分析和处理,通过运行大量基础测试测试软件问题。

同时客户环境和需求根据不同行业特性会有较大差异。需要我们长期深入各行业内部去深度定制。

CSDN能否总结一下创业的一些体会?相应RedHadoop产品的未来有什么规划?

童小军:创业是一个从0到1的过程。每个创业者都只能靠自己去经历从0到1的转变,才有资格通过和别人合作完成1到100,即使失败我们还能回归到1从新出发。期望通过别人的1来完成的100往往多是空中楼阁。这个1有很多了,比如自己造血、独立的品牌产品等。

Hadoop可以分成基础软件、应用软件、服务租用、培训服务等服务模式。在我看来Hadoop生态圈还是缺乏重量级应用程序,如何能将各行各业的应用迁移到Hadoop中,丰富整个大数据的处理和分析应用能力会是我们下一步的重点。

Cloud Edge:中国“云先锋”系列报道
序号 公司名称 成立时间 CEO/CTO 官方微博 公司产品/方向
1. 云适配 2012年 陈本峰
网站适配
2. 友友 2010年 
姚宏宇
@友友微博 C、C++、Java产品研发 
3. 聚合数据
2010年
左磊 
@聚合数据管 移动数据服务
4. Anchora 2009年 鲁为民       

MoPaaS和InPaaS 
5. 够快 2012年
蒋烁淼 @够快科技 
云存储
6. 文思海辉
2012年 吴凯
@文思海辉 OpenStack公有云       
7. 搜狐云 2011年 邱英波
SendCloud                  
8. 联想云存储 2009年 罗予晋
云存储
9. 南京讯之智 2012年 谢晚霞
大数据实时分析
10. 上海圣何赛 2012年 
金剑 

云管理、云存储                
11. 国云科技 
2010年
季统凯
@国云科技 云操作系统                
12. SSO365 2012年 赵健                

云安全、云身份认证 
13. ClouDil云方案 2001年
叶滨 @世纪鼎利 
通信运营商                
14. 多备份 
2013年 胡茂华            
@木浪 云备份                 
15. 上海越诚软件 2011年 王炜                  
基于云的建站软件超市 
16. 云智慧 2009年 殷晋 @监控宝 云监控、基于大数据APM
17. 深圳泽云 2012年 何巨彬
高性能存储系统
18. 深圳智冠 2004年 卢慧莉  
手静脉生物识别、虚拟化
19. 北京沃安科技 2009年 曹学武 @沃安科技 移动视频技术提供商
20. 星环信息科技 2013年 孙元浩 @星环科技 大数据分析平台
21. 红象云腾
2012年 童小军 @RedHadoop中国
基于Hadoop的大数据平台
备注:2014年9月10日更新,持续更新中......


备注:云先锋系列文章是由CSDN云计算频道打造的,主要报道国内外在云计算、大数据方面具有独特竞争优势的企业,以传播技术为目的,推动中国云计算技术的发展,只有你有云计算或大数据方面独特的技术、产品和服务,你就可以投稿,欢迎投稿weiwei@csdn.net。

美团悄然上线云主机服务:与亚马逊殊途同归,还是另有谋划? 微软发布deep-tech团队招募令,期望获得下一代开发者的支持 2013谷歌I/O开发者大会:发布多个软件产品和服务 C语言实现二分法求解方程 开发测试云与虚拟化解决方案 学苹果?微软淘汰Points支付系统改用Gift cards 甲骨文改变Java版本号命名方式 [CTO俱乐部第97期]中科院、腾讯、深圳明源研发团队管理经验分享 Android Studio来了,它能取代Eclipse吗? Google Play Game不够开放,被OpenKit炮轰 Google Play Game Service详解 不仅提供API更提供后端支持 IBM Power走向Linux,是必然的! 美国国家安全局解密特工培训手册:如何利用谷歌等大众搜索工具搜集保密数据 微软IE10如何保护上网安全(大图) 谷歌无畏苹果的理由:强力的算法和基础设施架构 开发者热议异构统一内存访问技术(hUMA) 千万级并发实现的秘密:内核不是解决方案,而是问题所在! Apache RewriteRule重写规则语法入门 IDC:2013 Q1 Android和iOS出货量占92% WP首超黑莓 传雅虎欲10亿美元收购轻博客网站Tumblr A Beautiful Mess:如何赚男人女人的钱 CSS、JavaScript开发者必备的10款最佳工具 IBM推出API管理平台 抢占API经济市场份额 2013中国云计算榜单之一:15云平台,谁主沉浮? 移动周报:百万壁纸、85后程序媛,我为梦想代言! 电信天翼开放平台:为App开发者免费提供云存储和云主机服务 Google新的Web UI库:Ploymer 研发周报:让开发者高效编程的10个新框架 拯救行将就木的PHP:谷歌为GAE添加PHP支持 PPT集萃(一):10位业内高管分享云计算技术理念与行业趋势 得益于苹果谷歌,未来可穿戴技术市场规模可达500亿美元 在CSDN过中秋节的兄弟们,来坐坐吧! 怎样关闭cformview派生的视图? 各位大虾,有谁知道怎么配置连接池呀,我以前配的,现在有点记不起来了,最好能说清楚点,谢谢!重分酬谢! 如何使位图在文档类视图中显示出来! 怎样快速获得一幅图像所用的颜色的总数? 错误号问题 如何在ie中直接打开word文件进行浏览、编辑,并保存。 一直都在接分,我也散点分。祝大家中秋快乐!!!!!! 我学应用物理,计算机该怎么自学?100+100=200 大分相送!不够再加(第1部) 有一个问题,怎么配置struts,有没有一个现成的例子呀,望指点,谢谢,也可以发到我的信箱 有CSDN上的兄弟一起过中秋节晚上,今晚不孤独,最后七十分散掉 oracle9i...数据库是提示:ORA-12154: TNS: 无法处理服务名 ? **首先祝大家中秋快乐,然后请问“包程序写入失败”是什么意思???**谢谢:-) 我学应用物理,计算机该怎么自学?100+100=200 大分相送!不够再加(第2部) 如何將數組定義在一段連續的內存空間??急急!!!!! **首先祝大家中秋快乐,然后请问“包程序写入失败”是什么意思???**谢谢:-) 我用这个函数Space$(nSize),提示说工程库没有,需要什么工程库? 两罐啤酒,独过中秋。祝这里的兄弟姐妹中秋快乐! 一个有关datareport的问题 现在有必要学ASP吗? 请教:为什么我不能给被调用包的源代码设置断点,请问是什么原因?怎么解决? 补刚才漏掉的五十分 想编写一个新邮件到达时自动通知的程序,请提供思路 关于SAX对大数据量文件的读写(高分) 中秋节编的程序是不是特别好吃? 请问:什么是“C runtime 函式庫的 Startup code”呢?? 关于自动播放的问题,在线等! 关于自动播放的问题,在线等! 请问怎么读取 text 控件 中 任意一行的内容 如何用jad?谢谢 哪儿有bc++高一点的版本下载 dbf问题 中秋了,我写了一首诗,大家看写得精彩不精彩? 我学应用物理,计算机该怎么自学?100+100=200 大分相送!不够再加(第3部) 和众马甲共度中秋,来来来,吃月饼,吃月饼 请问光驱读盘效率不高会是什么原因? 帮帮忙啊,关于图的遍历 一个form上有两个dbgrid,怎么判断我现在的焦点是在哪个 dbgrid上? 送给8。15继续在网络中漫步的朋友们的礼物! 关于数据库的使用 一个有关listview的问题,一直没解决,急! 有没有人装过MINIX啊 为什么我在查询分析器里执行时,没有时间限制,而在控制台里用同样的代码建一个试图或写在存储过程里都会超时呢········· 中秋快乐!!!!!!!!!大家进来看看,小弟有些问题。 网站运行一会儿IIS自动不运行了 什么是SCSI卡设备呢?有何作用? 未来的软件架构和技术 哪里有VB好界面下啊,谢谢 推荐给希望了解应用程序开发全过程的“初学者”一本书!!!!!!!!! 过节了!谨以些分献给坚守在灌水第一线的朋友们~~(一) 未来的软件架构和技术 讨论函数y=x+a/x(a大于)的单调性a大于0 梁启超在维新宣传中,主要侧重的主张是? 什么是多边形的外角? 求翻译:Dependency or area of special sovereignty 已知函数f(x)对任意的x,y都有f(x+y)=f(x)+f(y),且当x大于0时,试判断f(x)的单调性 英语翻译 我几个带云台的摄像头,分布在不同位置,我能从硬盘机出一个控制线,中间几个云台在控制线中间并联,这样可以吗?另,RVVP2*1的控制线可以传输多少距离? f(x)=2^x+1/(2^x)在【0,正无穷大)上的单调性是什么?答案是增函数 讨论f(x)=x+a/x在(0,+无穷大)上的单调性 总兵是什么官 第七题, 智利沿海发生6.6级地震 圣地亚哥房尼日尔移民车沙漠抛锚 致90人脱水而人民币设计者:女拖拉机手不是“人民币武警战士吐槽办证难:户口20多年没办默克尔遭美国监听 德议员称斯诺登愿协斯诺登最新照:在莫斯科乘游览船 未戴河南100多公里路200人执法 司机昨天火车东站二楼突然地裂 乘客被卡其今起浙江93号汽油每升降6分钱 创今国家卫计委发文:6个月以下婴幼儿不推11月的第一个周末有秋日也有桂花雨 濮阳市法学会第二次会员代表大会召开 妹子,叫你呢,给大叔看过来【调查】四合院私挖地下室后 身价飙涨华为CFO孟晚舟:学习瑞士人的钟表精跨境金融,演绎招商银行全球交易银行重濮阳一邻居午休突现噪音 相互体谅理解绿地为何敢4.6万/平进驻太阳宫 龙濮阳旧小区五楼玻璃突然碎裂巧克力乳酪蛋糕初学化妆,你该买点啥?濮阳市集中整治互联网有害信息超级无限男主角mm都在天上飞错爱邪魅总裁混在修真界超级牛人召唤方程式千夫斩冒牌凡人修神传医宋神幻魔法师神机鬼藏建水旅游禾木旅游三明旅游克什克腾旅游桐乡旅游丰都旅游滁州旅游山南旅游昭通旅游江津旅游洪江古商城旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘