说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【云先锋】红象云腾:Hadoop将和高铁一样改变我们的生活

HTML文档下载 WORD文档下载 PDF文档下载
“高铁是动力分布式列车,每节车厢都有动力,这和Hadoop有神似之处。Hadoop也是每个节点有存储又有计算,提供充沛IO、CPU动力,我坚信Hadoop会像高铁改变我们生活一样改变数据的存储和处理方式”,童小军如是说。

红象云腾(RedHadoop)公司创始人童小军认为创业是一个从0到1的过程。每个创业者都只能靠自己去经历从0到1的转变,才有资格通过和别人合作完成1到100,即使失败我们还能回归到1从新出发。期望通过别人的1来完成的100往往多是空中楼阁。这个1有很多了,比如养活自己、独立的品牌产品等。

从2012年8月出来创业的时候他通过培训来养家,有大量时间来做自己想做的事情又能解决生存问题。坚持了一年左右积累客户和一定的品牌资源。“我比较幸运,很多客户都是我之前听过我的Hadoop课程,研发的产品和服务率先让客户应用。创业两年多,将创业比作下海,最关键的就是自己能养活自己”,红象云腾创始人童小军表示。


北京红象云腾系统技术有限公司创始人 童小军

据了解,红象云腾(RedHadoop)公司八月底发布了两个产品,基于Linux平台的RedHadoop Enterprise CRH3以及基于Windows平台的 RedHadoop CRH Studio。本文来自对该公司创始人童小军的采访实录。

CSDN:首先请你介绍一下自己、公司及技术团队?

童小军:大家好,我是童小军,我是红象云腾创始人,我们致力于将大数据(Hadoop、Spark、Storm等)分布式技术带入更多中国企业,开展有大数据相关的基础软件平台、应用、解决方案、大数据培训等业务。公司在业界有广泛的渠道和合作渠道,服务客户有石油、电力、银行、保险、互联网、游戏等拥有大数据的企业,客户主要分布于北京、上海、广州、深圳等地区。

目前公司团队有在IT行业工作超过十年以上的软件研发工程师、销售老兵,有图像处理算法背景的工程师、也有在知名发型版本软件公司负责Hadoop培训业务的讲师,还有一批朝气蓬勃的年轻小伙程序员,大量支持我们的兼职销售朋友,帮助我们带来各种市场机会。


RedHadoop的技术团队

CSDN:能否和大家分享一下你们最新产品的战略定位、技术架构以及用到的关键技术?

童小军:RedHadoop Enterprise CRH3:战略定位是一体化大数据平台,以此为基础软件平台层,我们持续开发应用层软件。Hadoop平台已经成为大数据分析的水和空气,重要且开源免费,红象云腾公司的战略是夯实底层软件产品的稳定性,重点在应用软件的开发,已开发了RedDisk 网盘、SeasBase非结构化数据库等应用软件。 最新的CRH3版本软件中整合了三个计算框架:MapReduce批处理框架、Spark 内存计算框架、Storm 流计算框架。囊获了主流计算模型,集成了Mahout、R引擎等数据挖掘组件,集成ETL,调度系统等管理系统。


CRH studio(windows版)RedHadoop CRH Studio 是一键部署Windows Hadoop 开发环境的软件包。 CRH Studio软件包集成了 Hadoop/Hive 等基础组件,通过Windows界面快速启动和配置。提供 HDFS 工具等方面用户导入数据,集成Eclipse plug-in 快速开发 MapReduce应用程序,现在我们已经实现了基于 Windows 平台的图像检索功能等应用软件(SeasBase 非结构化数据库),可以快速将视频运动目标提取并转化成可以检索的元素,比如运动物体大小,颜色等,集成基础的人脸识别功能,未来希望能集成图像识别能力,现在开放出基础软件,图像处理应用软件没有开放。视频计算的需求未来会越到越密集,新闻上经常出现的刑事案件,都需要通过大数据技术来快速 定位,缩短侦破案件排查,获得宝贵营救时间。


CSDN:刚才你提到CRH,这让我想到中国的高铁,这二者有什么联系?近几年来大数据云计算都很火,你们CRH3区别与同类产品,有哪些特点?你们目前只做大数据(Hadoop)吗?

童小军:是的,其实我们的CRH名称是ChinaRedHadoop的缩写,我经常做培训,讲述hadoop、HDFS、MapReduce等概念,很难深刻理解,想到了类比高铁的基本原理。传统铁路是集中动力火车头,高铁是动力分布式列车(Multiple Units,MU),每节车厢都有动力,是城市间纽带连接的重要交通工具。相比原来计算机的集中式架构(IOE),现在分布式处理架构Hadoop和动车原理有神似之处。Hadoop也是每个节点有存储又有计算,提供充沛动力和功能模块带动客户的大数据应用环境。而不是之前一个小型机拖一个存储机柜。我坚信Hadoop会像高铁改变我们生活一样改变数据的存储和处理方式。 


RedHadoop Enterprise CRH3主要有一下几个特点:

  1. 简易的安装过程。CRH3分布式集群的安装部署非常简单,我们提供全程化的安装部署界面,管理员或程序人员不需要修改任何hadoop配置文件,只需简单地前期准备工作即可。安装界面极大的简化了集群安装的复杂度,降低了误操作录的几率,提高了成功的百分比。
  2. 快速数据导入导出。Hadoop目前仍属于新技术架构,传统的数据处理模式向hadoop做迁移势必涉及数据迁移。RedHadoop Enterprise CRH3提供了快速的数据迁移功能,无论是从传统的数据库向hadoop平台迁移还是在hadoop平台向传统的关系型数据库迁移CRH3都能够以并行的方式快速的完成数据同步。
  3. 智能化集群监控平台。CRH3提供智能、专业的集群资源监控管理平台,这个平台将集群资源图形化,以简单易懂的形式将集群的总体状况展现给管理人员。
  4. 集成了更过更全面的计算框架。CRH3集成内存计算(spark)、流式计算(storm)等业界主流的计算框架。内存计算spark能够极大的提高部分业务的处理速度。CRH3同时集成了sparkR,这意味着R语言程序也可以运行在CRH3的spark上。

另外,云计算作为基础架构已经广泛应用,比如阿里巴巴的ODPS,腾讯云平台,百度最新工具(Query Engine)等。红象云(RedCloud)也在开发中,通过集成OpenStack+Hadoop平台对外提供快速构建Hadoop的基础服务,很快会和大家见面。

CSDN:您是怎样看待开源Hadoop与商业版Hadoop的?你们的RedHadoop Enterprise CRH3 会考虑开源吗?

童小军:我认为既然选择了做如Hadoop这样的开源软件,就得抱着回馈开源的思想去研发。而且不能急于求成,我们开发的组件和更新也会回馈到Apache社区,从开源中来,融化到开源中去。只有这样,产品和团队才能焕发活力。现在我们人力有限,开源贡献较少。长远角度看,做基础软件就像基础科学,很多时候我们是传道者,贡献一点算一点吧。

其次Hadoop已经是大数据的基本标准,通过开源就像大数据生存的水和空气一样重要、免费。Hadoop和大数据事业驱动力首先是兴趣和热爱,Hadoop大数据生意的本质是服务。水是免费的,依然有矿泉水,桶装水的需求。Hadoop大数据基础平台之上的应用软件层,就像手机(Android)操作系统那样还有很大的扩展空间,本质是开源和免费的,通过增值产品和服务实现公司盈利。

就目前来讲很难以公司有限的人力去开发太多基础产品,所以在基础软件部分我们更多的是保证基础软件的稳定和易用。我们开放有 RedHadoop Windows这个产品线。 同时我们提供基于RedHadoop的培训和认证服务。

CSDN:能和我们分享一下你们的一体化软硬件产品吗?可不可以给我们具体介绍一下它的CPU计算能力、内存资源以及存储能力?

童小军:基于经验、结合几家互联网公司部署节点,红象云腾配置设计了RedHadoop BigData Cluster一体机产品,提供一整套软硬件一体机环境。默认三个数据节点,提供3*12个核心CPU计算能力,64*3G内存资源,108TB的存储能力,通过高速网络连接,系统同时还提供Linux操作系 统,RedHadoop Enterprise CRH3软件,并导入上千万图片和一亿多非结构化网页数据。软硬件一体化的设计,让用户购买开箱即用的效果。不断优化效果方便用户从 Oracle,SQLserver等系统导出数据到RedHadoop CRH3中。

CSDN:产品目前的应用场景有哪些,有无一些重量级的客户?

童小军:我们主要客户主要需求特征是:

以为大数据生产环境典型需求:

海量:数据量在TB到PB级别用户,用户群体都过亿、历史数据约万亿条,各省、各功能系统的历史二级数据存储结构,有海量数据集中、统一运营的需求。—这正是Hadoop大数据体系平台的强项,可以海量、高速、分布式、并行、廉价硬件集群的处理海量数据集中地问题。
高速:平均每小时产生百亿级数据,需要在分钟级别同步,数据在10分钟内要求可处理、可显示、可统计等。加上各种流程采集设备 和实时的采集时间,都要求具备高速的收集加载数据、高速存储、高速处理的需求。—– Hadoop的mapreduce+Spark+Storm等计算框架,能够把海量任务并行、分性质的加载、处理、再合并,可以用低廉的PC服务器集群架构,满足高速批量和流处理的需求。
高效:面对终端用户迅速变化、复杂的需求,要求企业必须提供高质量的BI平台、数据仓库系统、统一管理的系统日志、云平台 等可以二次开发的各种复杂平台。—–Hadoop大数据体系平台提供了高级数据采集、数据清洗ETL、数据分析,最终是要产生智能化数据,提供洞见,更好 的满足用户的需求。这是大数据处理平台能迅猛发展的原因所在。

现在主要客户的需求各异,一般都需要结合Hadoop给各行各业去做对应的定制开发,现在需求第一梯队来自电信行业,第二梯队来自金融 电力等行业。我们总结了各行各业的案例场景,可以到我们官方网站查阅。

CSDN:你们的稳定性怎么样?目前客户关心最多的问题是什么?有什么针对的解决措施?

童小军:现在客户最关心的还是稳定性问题,Hadoop系统承载了存储和计算等核心职能,好比一个软件系统的核心发动机。因为Hadoop系统组件繁多,安装配置和维护都有一定难度,开源组件彼此有一定兼容性问题,同时服务有彼此依赖关系,往往一个底层问题爆发出来会影响整个系统,对应维护管理需要简化工作。

我们开发的CRH3产品通过一体化软件包的方式解决组件安装配置等问题。通过自建集群做大规模的软件压力全自动化测试。在运维管理方面提供完整的监控管理界面。

通过CRH3 Studio 来简化在Windows平台上的Hadoop部署安装难度。未来基于Windows平台 CRH3 Server 版本会简化Windows平台上的Hadoop配置,集群管理等问题。

CSDN:打造这款产品一定遇到不少的挑战吧,你们如何处理和解决?

童小军:Hadoop基础软件产品的开发过程中需要大量基础测试,如何能模拟几百个节点并长期运行是一个难题,我们已经在公司内网搭建了一个生产环境,并导入10TB级别数据进行分析和处理,通过运行大量基础测试测试软件问题。

同时客户环境和需求根据不同行业特性会有较大差异。需要我们长期深入各行业内部去深度定制。

CSDN能否总结一下创业的一些体会?相应RedHadoop产品的未来有什么规划?

童小军:创业是一个从0到1的过程。每个创业者都只能靠自己去经历从0到1的转变,才有资格通过和别人合作完成1到100,即使失败我们还能回归到1从新出发。期望通过别人的1来完成的100往往多是空中楼阁。这个1有很多了,比如自己造血、独立的品牌产品等。

Hadoop可以分成基础软件、应用软件、服务租用、培训服务等服务模式。在我看来Hadoop生态圈还是缺乏重量级应用程序,如何能将各行各业的应用迁移到Hadoop中,丰富整个大数据的处理和分析应用能力会是我们下一步的重点。

Cloud Edge:中国“云先锋”系列报道
序号 公司名称 成立时间 CEO/CTO 官方微博 公司产品/方向
1. 云适配 2012年 陈本峰
网站适配
2. 友友 2010年 
姚宏宇
@友友微博 C、C++、Java产品研发 
3. 聚合数据
2010年
左磊 
@聚合数据管 移动数据服务
4. Anchora 2009年 鲁为民       

MoPaaS和InPaaS 
5. 够快 2012年
蒋烁淼 @够快科技 
云存储
6. 文思海辉
2012年 吴凯
@文思海辉 OpenStack公有云       
7. 搜狐云 2011年 邱英波
SendCloud                  
8. 联想云存储 2009年 罗予晋
云存储
9. 南京讯之智 2012年 谢晚霞
大数据实时分析
10. 上海圣何赛 2012年 
金剑 

云管理、云存储                
11. 国云科技 
2010年
季统凯
@国云科技 云操作系统                
12. SSO365 2012年 赵健                

云安全、云身份认证 
13. ClouDil云方案 2001年
叶滨 @世纪鼎利 
通信运营商                
14. 多备份 
2013年 胡茂华            
@木浪 云备份                 
15. 上海越诚软件 2011年 王炜                  
基于云的建站软件超市 
16. 云智慧 2009年 殷晋 @监控宝 云监控、基于大数据APM
17. 深圳泽云 2012年 何巨彬
高性能存储系统
18. 深圳智冠 2004年 卢慧莉  
手静脉生物识别、虚拟化
19. 北京沃安科技 2009年 曹学武 @沃安科技 移动视频技术提供商
20. 星环信息科技 2013年 孙元浩 @星环科技 大数据分析平台
21. 红象云腾
2012年 童小军 @RedHadoop中国
基于Hadoop的大数据平台
备注:2014年9月10日更新,持续更新中......


备注:云先锋系列文章是由CSDN云计算频道打造的,主要报道国内外在云计算、大数据方面具有独特竞争优势的企业,以传播技术为目的,推动中国云计算技术的发展,只有你有云计算或大数据方面独特的技术、产品和服务,你就可以投稿,欢迎投稿weiwei@csdn.net。

VMware最快下周宣布分拆Cloud Foundry 国际原子能机构服务器遭窃 百多位专家信息泄密 用户可通过Google Drive直接向Gmail添加高达10GB的文件 韩寒携个人App进军移动互联网 亮相应用汇独家发布会 摆脱谷歌 亚马逊向开发者正式发布地图API 为什么应该用模块取代C/C++中的头文件? Mozilla布道师:HTML5在移动端没有未来? 那些年,历史上留下浓重一笔的黑客们 林敏博士:透过设计看三星手机帝国崛起 OpenFeint血泪史:我们是如何被苹果逼死的 或免费升级:微软2013年推Windows Blue系统 取经:《捕鱼达人2》每月捞金160万美元的秘密 AWS推数据仓库服务Redshift 价格仅是Teradata IBM Oracle的十分之一 美国开展数据中心整合计划 简化政府IT运营 阿里巴巴数据交换平台——集大成于一身 [体验]Windows 8 Metro/Modern Style IE 10 Growth Hacker正席卷全球,你了解它吗? Splashtop发布Ubuntu Linux版本Streamer 性能超过VNC 10倍 Windows 8引领智能操作 人机交互进入触控时代 豌豆荚发布新版应用搜索 推出“绿色标签”机制 权威解读:苹果的未来将走向何方? Google炮轰Facebook:你们的社交已经过时了! iOS设备硬件规格完整汇总 2012 MDCC“2012移动互联网应用创新大赛与开发者面对面”专场:创所未享,携手逐梦! RIM携QNX为“2012 BlackBerry平台移动应用高校竞赛” 颁奖 BlackBerry 10 策略:用金钱吸引游戏开发者 黑莓10要来了:RIM正式开放应用提交 从RIM与微软达成exFAT授权所想到的 OpenStack中国行来到南京 中兴通讯分享电信行业应用 CSS架构目标:预测、重用、扩展、维护 黑客利用移动浏览器漏洞窃取云计算资源 不好意思,只有10分了,各位,一般ubb代码中的flash 以及relaplayer 和 MediaPlayer播放是如何在ie调用时默认为暂停的? 知道下载流媒体除streambox外还有什么软件? 请教各位大狭关于mscomm控件怎么安装应用 好奇怪哟!!!!!!! PB脚本里怎样取得存储过程的返回值?怎么判断是否已经成功执行存储过程? 知道下载流媒体除streambox外还有什么软件? 问一个简单问题 大家来讨论:在这种情况下,用户的权限应该怎样设计才比较合理! 大家来讨论:在这种情况下,用户的权限应该怎样设计才比较合理! 如何在directshow 的视频窗口中实现会绘直线? PLMM接分! 着急 ,关于treeview 的一个很土的问题 请Exchange高手进来领分! 都说男生比女生编程厉害,如果你们能解决这个问题,那我真的承认这句话了,哎. 我是一只菜鸟,请大家帮帮我 我晕,Access库大家都在用,有高手知道何能办Access库里的内容全由简体转成繁体吗?谢谢各位了! 卖mcsa的资料共5本~~~~ 除了C++以外,还想学一门别的,不知道该选择JAVA还是C#? 请那怎么样把1000000转成1,000,000呢。有效的一定给分。 庆祝16大,放分1600,菜鸟16问之5----我怎样参与到16大中? pb7.0的pbl怎么在pb6.5上打开! 请那怎么样把1000000转成1,000,000呢。有效的一定给分。 如何判断表中是否含有指定名字的列名??? 我晕,Access库大家都在用,有高手知道何能办Access库里的内容全由简体转成繁体吗?谢谢各位了! 我在frontpage中插入了一个ActiveX控件,代码里只是<object classid="clsid:8E279..">请是如何能得到它的真实代码? 在vb 中用 loadicon 函数的问题(在线等待) 增加、删除MSHFlexGrid1 控件一条记录 ,的代码怎么写呀,100 SQL怎样在ADO中使用 求助!如何实现域名查询?(急!!) 到那里可以找到gcc ,makefile的详细用法,非在linux下用man vb怎么样建立后缀名为 .Dll 动态链接库 请教:为什么不能编译? HTML控件"Input"中的那个“浏览”,怎样能变成英文的? 在注册的时候,如何限制用户知道后面的页面直接输入地址访问啊 DataGrid如何判断鼠标位于第几列? 怎么可以知道我的机器现在是否可以访问Internat? 为什么IFRAME总是显示不出来?厌ssss! 作一个象QQ一样的弹出页面,可以用鼠标拖动?很急阿 ResultSet的问题 大侠帮忙啊!如何在基于对话框的程序中给菜单加快捷键? SOS拜托了 请问一下,在VB中怎么样实将文本写入到一个WORD文档 pb7中如何实现让用户选定驱动器或者文件夹?有什么api函数? 专家都来吧!如何设置excel单元格的类型!问了好常时间,每人回答啊!! 我想买一本COM的入门的书,推荐就有分(急,明天就买了)! 基础知识疑问???????(每题一分,系列问题) 我想在一张图片上的某个部分做个连接请问怎么做? 如何在VB分布式开发中调用远程MTS/COM+上组件,怎么进行网络通讯? 在win98下查询dns服务器和win2000下有区别吗? 给我的NotePad做一个接口,直接和腾迅服务器相连,提供登录接口。然后说的话可以通过直接 关于ASP的日期计算问题,请大家来指导一下!!! 我考研英语60分基础,一个月时间复习雅思可以达到7分吗?四六级那都是很久远的事了,考研离现在也有一年半了,英语丢的差不多了,现在急着申请出国实习,要求雅思7分,一个月以后要提交成绩 no one 后为什么加单数 no one 和 noneI wanted to buy a comic book but there were ______ left at the bookshopA no one B noneC anyoneD nothing为什么 考翻译资格证用什么汉英和英汉字典好? 定语从句句式,xx+xx这样的,最好有例句 关于no one和none的区别If more readers become comfortable with reading digitally, ( ) but the book-collectors will want to buy paper books.       A anyone   B someone    C no one   D none    答 No后面的动词用什么形式 英语中的定语从句,宾语从句的含义与句式怎样很好区分定语从句,宾语从句?更好的掌握这两种从句 no one 和none区别? Tim is ____boy.He can say a few words.A.an one-year-old B.a one-year-old C.an one-year oldD.a one-year old spend doing sth和spend on sthspend doing sth等于spend on it takes sb some time to do sth 等于 spend doing sth 、 spend on why? 多重定语从句例句,五句 带有no  one  的句型里面的There  be  be动词用什么形式 spend ...on(in) doing sth ---------------------------------------------的区别 NO ONE 这首歌讲的是什么内容`汉语意思是`什么`` No one wanting to go .中动词用V-ing形式么 请教Having been done与过去分词的一般式作状语时有什么区别?好象两者都表被动和完成,有什么区别呢? Think of life as a game in which you are playing with five balls in the air Tommy is an one -year -old boy.哪错了 分词作状语having done和done 有什么区别 I think the movie which ____ the life of high school students will be very popula with teenagersA.based on B.is baseing on C.bases on D.is based on what else did you find in the room 同义句 with a pair of glasses和wear a pair of glasses 和 in a pair of glasses有什么区别?请说明理由.哪一个是正确的,要说明理由 Can not find or load a life Which is required to execute the game是什么 What else can you find in the living room?如何翻译? 帮忙给儿子起个英文名字~儿子叫葛俊涛,请高手帮忙起个英文名吧~ 玩穿越火线出现can not find or load a life which is required to execulte the game我是win7系统 有时候重启了就好了 重新安装了也没用 我要解决办法 Do you find he is singing in the room的同义句是什么?急用! The boy with a pair of glasses is Peter.对with a pair of glasses 部分提问 Here is the men's怎么读!Here is the men's怎么读,怎么发音Welcome怎么读 有没有好的办法能尽快提高英语,过雅思5.5 Do you find he is playing in the room?同义句是Do you find him playing in the room? 我想帮儿子起英文名我儿子十岁,看起来太弱小,他读书很聪明,我想给他起个比较强壮的英文名,他的中文名字叫张耀. I just walk from the master bed room to the office at the other end of the house翻译 we didnot find anything unusual in the room.改为同义句 no one做主语谓语动词用什么 She's of medium height,and she has long straight black hair with glasses.有错我吗She's of medium height,and she has long straight black hair with glasses. having done 与doing( ) the large undeveloped iron company,the manager took a lot of .A taking over B having taken over No one 做主语,谓语动词用单数,那为什么这个是likes This person is of medium height.She has short hair意思是:这个人不高不矮,留短发,为什么这句话加一个of? having done ,和 doingHaving failed many times,he didn't lost heart.改成 Failing many times ,he didn't lost heart.行不行?行的话 说说意思变成什么了? everyone做主语是为什么后面动词要加s Mike gets up at 8:00 Saturday morning.(改为否定句) 求一个翻译英语句子手机软件. 两个动词出现时,假如主语是单三,第二个动词用原形还是加s 例如:He helps me ( ) my English . 用learn的正确形式填空. Li Lei always gets up c in the morning. 有什么手机软件可以识别英文句子是不是正确的 还可以翻译英文的 The beginning of a new life 翻译 a year or two 还是one year or two 谁能解释一下"宾语从句" "状语从句" "定语从句" 三者的概念,顺便带一些例句.. 《the heart of life》这首歌的翻译. Spent cost pay take要怎么使用 高中宾语从句,定语从句,状语从句,定语从句,主语从句同位语从句,表语从句总结,加上两个例句啊 12年12月英语3级作文....下面是题目...假设你是某公司销售经理王海,请给大卫写一封回信,感谢对方订购了一百箱衬衫,建议使用纸箱装运而不用木箱,并列举纸箱的优点,比如轻便成本低,你公司 a year or two 与 one or two years有何区别 one of 后面跟的谓语动词和助动词是单数还是负数?one of the 和one of 有没有区别 英语翻译Here we go!Ale,ale,ale!Go,go,goal!Ale,ale,ale!Tonight's the night!We're gonna celebrate!The cup of life!Ale,ale,ale!帮个忙翻译下~ It took only one year or so to get a railway station___________in this city,which is about half the average time it took in some other cities.A being builtB to be builtC builtD build前面是过去时,说明已建完,为何用to do? one and a half 加名词后谓语动词用单数还是负数 no one 后面能不能加 of
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘