说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【云先锋】ClouDil云方案:PB级大数据解决方案

HTML文档下载 WORD文档下载 PDF文档下载
世纪鼎利,一家专注于无线网络测试并提供移动网络优化综合解决方案的厂商,旗下的ClouDil云方案成为国内第一家将Hadoop技术实际运用到电信领域的产品,可以提供PB级数据的采集、存储和处理能力。

珠海世纪鼎利通信科技股份有限公司作为一家在通信领域专长于无线网络测试并提供移动通信网络优化综合解决方案的高科技企业,以其领先的技术、服务实力以及优秀业绩,于2010年1月在创业板成功上市,世纪鼎利专注于为通信运营商、系统提供商和第三方咨询服务公司提供专业的无线网络优化、测试、规划等解决方案和产品,正逐步转型成为“端到端综合解决方案”提供商。


旗下的ClouDil云方案成为国内率先将Hadoop技术实际运用到电信领域的产品,由于电信级的信令共享平台数据量很大,以中移动江苏公司2011年为例,约36亿条记录/天,对查询性能要求极高,一个月的数据要求秒级呈现。日前,笔者有幸联系到该公司的基础研究部副总监张勇鹏,他给我们详细分享了ClouDil云方案的性能特性,以及开发过程中的诸多细节,以下为采访实录:


张勇鹏

毕业于西安电子科技大学,现任珠海世纪鼎力通信科技股份有限公司基础研究部副总监 。

历任:高级开发工程师、测试部经理、西安研发主任、2011任基础研究部副总监,同时组建云计算团队,负责ClouDil的研究和开发。


CSDN:能给大家介绍下你和你们公司情况吗?技术特点和团队结构如何? 

张勇鹏:世纪鼎利成立于2001年,主要专注于无线网络测试并提供移动通信网络优化综合解决方案,为通信运营商、系统提供商和第三方咨询服务公司提供专业的无线网络优化、测试、核心网信令大数据解决方案和产品。

云计算团队组建于2011年,开发团队主要分布在北京、西安、珠海,人员主要由开发经理、架构师、产品经理、产品助理、开发工程师、测试人员组成,基本上保持50人左右的规模。

ClouDil主要负责涉及4个方向:大数据处理、应用托管、集群管理、可视化建模。

云计算方面的产品主要是我们的ClouDil系列,产品介绍及特性如下:

1)ClouDil TitanData 

提供PB级数据的采集、存储和处理能力,作为企业大数据平台,为企业提供端到端的业务支持,快速实现海量数据的商业价值。

1

数据加载

1、支持二进制数据文件和CSV数据文件的加载。2、支持实时流数据加载。

3、支持数据加载过程清洗转换和预处理。

2

数据查询

1、支持根据条件精确查询。2、支持根据条件模糊查询。3、支持查询结果分页。

4、支持标准SQL查询接口和json查询接口。

3

数据分析

1、支持MR程序。2、支持SQL语句分析。3、支持多任务并行调度。

4、支持分析结果导出到HDFS、本地磁盘和关系数据库。5、支持数据分析可视化建模。

4

数据备份恢复

支持数据备份与恢复。

2)ClouDil Visual Modeler 

针对于大数据的可视化建模,大大降低用户的开发门槛,不用写代码、只需要懂业务即可快速开发基于大数据应用。

1

任务管理

1 用户自定义监控界面。2 提供可扩展的监控展示UI。

3 用户自定义任务调度配置。4 方便的自定义模板功能。

5 提供子任务的配置功能。6 采用向导式任务定义过程。

7 支持impala,hypertable,hadoop的大数据后台分析。

2

数据源管理

1 灵活的内部和外部数据结构定义。2 灵活的数据维度定义。

3 通过元数据描述,提供统一的数据接口。4 提供灵活的导入和导出功能。

3

Counter指标管理

1 对于不同的行业,形成不同的counter指标的知识库,

提高counter指标规范性。

2 提高counter指标重用性,快速实现基于Counter指标的应用。

3 支持counter指标的使用情况统计以及影响分析。

4 支持counter的历史版本查看。5 提供灵活的导入和导出功能。

4

KPI指标管理

1 对于不同的行业,形成不同的kpi指标的知识库,提高kpi指标规范性。

2 提高kpi指标重用性,快速实现基于KPI指标的应用。

3 支持kpi指标的使用情况统计以及影响分析。4 支持kpi的历史版本查看。

5 提供灵活的导入和导出功能。

3)ClouDil AppHost 

比VMware更轻量级的虚拟技术,通过资源隔离方式,实现Web、PHP、Java后台服务等应用的托管,大大减少了应用部署的复杂度和工作量,同时极大的提高了硬件资源的利用率。

1

基础框架

1 提供LXC容器技术的容器管理服务。

2 提供了容器内资源采集监控代理服务。

3 提供PHP5的基本运行环境。

4 提供可用户自定义的运行环境管理SDK。

5 整合JAVA+Jetty的基本运行环境。

2

应用托管

1、支持java、PHP类web应用托管。

3

负载均衡

1 提供可自定义规则的HTTP请求代理引擎。

2 提供HTTP请求负载规则编辑UI。

3 提供对HTTP的多种统计度量指标:请求数/每应用*每实例*单位时间

,请求字节数/每应用*每实例*单位时间等。

4 实现根据度量指标进行告警的告警策略,并提供配置界面。

5 提供告警处理,告警检索UI。

4

故障转移

1 提供实例的故障检测代理。2 提供高可用的故障转移服务,并支持转移告警。

5

存储

1 提供基于Redis的的集群Session同步管理。

2 提供MYSQL的基本运行环境。3 实现数据库配置代理。

6

接口协议

1 提供RestAPI管理框架。2 提供实例的监控API。

7

管理

提供统一的用户门户。

4)ClouDil ClusterCare 

对集群进行统一管理的平台,不但对硬件进行监控,也可以通过自定义的方式对集群中运行的程序进行监控、告警。

1

基础框架

1 提供LXC容器技术的容器管理服务。2 提供了容器内资源采集监控代理服务。

3 提供PHP5的基本运行环境。4 提供可用户自定义的运行环境管理SDK。

5 整合JAVA+Jetty的基本运行环境。

2

应用托管

1、支持java、PHP类web应用托管。

3

负载均衡

1 提供可自定义规则的HTTP请求代理引擎。2 提供HTTP请求负载规则编辑UI。

3 提供对HTTP的多种统计度量指标:请求数/每应用*每实例*单位时间,

请求字节数/每应用*每实例*单位时间等。

4 实现根据度量指标进行告警的告警策略,并提供配置界面。

5 提供告警处理,告警检索UI。

4

故障转移

1 提供实例的故障检测代理。2 提供高可用的故障转移服务,并支持转移告警。

5

存储

1 提供基于Redis的的集群Session同步管理。2 提供MYSQL的基本运行环境。

3 实现数据库配置代理。

6

接口协议

1 提供RestAPI管理框架。2 提供实例的监控API。

7

管理

提供统一的用户门户。

CSDN:谈谈你们的ClouDil云方案吧,主要功能有哪些?为什么开发这个平台?

张勇鹏:2011年,我司中标中移动江苏公司信令共享云平台项目,当时信令共享平台的数据量很大,约36亿条记录/天,对查询性能要求极高,一个月的数据要求秒级呈现,传统的数据库方案完全无法实现。

当时我们也在找一些合作厂家,但发现国内没有任何一个成熟的云方案能解决电信级大数据的问题,后来只好自行组建团队,使用Hadoop技术,使得此江苏信令共享平台项目成为国内第一家将Hadoop技术应用在电信领域的解决方案。

江苏信令共享平台是ClouDil的第一个项目,当时主要的功能有两个:一个是即席查询、一个是海量数据分析。

CSDN:你觉得ClouDil最大的技术优势在哪?国内外竞争者有哪些?

张勇鹏:ClouDil的最大技术优势有两个:敏捷和包容。敏捷性体现在:1、快速部署,一键即可安装。2、快速开发,不需要编码即可开发。包容性主要体现在可针对任一Hadoop生态链中的版本,比如:CDH4、Hive、HBase、Hypertable、Implala都可根据用户的需求特点进行选装。

因为产品定位的角度不同,ClouDil目前还没有“直接”的竞争对手。

比如ClouDil Manager,虽然是集群管理,但主要是针对Hadoop本身的,而“ClouDil ClusterCare”除了集群硬件、Hadoop外,还可以对用户自定义程序进行监控。

关于应用托管,“阿里云的ACE及百度云的BAE”也采用了类似技术,“而ClouDil AppHost”具有更大的灵活性。
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘