说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

电信级数据流量与监控系统部署案例分享

HTML文档下载 WORD文档下载 PDF文档下载
手中握有数据的公司企业仿佛就是站在金矿上,通过不断挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。

编者按:挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。今天分享的内容就是永洪大数据一个大数据分析平台的搭建部署案例。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为原文:

夜深了,电话铃声响起!这不是恐怖片的开头,却是我们工作的开始。

2013年5月,我们收到一个电话线索,客户需要支持几十亿数据量的实时查询与分析,包括数据抓取和存储,我们经过一番努力提出一个解决方案,客户觉得有些不妥,决定自己招聘Hadoop团队,实施该系统……

半个月后,客户打来第二个电话,明确表示Hadoop未能满足实时大数据分析的需求,决定接受我们的方案,但是客户要求我们不仅出产品,还要负责实施……

于是乎,开工!

项目价值

CMNET网间流量分析与监控系统(简称流控系统),是中国移动分公司的一个项目。项目要求能基于时间、地区、运营商、业务、App、IP分组、域名等维度对全省的上网流量进行实时分析和报告。这些分析报告能给客户带来如下好处:

1. 实现对接入链路和基站的全程监控。例如,一旦来自某链路或基站的流量很低,可及时对链路和基站进行检修,这将大大降低故障率。

2. 由于具备了对链路和基站进行全程监控的能力,客户可以对链路和基站的带宽进行动态调整,基于需求进行合理的资源配置。

3. 覆盖全省的全量数据,能提供基于业务/地域/App/行业/域名等维度的数据分析报告,具备100%的可信度和极高的商业价值。

数据流向

上网数据从硬件设备中抓取出来,形成压缩的日志文件存储在服务器上,服务器每五分钟生成新的日志文件。该服务器提供FTP访问。

我们方案中承担的流控系统,将通过FTP每五分钟访问一次日志文件服务器,将新生成的压缩日志文件抽取出来。这是一个典型的、增量更新的ETL过程,如下:

1. Extract: 定期抽取的日志文件并解压缩。

2. Transform: 解析出上网信息,同MySQL的维度表进行关联,生成包括业务/地域/App/行业/域名等维度的宽表。

3. Load: 将数据装载入我们的分布式集市。

初期验证(POC)

中国移动的日志数据分G类和A类,各取几块样本日志文件,验证数据流向的可行性以及性能。

我们很快完成了ETL的整个过程,宽表数据被成功地装载入我们的分布式集市。

性能上,我们按照用户提出的每天数据量5000万条增量,计算出支持100天50亿数据量的分布式集群所需的磁盘空间、内存总量、和CPU总量。由于客户一再强调预算有限,于是配置了6台低配PC server:1cpu x 4core,32G内存,1T硬盘。

我们模拟了常用的用户场景,整个系统的响应能力基本满足需求。系统架构如下: 

           
系统架构图

正式实施

中国移动分公司的上网数据在内网,一般不提供外网连接,需要严格申请之后才能在一定时间内提供外网连接。因而,我们先把整个系统的ETL工作开发完成之后,才正式申请了外网连接进行数据装载。

从开始进行上网数据的ETL工作,我们就发现数据量与预期严重不符。预期的上网数据是每天不超过5000万条,但实际上每天的上网数据在6亿条以上,100天保存的数据量将会达到惊人的六百亿条。6台低配PC server有点小马拉大车的感觉,完全达不到“海量数据、实时分析”的设计目标。我们赶紧联系客户,确定上网数据每天6亿条以上,而不是之前预估的每天5000万条左右。怎么办?

系统重构

经过与客户的详细沟通和理性分析,大家一致决定进行系统重构。

上网数据的日志文件是5分钟粒度的。我们将上网数据按照分析需求分为两类:

1. 细节数据:保留三天的细节数据(5分钟粒度),共约20亿条。这样,由于保留了细节数据,客户可以对近三天的上网数据进行任意的探索式BI分析。

2. 汇总数据:在认真研究了流控系统的分析报告需求之后,我们将五分钟的细节数据汇总为两小时的汇总数据。这样数据量可以降到约为原来的1/10,100天的数据总量大约60亿条。

重构之后的数据流如下:


数据流图

后期,我们陆续进行了一些系统调优,包括JVM调优、存储调优、计算调优等等。客户打开一个Dashboard的响应时间基本控制在秒级,最极端的分析报告也能在一分钟之内生成。基本实现了“海量数据、实时分析”:

1. 系统定期推送日报、周报和月报。

2. 系统支持探索式BI分析。多数分析请求达到了秒级响应。

案例总结

1. 项目的数据量非常大,100天超过600亿条日志;

2. 项目的预算非常有限,采购了6台低端PC Server。硬件投入不大,软件性价比也很高;

3. ETL过程难度较高,随着降维的需求加入,BI层难度也相应提高;

4. 为达到秒级响应,以支持探索式BI的交互式分析,对系统进行了多个层面的优化。

结束语

有了大数据,还要从大数据中提取价值,离不开分析工具,通过丰富的分析功能,在繁杂的数据中找到其中的价值。而大数据给分析提供了一定的挑战,需要高性能计算做支撑,才能在大数据的金矿中挖到金子。

这些案例的成功实施和上线,完美诠释了我们的大数据之道:大数据,小投入


以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上 报名 ! 

width()-JQuery API DOM-JQuery API addClass(class)-JQuery API attr(key,fn)-JQuery API attr(key, value) -JQuery API attr(name)-JQuery API attr(properties) -JQuery API html(val)-JQuery API html()-JQuery API removeAttr(name)-JQuery API removeClass(class)-JQuery API text(val)-JQuery API text()-JQuery API toggleClass(class)-JQuery API val(val)-JQuery API val-JQuery API after(content) -JQuery API append(content) -JQuery API appendTo(expr) -JQuery API before(content)-JQuery API clone(deep) -JQuery API empty()-JQuery API insertAfter(expr)-JQuery API insertBefore(expr) -JQuery API prepend(content)-JQuery API prependTo(expr)-JQuery API remove(expr)-JQuery API wrap(elem)-JQuery API wrap(html) -JQuery API add(elements) -JQuery API add(html)-JQuery API 如何定时删掉数据库中的一些数据? 请问vb里该如何使用一些特殊字符(如如何使用对勾呢?) 请问在VBScript编程中相当于VB编程中Val()函数是哪一个?(急用!) 急救,在线等待,吐分了!!!! 核心编程光盘使用问题 MSFlexGrid控件要如何添加内容? 苦追一女孩3年--身心疲惫;开学了,没寝室--万念俱灰! 一个标记怎么不识别"回车"??? 大家有什么软件需要兼职人员开发的吗? 高分寻求《WEBV数据库数据规划》《数据库模型》相关书籍及其有效下载地址!! 送点分,怎么样在一台只有win2000 server的系统上运行asp.net程序?? 如何在Response.Redirect中传递HTML控件的值? 请问做安装程序时候,如何避免Installshield在控制面板的添加删除程序中增加项?? 怎样随机抽取access数据库中的n条记录呢? 请问大家看完think in java用多少时间呀? Access数据库的日期查询在2000下一切正常,在98下查询出错? vc中def文件有何用处,是否可随意删除? 关于sql语句的问题,急急急,在线等!! 请绝顶高手回复(问题的详细情况) 通用模板的问题 一个用户控件的问题!请求帮助! 关于Socket的同步和异步的问题 菜单上的变量也要定义嘛?该如何定义? 一个关于servlet的问题! dll的问题 怎样才能不用鼠标取点击按钮,直接用代码去执行按钮 高分请教SqlDataAdapter中存储过程的调用 evc中资源文件的中文乱码问题该如何解决? linux环境下的编程请教 大家有什么软件需要兼职人员开发的吗? 新手请教 关于地址转换(NAT)转发后,数据包的变化问题 调查BDK最新版本是多少? 那位大哥有Visual Studio.Net 的序列号? 关于windows下的注册表? 生成组件对象时提示我必须有<%@ Page aspcompat=true %>,这是什么意思呀? 运行时出现"找不到vcl50.bpl动态连接文件"的错误,请高手指教 打印纸的设定???? pb80+B/S 用视频采集卡采集视频数据,图象的扫描频率都高于显示器的扫描频率,为什么? ADO的臭虫、问题太多,只好用BDE了 kylix3装在RedHat7.3上界面显示不出来?高手请帮忙! 键盘"DEL"键和右键"删除"的区别? 打不开WORD文件? WIN98只能进安全模式,不能正常进入,什么原因 关于insertrow后不update而先getitemstring的问题。 tomcat 配置问题 C# 基于套接字的聊天室 遇到一个问题 高分请教!!! WIN95的序列号给一个谢了,各位兄弟,帮个忙。。 请问数据流程是指那方面的? 关于如何调用Windows Media Encoder 昙花的开放过程写两三行关于昙花开放的片段. 我是做停车场系统的. 在一个不导热的密闭反应器中,只发生两个反应:a(g)+b(g)⇌2c(g);△H1<0x(g)+3y(g)⇌2z(g);△H2>0进行相关操作且达到平衡后(忽略体积改变所作的功),下列叙述错误的 昙花在什么季节开放?还有就是:是不是一朵花在晚上开一次就凋谢了?开一次就凋谢了的意思是以后就不会开花了 停车场系统英文缩写是什么 在一个不导热的密闭反应中,只发生两个反应a(g)+b(g)=2c(g) ,焓变小于0x(g)+3y(g)=2z(g),焓变大于0等压时通入z气体,反应器中温度升高.为什么是对的平衡逆向移动,温度应该减小啊 哪些是活细胞,死细胞,细胞产物?胰岛素,消化酶,手掌上的“老茧”,叶绿素,叶肉细胞,红细胞,头皮屑帮忙分类! 丢潘图活了多少岁?拜托各位大神 在一个不导热的密闭容器中只发生两个反应在一个不导热的密闭反应器中,只发生两个反应:a(g)+b(g)⇌2c(g);△H1<0x(g)+3y(g)⇌2z(g);△H2>0进行相关操作且达到平衡后 昙花为什么只在夜晚开放? 失活组织有什么特征谢谢了, KCN+H2O2+H2O=A+NH3(数字为角标)判断A物质是什么,求判断方法? 昙花开放的时间为什么那么短? 如何培养一个人意志?拜托各位大神 10、人体能及时清理体内的衰老、破损和死亡的细胞,这属于( )A、 防御病原体对人体的感染 B、保持人体自身结构的稳定C、免疫具有的三个方面的重要功能中的一个方面 D 在一个不导热的密闭反应器中,只发生两个反应:a(g)+b(g) 2c(g) △H10 进行B项:等压时,通入Z气体,使第二个反应逆向移动,温度会升高,但是第一个反应会吸收热向,会不会整个体系的温度不变呢 神经网络和支持向量机的优缺点! 水玻璃不是玻璃么 水玻璃是什么 玻璃是什么 谁有 《计量检定规程或技术规范管理制度》 1033-2008版本的 急用! 离体植物细胞形成愈伤组织为什么没有发生细胞分化 什么是决策树 什么是催化剂失活?失活原因有哪些? 离体的植物细胞在培养液中形成愈伤组织 为什么没有发生细胞分化 看的同义词-四个字的如:东张西望 催化剂失活原因是什么? 为什么离体的植物细胞在培养液里形成愈伤组织没有发生细胞分化 支持向量机 这个名字是怎么来的? 酶失活后还能做催化剂可行? 32、催化剂失活的原因? 原离体植物器官、组织或细胞,愈伤组织,胚状体的全能性及分化程度大小比较是怎样的 在高温干旱的环境里绿色植物从空气中吸收的会减少主要原因 如何减少催化装置催化剂的失活 菜农给土豆施农家肥主要目的是 高温干旱的环境里.绿色植物从空气中吸收的二氧化碳为什么会减少大神们帮帮忙 家用制氧机家用氧气机吸氧机价格,家用制氧机品牌,家用制氧 种植马铃薯施农家肥有什么好处?求解答 现代信息应用技术有哪些应用?要三个.应用领域 应用例子 产生的影响,这是格式. 通信电源系统组成及框图 实事求是的同义词和反义词 换了环境变黑了怎样才可以变白啊 传统通信电源系统由哪几部分组成? 法的特征 包括哪几项?A 由国家指定或认可B 具有规范性C 体现统治阶级意志D 以国家强制力保证实施 对于绿色植物来说下列哪种物质不需要从环境中吸收A水B二氧化碳C有机物D无机盐 都没意思 很烦 很无聊 还有好多的烦恼 比较倒霉 好像处处在针对我一样 做什么 都会有好多倒霉的事情 这样的生活有意思吗 谁帮我想一个诚信的同义词我想要一个词.是要跟诚信一个意思的.同义词之类的都可以! 举措 措施 方法 三个词有什么区别~分别该怎么用? 在这世界上我活的还有意思吗?没有人在乎我的感受、从在 实事求是的同义词,要四字以上的短语… ‘措施’和‘方法’有什么不同例如,为了xx能够xx,我们特意列出了一些预防的措施及方法.请问这个是病句吗?预防措施和预防方法有不同吗?如果错了,应该怎样说 下列词的同义词 诚恳 愚蠢 差异 适宜 选择题“排他法”的几种类型求答案 指挥方式和方法有哪些?你能比较几个方法,然后说明吗? 诚实的近义词是什么 诚实的反义词、同义词 选择题第一题求方法 章程是对某一方面的工作作比较全面,系统的规定.判断:说明: 决策树是什么, 坚持的事例写一些好的事例 昙花终于怒放 ①我爱昙花. ②三年前的春天,朋友亲自给我送来一株昙花亩,种在白瓷壶里,枝叶铁青如剑,精心系上的红丝带临风飘拂.我高兴极了! ③不久,我便依照朋友的嘱咐,把这株昙 停车场系统都有哪些优点呢? 日常生活中有关坚持的事例,不是有关于名人的要新颖的,不要是什么我通过坚持不懈终于学会了什么什么······
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘