说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

电信级数据流量与监控系统部署案例分享

HTML文档下载 WORD文档下载 PDF文档下载
手中握有数据的公司企业仿佛就是站在金矿上,通过不断挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。

编者按:挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。今天分享的内容就是永洪大数据一个大数据分析平台的搭建部署案例。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为原文:

夜深了,电话铃声响起!这不是恐怖片的开头,却是我们工作的开始。

2013年5月,我们收到一个电话线索,客户需要支持几十亿数据量的实时查询与分析,包括数据抓取和存储,我们经过一番努力提出一个解决方案,客户觉得有些不妥,决定自己招聘Hadoop团队,实施该系统……

半个月后,客户打来第二个电话,明确表示Hadoop未能满足实时大数据分析的需求,决定接受我们的方案,但是客户要求我们不仅出产品,还要负责实施……

于是乎,开工!

项目价值

CMNET网间流量分析与监控系统(简称流控系统),是中国移动分公司的一个项目。项目要求能基于时间、地区、运营商、业务、App、IP分组、域名等维度对全省的上网流量进行实时分析和报告。这些分析报告能给客户带来如下好处:

1. 实现对接入链路和基站的全程监控。例如,一旦来自某链路或基站的流量很低,可及时对链路和基站进行检修,这将大大降低故障率。

2. 由于具备了对链路和基站进行全程监控的能力,客户可以对链路和基站的带宽进行动态调整,基于需求进行合理的资源配置。

3. 覆盖全省的全量数据,能提供基于业务/地域/App/行业/域名等维度的数据分析报告,具备100%的可信度和极高的商业价值。

数据流向

上网数据从硬件设备中抓取出来,形成压缩的日志文件存储在服务器上,服务器每五分钟生成新的日志文件。该服务器提供FTP访问。

我们方案中承担的流控系统,将通过FTP每五分钟访问一次日志文件服务器,将新生成的压缩日志文件抽取出来。这是一个典型的、增量更新的ETL过程,如下:

1. Extract: 定期抽取的日志文件并解压缩。

2. Transform: 解析出上网信息,同MySQL的维度表进行关联,生成包括业务/地域/App/行业/域名等维度的宽表。

3. Load: 将数据装载入我们的分布式集市。

初期验证(POC)

中国移动的日志数据分G类和A类,各取几块样本日志文件,验证数据流向的可行性以及性能。

我们很快完成了ETL的整个过程,宽表数据被成功地装载入我们的分布式集市。

性能上,我们按照用户提出的每天数据量5000万条增量,计算出支持100天50亿数据量的分布式集群所需的磁盘空间、内存总量、和CPU总量。由于客户一再强调预算有限,于是配置了6台低配PC server:1cpu x 4core,32G内存,1T硬盘。

我们模拟了常用的用户场景,整个系统的响应能力基本满足需求。系统架构如下: 

           
系统架构图

正式实施

中国移动分公司的上网数据在内网,一般不提供外网连接,需要严格申请之后才能在一定时间内提供外网连接。因而,我们先把整个系统的ETL工作开发完成之后,才正式申请了外网连接进行数据装载。

从开始进行上网数据的ETL工作,我们就发现数据量与预期严重不符。预期的上网数据是每天不超过5000万条,但实际上每天的上网数据在6亿条以上,100天保存的数据量将会达到惊人的六百亿条。6台低配PC server有点小马拉大车的感觉,完全达不到“海量数据、实时分析”的设计目标。我们赶紧联系客户,确定上网数据每天6亿条以上,而不是之前预估的每天5000万条左右。怎么办?

系统重构

经过与客户的详细沟通和理性分析,大家一致决定进行系统重构。

上网数据的日志文件是5分钟粒度的。我们将上网数据按照分析需求分为两类:

1. 细节数据:保留三天的细节数据(5分钟粒度),共约20亿条。这样,由于保留了细节数据,客户可以对近三天的上网数据进行任意的探索式BI分析。

2. 汇总数据:在认真研究了流控系统的分析报告需求之后,我们将五分钟的细节数据汇总为两小时的汇总数据。这样数据量可以降到约为原来的1/10,100天的数据总量大约60亿条。

重构之后的数据流如下:


数据流图

后期,我们陆续进行了一些系统调优,包括JVM调优、存储调优、计算调优等等。客户打开一个Dashboard的响应时间基本控制在秒级,最极端的分析报告也能在一分钟之内生成。基本实现了“海量数据、实时分析”:

1. 系统定期推送日报、周报和月报。

2. 系统支持探索式BI分析。多数分析请求达到了秒级响应。

案例总结

1. 项目的数据量非常大,100天超过600亿条日志;

2. 项目的预算非常有限,采购了6台低端PC Server。硬件投入不大,软件性价比也很高;

3. ETL过程难度较高,随着降维的需求加入,BI层难度也相应提高;

4. 为达到秒级响应,以支持探索式BI的交互式分析,对系统进行了多个层面的优化。

结束语

有了大数据,还要从大数据中提取价值,离不开分析工具,通过丰富的分析功能,在繁杂的数据中找到其中的价值。而大数据给分析提供了一定的挑战,需要高性能计算做支撑,才能在大数据的金矿中挖到金子。

这些案例的成功实施和上线,完美诠释了我们的大数据之道:大数据,小投入


以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上 报名 ! 

VB编写键盘拦截程序 VB常见问题解答(1) VB程序中处理随机事件 VB的多媒体控件VBPLAY.VBX简介 VB技巧点滴 VB技巧汇编 (一) VB剪贴板的用法 VB开发CAI软件的小经验 VB软件设计中的几个问题 VB新手常见问题解答 VB修改注册表一特例 VB与VC混合编程中处理消息的方法 VB中的进制转换是怎样的? VB中调用带参数存储过程的实现(数据库) VB中感叹号“!”与圆点“.”的用法差异 VB中如何实现注册表的读写 VB中实现“擦视”技术 Visual Basic 2000年问题 Visual Basic 的未来 Visual Basic 命令分类表 Visual Basic三级跳 Visual Basic使用技巧 Visual Basic中的子类处理技术 Visual Basic中软件封面技术探秘 VisualBasic 软件设计中的几个问题 Windows 95/NT 运行了多长时间 -VB资料 Windows 的登录资料库 -VB资料 把回车键变成TAB键-VB资料 把文件置入到Text或RichText中 -VB资料 避免按 [ENTER] 回车键产生的“嘀”声 -VB资料 避免使用全局变量-VB资料 我要实现这样的一个简单的功能,很简单的,在线等待!急. 怪事:关于CHM的帮助文件的问题? udpsocket怎么用,在收到数据时,发送二进制数组对一些设备分配ip? 源代码分析 通过weblogic的连接池连接sysbase,出现的怪现象 唉,今天刚到公司上网看一下新闻,竟然被行政总监说了!大家说说看 一个简单的SQL命令问题,线上等待。正确的我都给分 菜问题!我添加了#include "ICMPHeader.h",然后就出错了。 高分求救-漂亮的JSP页面代码 高手紧急求救!!! 我要移动listbox中的值!! 急问Flash... 对于高手很easy问题! 这个语句错在哪里:能不能用字符去逐个的初始化一个字符串 安装SQL时没有选择默认,而是自己新建一个实例,这样如何实现远程代码连接?? 急问Flash conning333(chen)来接分 webapps\ROOT\WEB-INF\web.xml的配置问题 如何清除WEBSPHERE的缓存?一个JSP文件总是无法更新,我重启WEBSPHERE也好,修改该JSP并重新保存也好,都是显示旧页面,真气人! 源代码分析 怎样在DW中制作垂直的线条????急 ! 急!在线等待!!!! 关于dir()的小问题, 这个问题已困惑我几天啦,均没人帮我解决真的好盼望呀 急问FLash 高分求教:一个DataGrid显示双DataTable!走过路过都有份! 怎样代码控制servers中excel的合并单元格?? google能找到我了,散分咯 急问Flash. ADOCE怎样访问excel数据表格? 请 ccmoon(IzuaL) 和 cloudchen(陈系上) 进来领分, 我该怎么做? 关于将输入字母转换为大写的问题! 谁给我解释这个sql语句! 怎么将sql server 6.x 的备份文件,恢复到sql server 7上 请教pb中有没有模式窗口和非模式窗口的概念?? 设备内容句柄在Delphi中有这个类吗?如何表示? hxzhappy(冰雨)快来接分 请问在contexMenu控件中show方法如何写 请问用VC,如何在WIN2000下连接一个SQL数据源? 入参与出参 关于国外发布的软件,可以使注册用户在线或取注册码! win2000下怎样建立代理服务器 有关DBGrid的问题。 在其他版看到一个很有意思的贴子“如果是你招聘人,你会不会招和自己技术,资历差不多的,甚至超过自己水平的?”欢迎大家讨论。 急!关于innerhtml的错误? hxzhappy(冰雨)快来接分 在线求助,急 请教各位,我的sybase的数据库的log设备(即syslogs表)最近增长很快,每天增长40多兆,如何解决??? 想做一个网络代理上网 c语言中三维数组的问题??? 求助:word文件加密后忘记密码如何打开原文件? 影响加油站布局的主要因素是 A 机动车流量 B居民区人口数量C 汽车制造厂的位置 D炼油厂的位置 一道高一几何题,已知平面α平行平面β,P是α、β外一点,过点P的直线m与α、β分别交于A、C,过点P的直线n与α、β分别交于B、D,且PA=6,AC=9,PD=8,则BD的长为? 手动剃须刀刀片锋利还是电动剃须刀刀片锋利 我想用行程开关来使丝杠上的装置做往复运动,但是不知道应该装在哪里, miku的妄想税罗马发音要分开的 hatsune miku 读音RT...最好用通俗点的读音吧...英语盲看不明...我只想说。这个的中文翻译为--初音未来 雪花为何呈六角形? 人是什么,死后到哪里去,地球呢真实的 人为什么会来到这个世界,死后去了哪里,来到这个叫做地球的物质上面,转一圈是为了 地球不在了,人会在吗 CO和H2的混合气体21.2g,与足量O2反应后,通过足量Na2O2,固体质量增加多少,为什么 日本将于明年4月正式加入海牙公约 涉“神医”胡万林出狱重操旧业 学生听信贫困县村民建好羊圈没钱买羊 银行称羊俄罗斯暴力事件频发 普京抨击外国势力美民调:58%民众支持大麻合法化 比日媒:赴韩中国游客首超日本凸显三国关阿根廷与欧盟生物柴油贸易纠纷致阿损失非法行医为何屡禁不止? 彻底根治需要美称在叙利亚西方记者有遭绑架危险 应西安“3干部被羁押工资照发” 官方称摩根大通面临又一笔潜在巨额索赔 显银陈凯歌新片女主角起用新人世茂时尚欢乐影城古人眼中最美的乳房:丰满肥硕香气微醺工地食堂用工业盐被查飞来“横球”致人伤 社区民警调解忙武汉第七批3551光谷人才计划启动 气象帅宝贝:周岳泽灯具以旧换新 7天专场超值回报环保部:举报案65%涉大气 广东数量李某某案今宣判获刑10年 本网律师团爱文装饰
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘