说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

电信级数据流量与监控系统部署案例分享

HTML文档下载 WORD文档下载 PDF文档下载
手中握有数据的公司企业仿佛就是站在金矿上,通过不断挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。

编者按:挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。今天分享的内容就是永洪大数据一个大数据分析平台的搭建部署案例。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为原文:

夜深了,电话铃声响起!这不是恐怖片的开头,却是我们工作的开始。

2013年5月,我们收到一个电话线索,客户需要支持几十亿数据量的实时查询与分析,包括数据抓取和存储,我们经过一番努力提出一个解决方案,客户觉得有些不妥,决定自己招聘Hadoop团队,实施该系统……

半个月后,客户打来第二个电话,明确表示Hadoop未能满足实时大数据分析的需求,决定接受我们的方案,但是客户要求我们不仅出产品,还要负责实施……

于是乎,开工!

项目价值

CMNET网间流量分析与监控系统(简称流控系统),是中国移动分公司的一个项目。项目要求能基于时间、地区、运营商、业务、App、IP分组、域名等维度对全省的上网流量进行实时分析和报告。这些分析报告能给客户带来如下好处:

1. 实现对接入链路和基站的全程监控。例如,一旦来自某链路或基站的流量很低,可及时对链路和基站进行检修,这将大大降低故障率。

2. 由于具备了对链路和基站进行全程监控的能力,客户可以对链路和基站的带宽进行动态调整,基于需求进行合理的资源配置。

3. 覆盖全省的全量数据,能提供基于业务/地域/App/行业/域名等维度的数据分析报告,具备100%的可信度和极高的商业价值。

数据流向

上网数据从硬件设备中抓取出来,形成压缩的日志文件存储在服务器上,服务器每五分钟生成新的日志文件。该服务器提供FTP访问。

我们方案中承担的流控系统,将通过FTP每五分钟访问一次日志文件服务器,将新生成的压缩日志文件抽取出来。这是一个典型的、增量更新的ETL过程,如下:

1. Extract: 定期抽取的日志文件并解压缩。

2. Transform: 解析出上网信息,同MySQL的维度表进行关联,生成包括业务/地域/App/行业/域名等维度的宽表。

3. Load: 将数据装载入我们的分布式集市。

初期验证(POC)

中国移动的日志数据分G类和A类,各取几块样本日志文件,验证数据流向的可行性以及性能。

我们很快完成了ETL的整个过程,宽表数据被成功地装载入我们的分布式集市。

性能上,我们按照用户提出的每天数据量5000万条增量,计算出支持100天50亿数据量的分布式集群所需的磁盘空间、内存总量、和CPU总量。由于客户一再强调预算有限,于是配置了6台低配PC server:1cpu x 4core,32G内存,1T硬盘。

我们模拟了常用的用户场景,整个系统的响应能力基本满足需求。系统架构如下: 

           
系统架构图

正式实施

中国移动分公司的上网数据在内网,一般不提供外网连接,需要严格申请之后才能在一定时间内提供外网连接。因而,我们先把整个系统的ETL工作开发完成之后,才正式申请了外网连接进行数据装载。

从开始进行上网数据的ETL工作,我们就发现数据量与预期严重不符。预期的上网数据是每天不超过5000万条,但实际上每天的上网数据在6亿条以上,100天保存的数据量将会达到惊人的六百亿条。6台低配PC server有点小马拉大车的感觉,完全达不到“海量数据、实时分析”的设计目标。我们赶紧联系客户,确定上网数据每天6亿条以上,而不是之前预估的每天5000万条左右。怎么办?

系统重构

经过与客户的详细沟通和理性分析,大家一致决定进行系统重构。

上网数据的日志文件是5分钟粒度的。我们将上网数据按照分析需求分为两类:

1. 细节数据:保留三天的细节数据(5分钟粒度),共约20亿条。这样,由于保留了细节数据,客户可以对近三天的上网数据进行任意的探索式BI分析。

2. 汇总数据:在认真研究了流控系统的分析报告需求之后,我们将五分钟的细节数据汇总为两小时的汇总数据。这样数据量可以降到约为原来的1/10,100天的数据总量大约60亿条。

重构之后的数据流如下:


数据流图

后期,我们陆续进行了一些系统调优,包括JVM调优、存储调优、计算调优等等。客户打开一个Dashboard的响应时间基本控制在秒级,最极端的分析报告也能在一分钟之内生成。基本实现了“海量数据、实时分析”:

1. 系统定期推送日报、周报和月报。

2. 系统支持探索式BI分析。多数分析请求达到了秒级响应。

案例总结

1. 项目的数据量非常大,100天超过600亿条日志;

2. 项目的预算非常有限,采购了6台低端PC Server。硬件投入不大,软件性价比也很高;

3. ETL过程难度较高,随着降维的需求加入,BI层难度也相应提高;

4. 为达到秒级响应,以支持探索式BI的交互式分析,对系统进行了多个层面的优化。

结束语

有了大数据,还要从大数据中提取价值,离不开分析工具,通过丰富的分析功能,在繁杂的数据中找到其中的价值。而大数据给分析提供了一定的挑战,需要高性能计算做支撑,才能在大数据的金矿中挖到金子。

这些案例的成功实施和上线,完美诠释了我们的大数据之道:大数据,小投入


以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上 报名 ! 

微软2014,有你期待的吗? 映趣科技发布inWatch Z/inWatch X 后者采用全彩透明柔性屏 程序员没有天才:暴风影音首席架构师鲍金龙访谈 开放式创新改变世界——OpenStack生态系统将重新洗牌 Java 8最终发布日期敲定,即使有bug也要发布 Meteor PK Django,谁更适合开发实时Web应用? 学编程就像选家具:去宜家还是从种树开始? 前车之鉴 十二个年度最差设计网站汇集 冷暖交替,2014年编程兴衰趋势预测 诺基亚出Android手机,微软或将受惠 苹果不收购Nest的大猜想 Netflix开源S3一致性提升利器S3mper Fi 《近匠》第06期:UCloud——目标!完整云服务 小三上位:Windows Phone不容忽视的契机 “详解Visual Studio 2013”全国巡讲北京站:无忧开发iOS及Android应用 Chrome最新版:快速静音及在Win8中建Chrome OS系统 雅虎COO Henrique de Castro因业绩不佳被解雇 分析比特币背后的数据算法,抢占背后巨大市场先机 美食菜谱将会成创业风口的两大理由 Windows XP杀毒软件更新 将被延至2015年7月 小心,商家已经盯上你了 一软一硬 让你时刻保持清醒的可穿戴产品 寓教于乐 贝瓦依托移动平台打造中国式儿童“轻教育” 中科创达:CES2014上的中国红 SA:2014年移动互联网十大技术创新预测 回顾2013:HBase的提升与挑战 Google打造云中Hadoop便捷版,强势对抗AWS 【信息图】专业Web设计师和业余设计师的发展状况并不协调 先试后买:Agawi推新型广告服务AppGlimpse 搜狗CEO王小川:“硬件免费”是误区 平均比Hive快24倍,Impala剑指Stinger 天啊!救命啊!! 如何在客户端IE中执行服务器上的应用程序呢,十万火急。请各位大虾不吝赐教 :如何将包含各种数据类型的文件读入,而且要考虑文件的定位(比如从文件最后一个数据往前读) 如何响应wm_nchittest 消息? SHELL是否可以调用网络资源 在PHP中使用word COM对象的问题。 请教一个问题:如何反回一个MonthCalendar1控件上的的周期(控件上有显示,但不知道如何在程序中得到)? 老板叫我做一个界面,跟VC的界面视图一样, 能不能作一个中文编译器??? 我不要活了。。。 菜鸟:一个小问题 基于对话框的程序中,使用了Tree Control和Edit box,如何在Edit box中显示TreeControl中选中的文本文件的内容。希望提供类似的例子。 ★★★★★★★紧急求救★★★★★★★★ 寻找丢失的分区表!!! windows2000进入“等待”后,唤不醒是怎么回事,请指点! jsp数据库中的Date类型? 在vb中如何进行时间比较?例如1 / 7 / 17 10:00:00 - 1 / 7 / 17 00:00:00 得到一个值?? 请问如何获得其他机器的网卡MAC地址?非常感谢!!! 别了,最爱的BCB! 如何判断一个指向窗口的指针可用? 请教高手:怎么样破windows2000的登陆密码?其密文存放在什么地方? 急:哪里有电子文档 找到找到 网络编程、大虾有请!如何获得当前每秒的字节数? 各位高手,有人喜欢用mysql吗?谈谈这个东东吧 大富翁怎么连不上了? 各位武汉的大虾,请教武汉程序员、高级程序员、系统管理员(正规的大公司)、以及用JAVA做开发的工资一般为多少。希望大家给予帮助!!前途问题!! 网络编程大虾有请!如何获得当前每秒的字节数? 怎样在treeview中设置背景图片 to 版主:精华区太乱了,请给予分类。谢了 听说VB可以写PAD的程序,TRUE? JLabel中文本换行问题 马上要开始学BCB,请问BCB有那种类似于VC的创建类的向导吗,看到BCB的界面我就想到DELPHI中创建类的难度 我的游戏引擎BATTLEFIELD作好了,欢迎下载(这次是真的) 一个pop_up menu的问题 那位高手知道在SDK中使用ADO的方法 为普天之下正直而上进的程序员找一个温馨的家 为什么不能把JMF包打进去??? 内存泄露是指例如“为对象分配一个内存区后,未删除内存区,但删除了对象”是吗? 装pws时遇到的麻烦! to freezwy(网络自由人) 有没有限制上传图片大小的asp代码??(不是组件) 还是没有解决!!! 有关VC中数据库绑定的问题! 扔个骨头……下个“圈套”,呵呵? ^_^ 紧急情况!如何改变DataGrid控件中个别行的颜色?? 如果实现断开共享目录的连接 acces 表 SQL语句中如何转换字符型字段为整型? First-chance exception 请教directx的一个入门问题? 诚征MM中…… 多线程问题?? 610乘800等于多少? 无限循环小数是有理数,都是可以化成分数形式, 推荐一下雷鬼音乐 60乘800等于多少?60乘800等于48000 “有理数可以表示成分数的形式”对吗 推荐几条鲍勃 迪伦bob dylan的最经典歌曲.要最经典、百听不厌的. 3吨50千克等于几分之几吨要化成最简分数 有理数都能写成分数形式,那0呢? 请问一首鲍勃.迪伦(Bob Dylan)的歌名windows xp 第一次发行的时候,捆绑的windows media player 里面自带了一首美国乡村歌手鲍勃.迪伦(Bob Dylan)的歌,我忘了是歌名, ( )/( )=0.28=几分之几=( )% 任何一个有理数都可以表示成分数的形式吗?急 Forever Young 歌词翻译! 4是28的几分之几的答案是多少 凡是有理数都可以化成分数吗 英语翻译如题,这首歌还行,顺便推荐一下. ( )÷5=几分之几=0.4=10﹕( )=( )% 小数,分数可不可以都化成有理数?在分类题当中,小数、分数可不可以互化?分母能被分子整除的算不算做整数? 鲍勃迪伦是不是跟 披头士 杰克逊 猫王一样出名?经典之作是什么?不要复制 6分之5 既表示1的几分之几,还表示5的几分之几 把0.017(17循环)化成有理数(分数) 求芭比钻石城堡中的《we're gonna find it》的合唱谱就是两个人在小酒馆里唱的,我想和同学表演,所以希望能找到歌谱,如何合唱.谢谢! 3/1是5/6的几分之几?3/1表示3分之13/1是5/6的几分之几?24/5是36/25的几分之几?大大大大大虾们 可以OK么?3分之1是6分之5的几分之几,24分之5是36分之25的几分之几 算式这么列? 一个最筒分数,如果把分子减1,可以约成1/2;如分子如1,可约成2/3.问这个最筒分数是几分之几? 求芭比里的一首歌we are going to find itwe are going to find it 某食堂本月改进炉灶后,比原计划节约用煤五分之一,正好节约2吨.本月实际用煤多少吨? 0.6里面有6个几分之一表示几分之几 0.48=几分之几(分数) 食堂运来3吨煤.计划可以烧20天.由于改进炉灶,每天可比计划节约30千克,这批煤现在可以烧多少天?第二个问题:甲乙两个仓库存有大米,乙仓库比甲仓库少2800千克,甲仓库大米的重量是乙仓库的 ∠A=90度,BD是△ABC的角平分线,DE是BC的垂直平分线,求∠ABC和∠CDE的度数. 百分之12.5怎样化成分数? 某食堂改造炉灶后,每天节约用煤60千克,这样原来计划用32天的煤,现在可以用48天.这堆煤共有多少千克? 已知关于x的不等式组{x-a≥0,5-3x>-1,它的整数解共有5个,求a的取值范围. 把下面的百分数化成分数 50% 75% 40% 12.5% 10% 水泥厂食堂运回3吨煤计划可以烧20天,改进炉灶后,这批煤烧了25天,实际平均每天比原计划节约用煤多少千克 已知5x-3y-2=0,则1010x ÷106y =(        ) 12.5化成分数是多少 食堂改进炉灶后,每月比计划少用煤五分之一,正好节约十分之九吨,现在每月实际用煤多少吨 某商场以50元/件的价格进来一批羊毛衫.前期市场点调查表明:如果以60元/件的价格卖出,则每周可卖出100件,在此基础上销售价格每件增加5元,则周销售量减少4件.假设该商店把销售价格定为x 将0.252525252525.化为分数 一项工程,计划10天完成,实际8天完成任务,工作时间缩短了20%,工作效率提高了25%!为什么?工作时间缩短了:(10-8)÷10=20%工作效率:原来10天完成,每天10分之1,实际8天完成,每天8分之1.提高了: 小明向一个底面为30cm*30cm的长方体玻璃容器中装满水,并将一部分水倒入一个正方体铁桶中,当这个正方体铁桶装满水时,长方体容器中的睡眠下降了20cm,则这个正方体铁桶的棱长有没有超过25cm? 分数化成小数:12分之5 一件工作,原计划10天完成,实际8天完成,工作时间缩短了()%?工作效率提高了()%A12.5 B20 C25 D10(是选择题) 快急!19/78是几分之几? 把小数化成分数0.75 3.42 2.12 一项工作,原计划十天完成,实际八天完成,工作时间缩短了百分之几,工作效率提供了百分之几工作效率是10/8-1=25%吗这道算式的思路是什么 一杯牛奶,第一次喝了全杯的2分之1,第二次喝了全杯的4分之1,还剩全杯的几分之几?快 将下列小数化成分数:0.85=( ) 3.12=( ) 一件工作,原计划10天完成,实际8天完成,工作时间缩短了百分之多少,工作效率提高了百分之多少? 1.22222 ×9-1.33332 ×4=(        ) 18.4%怎样才能化成分数或小数, 一箱工程原计划25天完成,实际提前了5天完成,工作时间缩短了几分之几? 100分之28化成最简分数是几分之几? 芭比之歌星公主 我在这 中文版歌词 求啊.各种球 一件工作,原计划10天完成,实际8天完成,工作时间缩短了( )%,工作效率提高了( )%. 100分之304化成最简分数 here i am歌词(芭比之歌星公主) I wish i had life歌词(芭比之歌星公主) how high we can fly 歌词最好还有princess want have fun歌词 完成一项工程的时间由5小时缩短到4小时,工作效率提高了几分之几?要有思考过程 成绩优秀率=几分之几*100%人员的出勤率=几分之几*100%急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急 急需一份雷鬼音乐的英文介绍与一份Bob Marley的英文介绍一定是纯英文翻译!不是翻译软件翻译出来的!reggae与hip-hop,jazz的节奏有什么关系?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn