说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

电信级数据流量与监控系统部署案例分享

HTML文档下载 WORD文档下载 PDF文档下载
手中握有数据的公司企业仿佛就是站在金矿上,通过不断挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。

编者按:挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。今天分享的内容就是永洪大数据一个大数据分析平台的搭建部署案例。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为原文:

夜深了,电话铃声响起!这不是恐怖片的开头,却是我们工作的开始。

2013年5月,我们收到一个电话线索,客户需要支持几十亿数据量的实时查询与分析,包括数据抓取和存储,我们经过一番努力提出一个解决方案,客户觉得有些不妥,决定自己招聘Hadoop团队,实施该系统……

半个月后,客户打来第二个电话,明确表示Hadoop未能满足实时大数据分析的需求,决定接受我们的方案,但是客户要求我们不仅出产品,还要负责实施……

于是乎,开工!

项目价值

CMNET网间流量分析与监控系统(简称流控系统),是中国移动分公司的一个项目。项目要求能基于时间、地区、运营商、业务、App、IP分组、域名等维度对全省的上网流量进行实时分析和报告。这些分析报告能给客户带来如下好处:

1. 实现对接入链路和基站的全程监控。例如,一旦来自某链路或基站的流量很低,可及时对链路和基站进行检修,这将大大降低故障率。

2. 由于具备了对链路和基站进行全程监控的能力,客户可以对链路和基站的带宽进行动态调整,基于需求进行合理的资源配置。

3. 覆盖全省的全量数据,能提供基于业务/地域/App/行业/域名等维度的数据分析报告,具备100%的可信度和极高的商业价值。

数据流向

上网数据从硬件设备中抓取出来,形成压缩的日志文件存储在服务器上,服务器每五分钟生成新的日志文件。该服务器提供FTP访问。

我们方案中承担的流控系统,将通过FTP每五分钟访问一次日志文件服务器,将新生成的压缩日志文件抽取出来。这是一个典型的、增量更新的ETL过程,如下:

1. Extract: 定期抽取的日志文件并解压缩。

2. Transform: 解析出上网信息,同MySQL的维度表进行关联,生成包括业务/地域/App/行业/域名等维度的宽表。

3. Load: 将数据装载入我们的分布式集市。

初期验证(POC)

中国移动的日志数据分G类和A类,各取几块样本日志文件,验证数据流向的可行性以及性能。

我们很快完成了ETL的整个过程,宽表数据被成功地装载入我们的分布式集市。

性能上,我们按照用户提出的每天数据量5000万条增量,计算出支持100天50亿数据量的分布式集群所需的磁盘空间、内存总量、和CPU总量。由于客户一再强调预算有限,于是配置了6台低配PC server:1cpu x 4core,32G内存,1T硬盘。

我们模拟了常用的用户场景,整个系统的响应能力基本满足需求。系统架构如下: 

           
系统架构图

正式实施

中国移动分公司的上网数据在内网,一般不提供外网连接,需要严格申请之后才能在一定时间内提供外网连接。因而,我们先把整个系统的ETL工作开发完成之后,才正式申请了外网连接进行数据装载。

从开始进行上网数据的ETL工作,我们就发现数据量与预期严重不符。预期的上网数据是每天不超过5000万条,但实际上每天的上网数据在6亿条以上,100天保存的数据量将会达到惊人的六百亿条。6台低配PC server有点小马拉大车的感觉,完全达不到“海量数据、实时分析”的设计目标。我们赶紧联系客户,确定上网数据每天6亿条以上,而不是之前预估的每天5000万条左右。怎么办?

系统重构

经过与客户的详细沟通和理性分析,大家一致决定进行系统重构。

上网数据的日志文件是5分钟粒度的。我们将上网数据按照分析需求分为两类:

1. 细节数据:保留三天的细节数据(5分钟粒度),共约20亿条。这样,由于保留了细节数据,客户可以对近三天的上网数据进行任意的探索式BI分析。

2. 汇总数据:在认真研究了流控系统的分析报告需求之后,我们将五分钟的细节数据汇总为两小时的汇总数据。这样数据量可以降到约为原来的1/10,100天的数据总量大约60亿条。

重构之后的数据流如下:


数据流图

后期,我们陆续进行了一些系统调优,包括JVM调优、存储调优、计算调优等等。客户打开一个Dashboard的响应时间基本控制在秒级,最极端的分析报告也能在一分钟之内生成。基本实现了“海量数据、实时分析”:

1. 系统定期推送日报、周报和月报。

2. 系统支持探索式BI分析。多数分析请求达到了秒级响应。

案例总结

1. 项目的数据量非常大,100天超过600亿条日志;

2. 项目的预算非常有限,采购了6台低端PC Server。硬件投入不大,软件性价比也很高;

3. ETL过程难度较高,随着降维的需求加入,BI层难度也相应提高;

4. 为达到秒级响应,以支持探索式BI的交互式分析,对系统进行了多个层面的优化。

结束语

有了大数据,还要从大数据中提取价值,离不开分析工具,通过丰富的分析功能,在繁杂的数据中找到其中的价值。而大数据给分析提供了一定的挑战,需要高性能计算做支撑,才能在大数据的金矿中挖到金子。

这些案例的成功实施和上线,完美诠释了我们的大数据之道:大数据,小投入


以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上 报名 ! 

详解Amazon Redshift 移动周报:再见,2012!你好,2013! 英特尔或在2月宣布其电视计划:提供分类频道 Prismatic:用机器学习分析用户兴趣只需10秒钟 谷歌布局亚太地区数据中心建设 服务响应速度有望提升30% 2013年移动互联网行业技术趋势前瞻 老骥伏枥志在千里:回顾微软这一年 2013或将崛起 水落石出:在与谷歌苹果竞购创业公司中微软胜出 用扁平化的界面设计吸引用户 2012年12月份全球主流浏览器市场份额排行榜 冲榜不一定要刷榜:增加游戏曝光度的7大杀手锏 科技vs政治:FTC对Google的反垄断调查结束背后 威胁百度:奇虎360确认将与谷歌达成合作关系 Facebook更新Messenger应用 推免费网络电话服务 网上疯传iOS7概念设计:Dashboard是真是假? 过时的UI设计 Ubuntu手机系统前途不被看好 三星将于今年发布Tizen设备 将对苹果形成威胁? 分享9条经典的编程语录 国际著名黑客大赛介绍与比较 微软Azure CDN服务全球范围内出现宕机 双向多功能U盘:从Android设备到PC还有多远? 证明了自己:微软Win8获美国防部6.17亿订单 2013 Facebook黑客杯报名即将开始 解决Win8下IE10无法打开的故障 [简讯] Scala 2.10.0发布! 收购传闻:Apple一厢情愿还是Waze待价而沽 回顾过去,展望2013:移动开发引擎、工具和语言盘点 成本为0!Netflix开源工具Janitor Monkey清理AWS iOS开发者讲述在Google工作的三个月 GitHub历史上最糟糕宕机事故回放及反省 疑因竞争 谷歌有意让地图与WP手机不兼容 请问Delphi的控件只有bpl、dcu、res、frm,在BCB中怎么使用?谢谢! 怎么把數據寫入.dbf中!!!!!!!!!!!!! 为什么不能在WIN2K下运行?? help!! 哪位高能告诉我怎么做? 头文件怎么写? 有人知道split函数的详细用法吗,各个参数的意义? 真的有所谓的第四种情感吗????? 请问怎样在HTML的编程环境下,能直接读取到JPG和GIF图片文件的高度和宽度(用pixel表示)? 有没有与msxml4.0有关的基础性的文章? ---> 服务器端和客户端软件同时写一个数据项产生冲突,如何解决???急急急 <--- 为什么我的函数声明编译出错 com中如何创建非可视组件实例 有关程序员考试的问题,请大家帮帮忙!!谢谢! session 问题 如何实现文件夹共享 如何用系统监视器查看远程的计算机的系统运行情况? 为什么这段代码不行啊?? 上INTERNET时,如何得到本机拔号IP地址? 多进程使用单值信号量协调,设置 SEM_UNDO, 执行semop 时返回 errno = ENOSPC,如何解决 多进程使用单值信号量协调,设置 SEM_UNDO, 执行semop 时返回 errno = ENOSPC,如何解决 如何用asp连接db2数据库,请附带源码(急) 高分求救 我下载了一个linux2.4.6正式版内核,它是作什么用的?一定给你分,帮帮忙! “神舟三号”飞船发射成功 巨简单,可是俺不会! 上INTERNET时,如何得到本机拔号IP地址?(非局域网IP) 请问如何在DBGRID的TITLE部分,添加自定义按钮或者图像等 多进程使用单值信号量协调,设置 SEM_UNDO, 执行semop 时返回 errno = ENOSPC,如何解决 哪位大侠知道SQL server 里面的updatetext语法怎么写? 两个问题,十分简单,万望指教 偶是新手。要用到sybase数据库,但是只有PB8光盘,听说这上面只有客户端…… 哪里可以找到delphi的函数原型??回者高分伺侯!!!!!!!! 如何将数据邦定到DropDownList控件?(十万火急) 在CB中delete data[] 与delete[] data 有何不同? float 类型 的用法问题(很值得注意呀!!!!!!!!!!!!!!!!!!!!) 在BCB中的Edit菜单下有Tab order,如何才能正确的使用呢?(附详细内容) TWebBrowser 容器中,我发现居然不能拷贝其中选定的内容.为什么,那里出错了吗? 大型表的更新问题 请教:在按页滚动的记录集中怎样得知当前记录所在的页? 谁有2002年度mcse考试试题? 再贴程序员征婚照:) 在线的进来问点问题(jsp/javabean), 实在没有分了其它帖子中送出 请问哪里有介绍用Delphi开发类似Foxmail邮件程序的文章 讨论一下怎么看别人写的代码吧 有个BC源程序用了BC下特有的类complex类,怎样做才能在VC下编译通过? VB高手请进来!!!! 小弟想考cisco认证(ccna),请大家推荐好的书籍和站点! J2EE我下载了,怎么用?安装我会,安装后怎么用? 这段程序有内存泄露吗? 强列抗议???? 重量是4kg的木块,放在水平桌面上,运动时受到的摩擦力是木块中立的0.2倍.(1)要使木块在此水平面上以0.2m/s匀速直线运动,需要对木块施加多大的压力?(2)要是木块在此水平面上以0.5m/s匀速 一个物体在地球表面所受的重力为G1(不计地球自转),在离地面h高处所受的重力为G2,则地球的半径为_____.若已知物体的质量为m,那么在离地h高处的重力加速度为_____ 一个梯形的上底是20cm.上底是5cm.把上底延长5cm ,面积增加20平方cm,那么梯形的高是多少? 小明的体重是48.6千克小华的体重比小明体重的六分之五还少2千克�� 在桌面上推一个小木块,当木块的中心正好推到桌子边缘(一半在桌子上一半悬空),木块会掉下去吗? 一物体在地面受重力为G1,在离地面高H处受重力为G2,则地球的半径为求解 这几款衣服比较好看 本人身高1.69 体重60KG 请大家给点意见 装修材料都有哪些种类? 一物体在地面7受9重力为G1,在离地面高h处受重力为G2,则地球半径是多少 一长轻质木板置于光滑水平地面上,木板上放质量分别为mA=1kg和mB=2kg的A、B两物块,A、B与木板之间的动摩擦因素都为μ=0.2,水平恒力F作用在A物块上,如图所示(重力加速g=则:( ) A.若F=1N,则物块 10项室内装饰装修材料国家标准是什么? 物体在地面上重力为G1,则他在高处地面为R处得重力G2=___,此处的重力加速度g'=___(已知地球表面处重力加速已知地球表面处重力加速度为g0 小明前年体重为40千克,去年减轻了10分之1,今年又增加了10分之1,今年体重是多少千克? 某同学身高1.80m,质量为65kg,站立举手达到的高度为2.20m,设他蹬地的力的大小恒定为1060N,求他的重心下降多少米开始蹬地才能摸到2.65m的高度 一物体在地球表面的重力为G,在离地面高h处所受重力为G2,则地球半径为 小明今年的体重是48千克 某同学身高1.80M,站立举手达到的高度为2.20M他起跳后能摸到的最大高度是2.60m,问他的起跳速度是多大?我就是想问,列了方程以后,(Vt)²-(Vo)²=2gS,居然解得V0的平方是负数,按理说,设竖直向 可多选1一质点在某段时间内做曲线运动,则在这段时间内( )A速度一定不断改变,加速度也一定不断改变 B 速度和加速度都可以不变C速度一定不断改变,加速度可以不变 D 速度可以不变,加速度 MA=2kg的木板在光滑的水平面上以2m每秒的速度向右运动,t=0时,mb=1kg的铁块以va=1米每秒的速度水平向左滑上木板.b于a之间的动摩擦因素=0.1,若b刚好没有滑出木板,则板的长度至少为多少?整个过程 放在斜面上的物体,所受的重力G可以分解为沿斜面向下的的分力G1与垂直斜面的分力G2,但斜面增大时A.G1减小,G2增大 B.都增大 c.都减小 DG1增大,G2减小 如图,在梯形ABCD中,AD‖BC AB=5 AD=2 BC=8 CD=2求梯形的面积 地球上重1千克的物体,到月球上大约重0.16千克.一位宇航员在月球上重11.52千克,他在地球上重多少千克 装饰材料前景如何?什么类型的装饰材料,会更好些? 一.瓶子的质量为300g,装满水后总重量为7.84N,倒掉水,装满某种液体后重为11.76N,这种液体的密度是多少?二.一个物体在月球上受到月球吸引力为98N.问:(1)它在地球受到多少牛的重力?(2)它 1.梯形ABCD中,AD//BC,角ABC=60°,BD平分角ABC,BC =2AB,求四边形ABCD是等腰梯形. 谁知道装饰材料中金属装饰材料的种类及特点?我对这些不懂, 一道高中简单的物理题!(关于重力势能的)!甲,乙两物体的质量之比是2:1.若两物体的重力势能相等,若乙物体的质量为2kg,那么当两物体的重力势能均增加10J,则甲物体的高度增大______m(g取10 梯形ABCD重,AD∥BC,AB=CD,AV⊥BD,若AD+BC=4√2cm,求(1)对角线AC的厂;(2)梯形ABCD的面积再不好意思,太心急打错字。梯形ABCD中,AD∥BC,AB=CD,AC⊥BD,若AD+BC=4√2cm,求(1)对角线AC的长;(2) 装饰材料类型中的金属装饰材料的种类及特点有哪些? 本人身高155.,体重70kg,很自卑,我是一个女生,我应该穿什么样的衣服.而且我胸部也很丰满. 梯形ABCD,AD//BC,对角线AC,BD相互垂直,且AC=8,BD=8,求梯形的高? 起跳摸高是学生常进行的一项活动,小亮同学身高1.72 m,体重60 kg,站立时举手达到2.14 m,他弯曲两腿,再用力蹬地,经0.4 s竖直跳起,设他蹬地的力大小恒为1050 N,不计空气阻力,取g=10 m/s2,求小亮同学 某同学身高1.8m,体重为70kg,在2010年校级田径运动会,他参加背越式跳高比赛,起跳后身体横着越过了1.8m高的横杆.请问 1.他在跳高的过程中克服重力所做的功约是多少(人体在站立式重心离地面 设曲线y=ax3+bx2+cx+d(a<0) 以原点为极小值点,函数图像过点(1,1) 用a表示函数的极大值 放在斜面上的物体,所受重力G可以分解使物体沿斜面向下滑的分力G1和使物体压紧斜面的分力G2为什么G1=G *Sina 用轻弹簧竖直悬挂质量为m的物体,静止时弹簧伸长量为x,现用该弹簧沿斜面方向 2.某同学身高1.8m,在运动会上他参加跳高比赛,起跳后身体横着越过了1.8m高度的横杆,据此可以估算出他离地时获得的竖直向上的速度大约为(取g=l0m/s2)( )A.2 m/s B.4 m/sC.6 m/s D.8 m/s选B, 下列句子中的省略号起什么作用?①表示心理活动的时断时续②表示省略递增的次数③表示语意的跳跃 ④表示说话结巴,欲言又止1.是他来啦?……不,还没来!……为什么把他们报过来 质量为100kg的物体,置于倾斜角为30掳的斜面上,求物体所受重力沿斜面方向的分力G1和垂直于斜面方向上...质量为100kg的物体,置于倾斜角为30掳的斜面上,求物体所受重力沿斜面方向的分力G1和垂 某同学身高1·8m体重70kg,在迎亚运田径运动会上参加背跃式跳高比赛,起跳后身体横着越过了1·8m高的横杆请问:他在跳高的过程中克服重力所做的功约是多少?(人体在站立时重心离地面高度 一个质量为70kg的人在电梯中用体重计称重,发现电梯静止时,体重计读数为( )N当电梯以a=g向下做匀速加速运动时,读数为( )N;当电梯以a=g向下做匀减速运动时,体重计读数为( )N(取g 装潢材料怎么分类 等腰梯形的面积为160cm²,上底比高多4cm,下底比高多20cm,求这个梯形的高 电梯里放有一个弹簧体重计,质量为60kg的人站在体重计上,求下列四种情况中体重计的读数1.电梯不动或匀速运动2.电梯以2m/s2,的加速度匀加速上升3.电梯以2m/s2,的加速度匀减速上升4.电梯做自 建筑装饰材料分类 某同学身高1.8m,在运动会上参加跳高比赛,起跳后身体横着越过了1.8m高度的横杆,求他竖直向上的速度?膳蛙?昂整个小溪像一条金龙,横卧在家乡的土拾见右边几棵青翠的竹,左边是斧民在荆楚灿 一个质量为70kg的人在电梯中用体重计称重,发现电梯静止时,体重计读数为( )N(取g=10N/kg) 装潢材料的分类 等腰梯形的面积为160cm²,上底比高多4cm,下底比高多20cm,这梯形的高是 我身高166厘米体重55千克算很胖吗?要多少才合适?我身高166厘米体重55千克算很胖吗?要多少才合适? 已知直角梯形的上底是20CM,下底是34CM,其中阴影部分的面积是442CM.这个梯形的面积是多少 某同学身高1.8米,在运动会上参加跳高比赛,起跳后身体超越了1.8米高度的横杆,据此可估算出他起跳时竖直上的速度约为多少 已知集合M={x|2x2-3x-90},求(1)M交N(2)M并N 英语翻译Brad Pitt在其中一集中客串了Ross高中同学的角色. 一个梯形的面积是6平方厘米,高是3cm,上底比下底短2.4cm,上底是( )cm,下底是( )cm. 不等式组{x-y+2>=0;x+y+2>=0;2x-y-2所确定的平面区域是记为D,不是0,上面写错了。 英语翻译1、需要许多训练,2、组织一次画展.3、跟他们开玩笑.4、用到挖出尖牙.5、全世界.6、收到许多礼物.7、看舞狮.8、看上去像老虎.9、得到许多红包.10、在午夜.11、在唐人街 某同学身高1.8m,在运动会上他参加跳高比赛,起跳后身体横着越过了1.8m高度的横杆我想知道为什么重心要上升0.9m才能跳过去?为什么要取一半? 一个木块由桌面边缘推出一半的时候,对桌面的压力大小会有什么变化 地球对月亮有没有引力? 贴在墙上的镜子取不下来怎么办
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘