说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

电信级数据流量与监控系统部署案例分享

HTML文档下载 WORD文档下载 PDF文档下载
手中握有数据的公司企业仿佛就是站在金矿上,通过不断挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。

编者按:挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。今天分享的内容就是永洪大数据一个大数据分析平台的搭建部署案例。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为原文:

夜深了,电话铃声响起!这不是恐怖片的开头,却是我们工作的开始。

2013年5月,我们收到一个电话线索,客户需要支持几十亿数据量的实时查询与分析,包括数据抓取和存储,我们经过一番努力提出一个解决方案,客户觉得有些不妥,决定自己招聘Hadoop团队,实施该系统……

半个月后,客户打来第二个电话,明确表示Hadoop未能满足实时大数据分析的需求,决定接受我们的方案,但是客户要求我们不仅出产品,还要负责实施……

于是乎,开工!

项目价值

CMNET网间流量分析与监控系统(简称流控系统),是中国移动分公司的一个项目。项目要求能基于时间、地区、运营商、业务、App、IP分组、域名等维度对全省的上网流量进行实时分析和报告。这些分析报告能给客户带来如下好处:

1. 实现对接入链路和基站的全程监控。例如,一旦来自某链路或基站的流量很低,可及时对链路和基站进行检修,这将大大降低故障率。

2. 由于具备了对链路和基站进行全程监控的能力,客户可以对链路和基站的带宽进行动态调整,基于需求进行合理的资源配置。

3. 覆盖全省的全量数据,能提供基于业务/地域/App/行业/域名等维度的数据分析报告,具备100%的可信度和极高的商业价值。

数据流向

上网数据从硬件设备中抓取出来,形成压缩的日志文件存储在服务器上,服务器每五分钟生成新的日志文件。该服务器提供FTP访问。

我们方案中承担的流控系统,将通过FTP每五分钟访问一次日志文件服务器,将新生成的压缩日志文件抽取出来。这是一个典型的、增量更新的ETL过程,如下:

1. Extract: 定期抽取的日志文件并解压缩。

2. Transform: 解析出上网信息,同MySQL的维度表进行关联,生成包括业务/地域/App/行业/域名等维度的宽表。

3. Load: 将数据装载入我们的分布式集市。

初期验证(POC)

中国移动的日志数据分G类和A类,各取几块样本日志文件,验证数据流向的可行性以及性能。

我们很快完成了ETL的整个过程,宽表数据被成功地装载入我们的分布式集市。

性能上,我们按照用户提出的每天数据量5000万条增量,计算出支持100天50亿数据量的分布式集群所需的磁盘空间、内存总量、和CPU总量。由于客户一再强调预算有限,于是配置了6台低配PC server:1cpu x 4core,32G内存,1T硬盘。

我们模拟了常用的用户场景,整个系统的响应能力基本满足需求。系统架构如下: 

           
系统架构图

正式实施

中国移动分公司的上网数据在内网,一般不提供外网连接,需要严格申请之后才能在一定时间内提供外网连接。因而,我们先把整个系统的ETL工作开发完成之后,才正式申请了外网连接进行数据装载。

从开始进行上网数据的ETL工作,我们就发现数据量与预期严重不符。预期的上网数据是每天不超过5000万条,但实际上每天的上网数据在6亿条以上,100天保存的数据量将会达到惊人的六百亿条。6台低配PC server有点小马拉大车的感觉,完全达不到“海量数据、实时分析”的设计目标。我们赶紧联系客户,确定上网数据每天6亿条以上,而不是之前预估的每天5000万条左右。怎么办?

系统重构

经过与客户的详细沟通和理性分析,大家一致决定进行系统重构。

上网数据的日志文件是5分钟粒度的。我们将上网数据按照分析需求分为两类:

1. 细节数据:保留三天的细节数据(5分钟粒度),共约20亿条。这样,由于保留了细节数据,客户可以对近三天的上网数据进行任意的探索式BI分析。

2. 汇总数据:在认真研究了流控系统的分析报告需求之后,我们将五分钟的细节数据汇总为两小时的汇总数据。这样数据量可以降到约为原来的1/10,100天的数据总量大约60亿条。

重构之后的数据流如下:


数据流图

后期,我们陆续进行了一些系统调优,包括JVM调优、存储调优、计算调优等等。客户打开一个Dashboard的响应时间基本控制在秒级,最极端的分析报告也能在一分钟之内生成。基本实现了“海量数据、实时分析”:

1. 系统定期推送日报、周报和月报。

2. 系统支持探索式BI分析。多数分析请求达到了秒级响应。

案例总结

1. 项目的数据量非常大,100天超过600亿条日志;

2. 项目的预算非常有限,采购了6台低端PC Server。硬件投入不大,软件性价比也很高;

3. ETL过程难度较高,随着降维的需求加入,BI层难度也相应提高;

4. 为达到秒级响应,以支持探索式BI的交互式分析,对系统进行了多个层面的优化。

结束语

有了大数据,还要从大数据中提取价值,离不开分析工具,通过丰富的分析功能,在繁杂的数据中找到其中的价值。而大数据给分析提供了一定的挑战,需要高性能计算做支撑,才能在大数据的金矿中挖到金子。

这些案例的成功实施和上线,完美诠释了我们的大数据之道:大数据,小投入


以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上 报名 ! 

GestureDetector手势识别类 - 进阶篇 MenuInflater Android菜单从xml创建方法 EditText输入提示你知道吗? Android布局Java代码构造法 Android全屏设置代码 测试Android软件性能主要方法 自定义Android标题栏TitleBar布局 获取Android屏幕方向及键盘状态 Android平台XML解析库功能不完整 GestureDetector手势识别类 - 入门篇 不会Java或C,Android123告诉你还有选择 Splash Screen开场屏在Android中的实现 Android游戏开发性能改进要点 Android的Activity你知多少呢? JSONObject在Android上的应用 Android高性能文件类MemoryFile 判断Android文件名是否安全技巧 让你的Android程序兼容多种分辨率 Android Button按钮控件美化方法 Android堆内存也可自己定义大小 TextUtils类-Android字符串处理类 InputSream输入流转String字符串,Android开发工具类 Android中的正则表达式Regex使用 优化Dalvik虚拟机的堆内存分配 Android标题栏进度指示器使用方法 Thread和Looper以及Handler和Message详解 Android开发必读 layout资源包含,android开发必读 Android本地化开发技巧 Android开发网将推出每天一类专题 ExifInterface使用,Android 2.0新增类 GraphableButton类实现Android UI开发 ./ 是什么意思? 如何把WEB Method指定为用GET方法传递常数? 像MSN那种有邮件时就提示的那个小窗口要怎么做? 用什么API函数可以实现big5转换为gb 关于文件上传问题,大家都使用htmlcontrols.htminputfile控件吗? 各位大虾,关于扫描仪的错误2800:0000是指什么错误?急!!! 请问如何在载入页面前,跳出一个询问用户名和密码的窗口,然后验证用户身份? MSsqlserver 意外终止服务 www服务器过一段时间就停止服务? resin 中jsp文件无法显示图片,怎么回事? 请教思归!!asp.net中弹出对话框的问题 debug命令f怎么用呀? 笔记本电池,能外挂吗?~~~~ 工具欄的顯示應算較專業的問題 寻求共同创业的伙伴! COM+组件远程调用问题 如何才能把计算稿保存下来? 急。chr 与ord的运用! 为什么当我在dreamweaver里把表格的单元格宽度设定为像素了,可当我的字符串超过它的宽度,它不换行?而是拉长我的单元格 使用delphi第三方控件出现的问题 用什么函数把int转成nvarchar 关于上网的问题 关于图片的循环移动问题 寻求共同创业的伙伴! 关于Keil C51的编译问题 谁有《 Inside The C++ Object Model》英文版电子版 请教《深入浅出MFC》中有关“动态创建”的一个问题。 图像缩放和居中显示的问题 请教如何用DDraw实现屏幕随鼠标移动而滚动,就象星际中的地图比屏幕大,但可以滚动显示。 一点问题,劳驾各位高手啦。。谢谢!!! 一个双向链表得问提求救啊 截获、修改本地程序通过socket发出的包的问题 请教DDraw资源网? 可不可以把这两个合并成一句查询语句呀 问一下IDirect3DDevice8::SetTransform第一个参数的问题 如何把一个窗体放进动态链接库中? 集合Set 和 数组Array 的问题 论坛出现乱码怎么办?急!急!急!!! 如何使用JList添加记录项???? 谁遇到过VB printer对象在少数机器上乱码的问题,有的机器又是好的。 不能使用make menuconfig?请指教 DBGRID中要点两下才能进行编辑状态,如何只一下就能进入编辑状? 郁闷啦,5。1加班到11点,放分 急需FlashFXP的注册码(当天就给分) 小问题 谁告诉我一个exchange server 的下载地址啊? 为什么我装的 XP在桌面上没有“我的电脑”“Internet Explorer”“网上邻居”“我的文挡”,只有一个回收站??? 论坛开发策划书怎么写? 请教JBUILDER8编译时的问题 ADSL 的问题 关于合并分区的问题,急! 请问图中这是丝苗米还是油粘米?还是其他米种? 龟和鹤共有脚170只,如果将龟数与鹤数互换,则共有脚130只问原来龟和鹤各有多少只? 已经掌握了虫洞技术,能轻易穿越数百万光年的外星人打得过美军航母么? 仿写句子:一朵鲜花点击缀不出绚丽的春天 龟鹤同池,共有100个头,360只脚,龟有几只?鹤有几只? 大学里如何当好一名优秀的班长 照样子写句子.1.一朵鲜花点缀不出绚丽的春天.(再写一句)1 万能的神啊,请你发发慈悲给我指条明路吧,阿门.怎么翻译成英文 什么是“存在即合理” 仿写句子:“人生如絮,飘零在此万紫千红的春天 一只熊下落速度为10m/s,问这只熊是什么颜色? 存在真的即合理吗 仿写 一朵鲜花点缀不出绚丽的春天,万紫千红才春光无限 一只熊以10m/s的速度向下掉落,问:这只熊是什么颜色? 重心一定在物体上吗 阿们英文怎么写 怎样用尔虞我诈造一个错误的句子还要附上错误原因 -7被3除等于多少余几,是等于2余-1还是等于-2余1,还是其他的答案?为什么? 物体放在斜面上时的压力是多少 有一只熊,以10m/s2加速度下落,问熊的颜色?为什麽答案会是灰色 几除几等于7余8 下面是一句英语句子请填写完整(类似首字母填空) S_____ t______ e______ a______ m______要求单词简单一点不要太难句子意思要唯美、不要乱七八糟什么的 这四个人分别代表着什么意思?和这个词应该怎么用? ()除去()等于12余7 基础会计题求为什么!31日,结转本月销售C材料100千克的 成本1200元我的想法是借 其他业务成本-C材料1200 贷 库存商品1200 但是答案是借其他业务成本-C材料1200贷原材料-C材料1200为什么是贷原材 龟鹤共有100个头,350只脚;龟;鹤各多少只? 圆 > :AD是△ABC的高,AE是△ABC的外接圆的直径,试说明弧BE=弧CF.九年级数学《圆》一章的练习题 :AD是△ABC的高,AE是△ABC的外接圆的直径,试说明弧BE=弧CF. 首字母填空:I don't do m__ 龟鹤共有100个头,350只脚.龟、鹤各有多少只? 物体只有受到方向时刻变化的力的作用才作曲线运动 判断 超新星和红巨星之间有什么区别? 龟,鹤共有100只脚,35个头,龟鹤各有多少只?求方程 支持力是画在物体的重心上是吧 请问新星和Ia型超新星定义和形成原理上有和不同?rt 龟鹤同笼,共有51个头,172只脚,请问龟、鹤各有多少只?今晚就要用,鸡鸡鸡,请顺便把过程写下来, 平面上的一个物体,受到水平方向的一个力F而作匀速直线运动.如果根据牛顿第三定侓:(两个物体之间的作用力和反作用力,总是同时在同一条直线上,大小相等,方向相反.)压力和支持力相等 超新星与新星有什么区别? 相对论不是比牛顿力学更精确吗,后者是数学上的一种近似.场方程为何要用到牛顿的万有引力常数? 下列关于重心的说法中正确的是:A.物体所受重力的作用点叫做重心.B.物体的重心才受重力作用.C.质量分布均匀的圆柱体的重心在其轴线的中点.D..球体的重心总在球心. 怎样把word中的表格中的一条线加粗.最好有视频! 外星人有可能是未来人类穿越虫洞来到地球吗? 关于重心,下列说法正确的是A.重心就是物体的中心 B.重心就是重力在物体上的作用点 C.重心一定在物体上 D.重心一定不在物体上.急T^T 怎样做一个显微镜?我想用普通的透镜做一个高倍显微镜,可是不知道原理.原理很难说,不过要说清楚从物镜到目镜的每个镜片的焦距和它们的距离,最好还加上放大倍数. 我的世界pe 苏联核弹发射井(最大) 我是因为高中语文教师,我想去做个对外汉语教师,请问我该准备什么 填上恰当的词语:( )地模仿 外星人可能是从未来穿越虫洞来到地球的吗?如果理论成立,他们在美国的切割牛的事件会不会是未来的牛没了他们需要牛的基因来克隆牛?如果不是穿越虫洞也可能是超光速吗? 物体的重心并不一定在物体的几何中心上 ,为什么错 英语短文答案 帮助你们更快完成作业,更快玩电脑.阿门……The Spring Festival is the Chinese New Year's Day.It usually comes in February.Everyone in China like the Spring Festival .When the Spring Festival comes,Li Lei usually hel 中国有多少核弹发射井 成为高中语文教师需要的准备这些表面的证书不是问题, 龟和鹤有94脚,35个头,龟鹤各多少个 圆环与同心圆的区别请问,圆环的具体意义,到底是同心圆,还是不规则的环形?希望给予准确答案, 高中语文教师招聘面试我们该准备些什么? 动物园有龟鹤若干只已知鹤比龟多14只,鹤脚比龟脚多18只,问龟和鹤各多少只方程算数都可以 判断:组成圆环的两个圆一定是同心圆.() △ABC为O的内接等边三角形ABC,D为弧BC上任一点,AD与BC交于F,证明:(1)BD+DC=ADAB方=AB·BF+AF·DC 有关铁与硫酸盐酸反应的一类题.如果有相同质量的铁和相同浓度及体积的盐酸和硫酸反应,但是生成的氢气体积不同,那么如何判断究竟在两个反应中是哪一个过量?一遇到这样的题我就会想不 马航失事客机是否可能穿越了虫洞或被UFO劫持?似乎扑朔迷离 关于重力的大小和方向,下列说法正确的是 ( )A.在地球上方的物体都要受到重力作用,所受重力与他的运动状态无关,也不管是否存在其他力的作用.B.在地球各处的重力方向都是相同的C.向上 恒大派最强阵出征韩国 穆里奇无碍仍可慈溪再推300套经适房 六大人群符合泰森自传揭咬耳事件真相:他明显地用头NBA总决赛修改赛制 由2-3-2变林丹计划明年2月份再战 提升排名为里南京15条城市视线廊道禁建摩天大楼总决赛-李娜浪费三赛点 首秀艰难击败欧冠-皇马2-1胜十人尤文 C罗2球南京养老床位两年减少2105张 38欧冠-伊布大四喜卡瓦尼破门 巴黎5-欧冠-拜仁5:0比尔森胜利 里贝里2安监总局:居民建筑内不得设置烟花爆竹南京电视评政现场:一官员介绍政策时被报告显示:长三角主要污染物臭氧 PM宁波机场将执行冬春季航班时刻 飞宜昌杭州楼市迎来历史“高库存” 局部价格长春教育局回应\"雾霾天气未及时通知财政部:允许上海自贸区设立保税展示交联合国马里特派团遇袭数人身亡 潘基文环保部对京津冀等重点地区开展大气污染百度百发收益率8%被指违规 回应称未基金淘宝店“月考”成绩现尴尬帮您买便宜好房儿尽在“团居乐”微楼书吉林省第二届百姓购车节12日启幕参加“爸爸日”活动的家庭90个上交《明起229路设区间快巴车《爸爸去哪儿》现在多值钱?《备忘beiwang保罗事发时女儿在现场十位华人荣膺2013年度华人经济领袖游学美国冬令营招生中村民救只大鸟 每天吃两三斤鱼雅芳等6批次化妆品被检出不合格红星美凯龙相亲会 千余人参与嗨翻全场传席琳·迪翁18年婚姻触礁英超球场冠名费榜:曼城居首 红魔超枪中国网事:年终岁尾看风气 落实规定不陈德铭盘点台湾之行:遗憾未能见星云大[大美四川]四川发展之美:\"多点多意大利华人工厂火灾确认7人死亡青岛油管爆炸遇难人数最终确定为62人香港确诊当地首宗人类感染H7N9禽流
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘