说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据应用(下):应用驱动技术,DaaS创造价值

HTML文档下载 WORD文档下载 PDF文档下载
大数据应用主题论坛中,既有来自搜狐、360、小米、阿里等互联网企业的大数据技术实践,也有传统企业海尔在大数据方面的探索,提供数据分享服务的数据堂也分享了科研数据应用和共享方面的实践。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

大数据应用主题论坛中,来自搜狐、海尔、奇虎360、小米、数据堂和阿里巴巴的技术人员分享了各自平台的大数据实践经验,涉及推荐引擎、网络攻击检测、HBase技术、科研数据的应用等方面。

首先,来自搜狐移动研发部的负责人蔡明军带来了“构建移动场景下的个性化推荐引擎”的分享,介绍了大数据场景下,移动端个性化内容推荐的基本情况。


搜狐移动研发部负责人 蔡明军

内容推荐引擎主要是为了在爆发信息过程当中,建立一个信息的路由,让合适的资讯在合适的时间,以合适的方式正确地传递给用户。个性化内容推荐的原理是:

  • 对词的统计和分析来理解内容,即内容建模;
  • 对用户行为的分析来理解意图,即用户建模;
  • 利用推荐算法,让合适的内容遇见合适的用户。

基于移动端的资讯获取,搜狐提供了四套引擎做支撑:

  1. 热点引擎,每个人获取信息的时候,都不希望把热点忽视掉。
  2. 信息引擎,每个用户有自己特征信息,这样才能匹配他的个性化。
  3. 探索引擎,基于计算挖掘跟用户的兴趣和人际关系,把类似的事情试探性地发送给用户,挖掘用户未知的兴趣点。
  4. LBS引擎,基于用户的位置和所在的场景挖掘相关信息。

在实战方面,蔡明军介绍了搜狐的系统框架,整个推荐引擎是后台系统。后台有实时日志流,对用户的行为进行实时关注,中间做的是实时的计算。底层会有搜狐基础的云平台,旁边有监测运维效果平台。最前端会有推荐服务的网关,我们在这个过程不断进行算法的替代,不断的进行切换,跟产品进行有效的脱离,这是详细细化的结构。这是大致的流程,第一个用户识别,然后进行用户推荐计算,最后推送出去。比如说对用户的识别,对内容的分组。

提到大数据,大家想到的都是大型互联网公司,其实在很多传统行业也在进行大数据方面的工作,来自海尔集团电子商务有限公司CTO盛国军进行了“数据拼图演绎按需定制”的分享。


海尔集团电子商务有限公司CTO 盛国军

海尔希望发展自己的交易平台,而不是依赖苏宁、京东等别的平台,第一步要解决的问题是通过有效的手段获取用户,然后根据自己的记录比较精确的观察用户如何和我们交互。第二步要得到和用户交互的数据。有了这些数据之后,要对用户做各种各样维度行为的总结。最后要解决两个问题:一个是强关系,落实到购买行为上;另一个是弱关系,要引导分享这些信息。

在技术架构方面,海尔电商大数据平台借鉴了阿里的基本架构,是刊登在《程序员》杂志上的一篇文章。海尔做了一些改良,其中一个改良就是传统的业务有一些特征比较复杂,节点比较长,整个的日志或者数据元的采集没有纯互联网企业或者新兴企业那么容易。各个应用之间,通过统一的格式把这些数据发出来,专门有一个收集。数据存储起来之后,第一步解决量化的指标,第二解决实质性,第三解决个性化,第四解决自动化的问题。

接下来,奇虎360高级软件工程师肖康的演讲题目是“Storm在实时网络攻击检测和分析的应用与改进”。肖康介绍360之所以采用Storm平台基于以下几个原因:

  • 它是实时的数据平台,流式处理,数据都是在内存中,不经过磁盘。
  • Storm是一个分布式平台,可扩展性强,需求增加时,增加机器,增加并发即可。
  • 分布式系统的容错性强。
  • Storm平台比较灵活的,它的计算模型是DAG,可以针对需求组合出很多流程。


奇虎360高级软件工程师 肖康

肖康接下来介绍了在利用Storm解决业务需求的过程中,遇到的问题及解决方案,主要问题包括:storm程序资源(如内存)占用过多导致系统不稳定、流量大时storm程序出现OOM等问题、内存队列没有大小限制、worker程序异常退出后需要等超时才能重启恢复、worker间通信的组件ZMQ使用了JNI,异常时导致JVM直接退出,且无日志可查、增加JVM的stdout stderr日志等。具体内容参见肖康的演讲PPT:

移动周报:仰望大神,不如退而探索! 腾讯发布QQ浏览器微信版 支持拖拽分享、消息提醒等功能(图) 乐视TV:LetvUI连续31周迭代36个版本 190个乐迷需求实现119个 云服务商评估体系建立,首批10家企业通过可信云服务认证 《找你妹2》开发者云中游再声明:热酷涉嫌严重违约发布侵权竞品 柴可:大姨吗的轻应用抉择 盘点2013年IT界25个最古怪的面试题 云计算再掀创业热潮,19家企业入驻微软创投 IBM斥资12亿美元,全球大规模扩建数据中心 “Careerfocus之夜”2014年新春客户答谢晚宴在京举办 Google蚕食了维基百科的访问量? 微软Surface Pro 2 的成功之道 精简代码,为网站减负的十大建议 应用宝逆袭上位 将重构腾讯移动应用分发体系 eBay基础设施的成功经验,我们该如何复制? 自定义富媒体广告:NativeX SDK 5.0发布! WunderBar:零硬件开发基础也能接入物联网! 深入解析:分布式系统的事务处理经典问题及模型 从世纪互联、华云数据和金石易服的发展服路径观察IDC产业发展 SA:2014移动运营商、终端和应用十大关键趋势 使用modern.IE来设计更现代化的网页 全国顶级域名根服务器21日下午疑遭黑客攻击 影响巨大 苹果下一代iPhone的十大预测 《近匠》第07期,专访《恶魔塔防》团队,看俄国复杂深奥的游戏文化 代码托管网站GitHub的总裁和CEO进行职位互换 使用Chromebook的五个指南 云中游终极声明:热酷侵权,有种正面回答少打太极 背后故事:英特尔Edison中国研发 内部评审中曾三次被拒 全栈工程师会是未来的发展趋势吗? 大数据整理:囊括分片、存储方法、扩展等多个方面 物联网 ,下一个云计算市场 菜鸟的问题:orb vs application server 关于在vector里面放入跟踪类的一些情况,进来看看。 Jdk 1.4 怎么删除一个string内所有的中文字? 哪位有输入法的源程序(vc6.0可以编译的)可否给俺发一份? 初学者问题,php、mysql如何安装? 一台新路由器怎么来配置啊,谢谢了!! 急聘二名程序员 今天发现以前上不去的网站可以上了,是否中央对网上舆论放松了? 文件的操作问题 强烈建议斑竹删除魔鬼先生的ID,因为它不配和我们在一起讨论问题 南方的服务器都访问不了了!! 包括tencent, etang 还有我放在上海的服务器 C++标准? DDE技术请教高手 大家帮忙估个价吧(本人 成都),谢谢! 关于在php 中使用 script 的问题 怎样在每天的规定时间触发一个事件?(100分) struts多行提交怎么做!!!!!!!!!!! 在16M的flash中做了一个linux系统后,如何给它加一个rsh的服务器?(现在只有1M空间了) 请问各位作过水晶报表的,我是用报表专家的提示连SQLSERVER2000数据库,但为何运行时提示:无法登陆!!有那位有过解决的经验??很急, 有人知道这是为什么吗? 用ASP可不可以显示数据库的表的结构啊? 2000个线程同时填数据库的测试结果 如何用VC来画座标图,望众高手献艺 怎么编译pro*c? (unix下)———在线等!!!! 今天升到5个裤衩,高兴,散分 有谁知道《斯托克代尔悖论》的内容? 使用VB6.0编程设置IIS5.0服务器 谁有InstallShield,包括汉化界面,中文语言包和注册码,200分回报 freedorm格式数据窗口打印问题,字太长如何自动换行, 一个头痛问题。 做过政府审计软件的请帮帮忙,怎么从十来套不同表结构的数据库导数据到一个固定表结构的数据库呢? 如何让菜单可用或不可用?急啊~~ Lotus中的js问题 哪有Oracle中文最新版下载呀, 请问各地delphi认证培训的费用是多少? re:下雨了 怎么样加提示框 借一个问题!XP里面网卡怎么工作不正常 请问有什么办法破VBA的密码 CEdit 背景色的问题 100 分 请问vb中浏览器控件是在哪个文件中,另外我想在vb程序中加入介绍性网页,应该怎么办! 了解jpeg的请进 高分急求数据库解决方案! 请问vb中浏览器控件是在哪个文件中,另外我想在vb程序中加入介绍性网页,应该怎么办! 存储类 在MainFrame里怎么得到一个指向MyDoc类的指针? 上海的弟兄前来领分!!!! 能ping通代理服务器,但不能上网(ftp等都不能用)。有那些原因! 谁有api做的串口通讯例子 很简单的Temporary used 问题,就是搞不清,请哪位详细点拨一下,铭谢 DataGrid中使用HyerLinkColumn,请怎样动态传递多个参数或改变DataNavigateUrlFormatString的值(在线等待答复) 为什么说决策是管理的本质? What's the type of Hisense company? The sentence structure of “ They painted the walls white.” is _____. A. S+V+P B. S+V+DO+OC C. S+VThe sentence structure of “ They painted the walls white.” is _____. A. S+V+P B. S+V+DO+OC C. S+V+IO+DO D. S+V+ DO 如图,在边长为4的等边三角形ABC中,AD是BC边上的高,点E,F是AD上的两点,则图中阴影部分的面积是( )A.4√3B.3√3C.2√3D.√3对不起没办法将图画出来,只能告诉大家该图是一个边长为4的等边三角形, 新儒家美学与儒家美学之间的异同及其特点 若集合P={1,2,4,m},Q={2,m^2},满足PUQ={1,2,4,m},求实数m的值组成的集合. 已知:等边三角形ABC的边长等边三角形ABC的边长为2,D,E分别是AB,Ac的中点,沿DE将三角形ADE折起,是AD垂直DB,连AB,AC,得如图所示的四棱锥A-BCED(1)求证:AC垂直平面ABD(2)求四棱锥A-BCED的体积 已知函数y=asinx+b﹙a>0﹚的最大值为6,最小值为﹣2,求 a、b的值;若sinx=3/5且x∈﹙π/2,π﹚,求sin﹙aπ/3﹢bx﹚的值 “鼎”组3个成语 本质决定一切,这句话怎么来解释的 已知2xa+3ya+1=0,2xb+3yb+1=0,则图象经过(xa,ya),(xb,yb)两点的一次函数的表达式是----?题中a,b是为了区分 鼎能组哪些成语? 十个,谢谢 在线等哦 已知a的模=根号2,b的模=3,a与b的夹角为45°求使a+xb与xa+b的夹角为钝角时,x的取值范围 CAD中 “拉伸”(stretch)和“移动”(move)有什么区别?怎么好像都只是在移动图形? 关于鼎的成语有哪些? 27^2/3-(1/2)^-2+(√2/2)^0+lg4+2lg5-7log7^8= CAD zoom A(全部)和E(范围)到底有什么区别?我知道A是显示图形界限区域和整个图形范围,E是显示整个图形范围,但是我还是分不清两者到底存在什么区别,请高手们赐教、 谁能用鼎组上10个成语 -1-(0.5-2/3)除1/3*[-2-(-27)|1/8-0.25|= move-rotate-scale interactions 以知㎡属于集合{1.0 m},求实数m的值,请祥解, 这是物业管理实物的案例题1、某高档商品住宅小区环境优美,绿化覆盖率超过30%物业管理公司以给业主生活提供方便为由,单方面做出决定,在中心花园草地边设了几个售货亭,出租给小商贩经 什么会造成世界人口增加 哪里有可以一边看书一边有机器读出来的声音 物业管理人员需要那些知识 已知抛物线y1=x平方和双曲线y2=8/x(x分之8)交于A,当x在什么范围内取值时,函数值y1>y2要过程 起重机轨道能弯曲吗特指标准轨道,不是H型钢和工字钢类型的,指的是P系列轨道 物业管理知识物业服务合同是由 业主委员会 还是 业主大会 与物业管理企业签订的? 已知抛物线y1=x^2和双曲线y2=8/x交于A点,那么当x在什么范围内取值时,函数值y1>y2 安装吊车轨道需什么资质 物业管理知识问题..非常急!..案例:一天早晨,某大厦一台正在运行中的电梯突然发生故障,将在大厦办公的某公司一员工困在空中,管理处领导马上赶到现场,组织有关人员进行抢修,经过一个小 已知函数y1等于ax的平方和y2等于2分之1x的平方加c,若把函数y1的图像向上平移2个单位,就得到函数y2的图像,求a和c的值. 起重机轨道安装预算定额编号是多少就是新厂房的轨道安装,需要报一下价, 看拼音写词语gong dian hui huang是什么 成语举什么人才 THE STRUCTURE OF SCIENTIFIC REVOLUTIONS怎么样 数轴上点A表示的数为-4,点B表示的数为-6,则点B在点A的( )侧. (25/4)^1/2-(27/8)^-2/3+(1-√3)^0= 要写过程 英语翻译l amour est un soleil helen 试运用唯物辩证法的对立统一、质量互变规律或本质现象中的某一原理,(或者其他唯物辩证法原理都可以)来分析问题和事例. 才可以组成成语吗 法国香颂:l'amour est bleu(爱是蓝色的)的歌词及翻译. 下列哪个水平的生理学研究有助于揭示生命现象最本质的基本规律? 填成语:( )才( )举 A、B是双曲线 y=k/x的同一个分支上的两点,且点B(a,b)在点A的右侧,求b的取值范围? 乐扣乐扣杯变形了怎么办 举和羊能组成什么四字成语? 已知A、B是双曲线y=x分之k的一个分支上的两点,且B(a,b)在点A的右侧,求b的取值范围.图略从图可以看出此反比例函数的关系是y=x分之2,A点坐标为(1,2),在第一象限里. 孔子的性格是怎样的需要具体描述下 what is the company ownship structure是什么意思 A、B是双曲线y=x分之k的一分支上的两点,且点B(a,b)在点A的右侧,则B的取值范围是? 乐扣塑料杯 融化、变形的温度是多少? 已知双曲线y1=x分之6与y2=x分之k在第一象限.作一条平行于x轴的直线交y1 y2于B已知双曲线y1=x分之6与y2=x分之k在第一象限.作一条平行于x轴的直线交y1 y2于B A .连接oA.过B作BC平行于OA .交x轴 亚洲人口约为300个千万,世界人口大约比亚洲人口的两倍还多10亿,请问世界人口约有多少人?由多少个十亿组成? 饿(wu第4声有什么组词没了是wu不是e 如图,直线y1=x+2与y2=x分之k相交于点A,B,1,求该双曲线的解析式,2,求不等式y2≥y1时,x的取值范围是多少 Millie is sleeping.The sentence structure is ____ A S+V B S+V+P C S+V+IO+DO D S+V+DO+OC 看拼音写词语!zhui dao nie zi zhui第一声 dao第四声nie第四声zi看拼音写词语!zhui dao nie zi zhui第一声 dao第四声nie第四声zi第三声 已知双曲线y=x分之3k-6在每个象限内,y随x的减小而减小,则k的取值范围是() 2011年10月31日世界人口达到多少亿 我军少将:中国发展军力绝不针对日本伊朗东南部武装冲突致17名边防人员死国航增加三条国际航线香港影片《狂舞派》纽约放映获好评官员强奸幼女案双方民事和解 受害人获卡梅伦成英国将不改变与美国的情报合作秘鲁最高法院就藤森在家服刑举行听证会卡梅伦称英国将不改变与美国情报合作关秘鲁最高法院就藤森在家服刑举行听证会卡梅伦成英国将不改变与美国的情报合作向世界传播浙江声音 港澳新闻媒体聚焦浙江义乌一集装箱起火 消防成功排除唐家璇:中日关系深层次原因在于彼此认赵启正:中日关系令人担忧 面临政冷经中国古代绘画展在伦敦举行各部门各地迅速行动 浙江多管齐下帮扶外侨办牵线搭桥舟山与香港小学开展校交浙江为宗馥莉等73名浙商冠冕 宗庆后第十四个全国“男性健康日”浙江多名医国航增加三条国际航线伊朗边境发生武装冲突 14名边防人员宏调政策四年不变 将与制度建设结合发审委员不能一“辞”了之今天天气静静地动曙光基金 更注重能力资助GMAT官网院校查询系统上线新蒙迪欧开启科技品位主义单独二胎、放假时间入自主招生考题张晓刚带队艺术家玩“连连看”《信仰的追问》研讨八问三峡谁在为“超载保护牌”提供保护笑看风云Jeep龙版牧马人京东首发王毅同克里通电话 就中美关系及巴以和宿州农地“流转信托”破解农企融资难首个自住商品房报名信息可修改北京天安门两地铁站开始实施“人物同检成绩单恒大胃口大 周三尝五仁本田:追回丢失的黄金时间
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘