说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据应用(下):应用驱动技术,DaaS创造价值

HTML文档下载 WORD文档下载 PDF文档下载
大数据应用主题论坛中,既有来自搜狐、360、小米、阿里等互联网企业的大数据技术实践,也有传统企业海尔在大数据方面的探索,提供数据分享服务的数据堂也分享了科研数据应用和共享方面的实践。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

大数据应用主题论坛中,来自搜狐、海尔、奇虎360、小米、数据堂和阿里巴巴的技术人员分享了各自平台的大数据实践经验,涉及推荐引擎、网络攻击检测、HBase技术、科研数据的应用等方面。

首先,来自搜狐移动研发部的负责人蔡明军带来了“构建移动场景下的个性化推荐引擎”的分享,介绍了大数据场景下,移动端个性化内容推荐的基本情况。


搜狐移动研发部负责人 蔡明军

内容推荐引擎主要是为了在爆发信息过程当中,建立一个信息的路由,让合适的资讯在合适的时间,以合适的方式正确地传递给用户。个性化内容推荐的原理是:

  • 对词的统计和分析来理解内容,即内容建模;
  • 对用户行为的分析来理解意图,即用户建模;
  • 利用推荐算法,让合适的内容遇见合适的用户。

基于移动端的资讯获取,搜狐提供了四套引擎做支撑:

  1. 热点引擎,每个人获取信息的时候,都不希望把热点忽视掉。
  2. 信息引擎,每个用户有自己特征信息,这样才能匹配他的个性化。
  3. 探索引擎,基于计算挖掘跟用户的兴趣和人际关系,把类似的事情试探性地发送给用户,挖掘用户未知的兴趣点。
  4. LBS引擎,基于用户的位置和所在的场景挖掘相关信息。

在实战方面,蔡明军介绍了搜狐的系统框架,整个推荐引擎是后台系统。后台有实时日志流,对用户的行为进行实时关注,中间做的是实时的计算。底层会有搜狐基础的云平台,旁边有监测运维效果平台。最前端会有推荐服务的网关,我们在这个过程不断进行算法的替代,不断的进行切换,跟产品进行有效的脱离,这是详细细化的结构。这是大致的流程,第一个用户识别,然后进行用户推荐计算,最后推送出去。比如说对用户的识别,对内容的分组。

提到大数据,大家想到的都是大型互联网公司,其实在很多传统行业也在进行大数据方面的工作,来自海尔集团电子商务有限公司CTO盛国军进行了“数据拼图演绎按需定制”的分享。


海尔集团电子商务有限公司CTO 盛国军

海尔希望发展自己的交易平台,而不是依赖苏宁、京东等别的平台,第一步要解决的问题是通过有效的手段获取用户,然后根据自己的记录比较精确的观察用户如何和我们交互。第二步要得到和用户交互的数据。有了这些数据之后,要对用户做各种各样维度行为的总结。最后要解决两个问题:一个是强关系,落实到购买行为上;另一个是弱关系,要引导分享这些信息。

在技术架构方面,海尔电商大数据平台借鉴了阿里的基本架构,是刊登在《程序员》杂志上的一篇文章。海尔做了一些改良,其中一个改良就是传统的业务有一些特征比较复杂,节点比较长,整个的日志或者数据元的采集没有纯互联网企业或者新兴企业那么容易。各个应用之间,通过统一的格式把这些数据发出来,专门有一个收集。数据存储起来之后,第一步解决量化的指标,第二解决实质性,第三解决个性化,第四解决自动化的问题。

接下来,奇虎360高级软件工程师肖康的演讲题目是“Storm在实时网络攻击检测和分析的应用与改进”。肖康介绍360之所以采用Storm平台基于以下几个原因:

  • 它是实时的数据平台,流式处理,数据都是在内存中,不经过磁盘。
  • Storm是一个分布式平台,可扩展性强,需求增加时,增加机器,增加并发即可。
  • 分布式系统的容错性强。
  • Storm平台比较灵活的,它的计算模型是DAG,可以针对需求组合出很多流程。


奇虎360高级软件工程师 肖康

肖康接下来介绍了在利用Storm解决业务需求的过程中,遇到的问题及解决方案,主要问题包括:storm程序资源(如内存)占用过多导致系统不稳定、流量大时storm程序出现OOM等问题、内存队列没有大小限制、worker程序异常退出后需要等超时才能重启恢复、worker间通信的组件ZMQ使用了JNI,异常时导致JVM直接退出,且无日志可查、增加JVM的stdout stderr日志等。具体内容参见肖康的演讲PPT:

黑帽大会演讲中国第一人:从攻到防,从白帽黑客到创业者 15个步骤创立技术公司,并收获千万用户(完结) CTO容易犯的三大错误 谷歌艺术计划:互联网能否取代真实的博物馆? Hadoop技术沙龙:Hortonworks技术研发总监展望Hadoop 2.0 Marissa Mayer:雅虎月活跃用户增长了20%达8亿 移动用户3.5亿 气死偷车贼:脑电波防盗技术,让偷车贼无计可施 TIOBE 2013年9月编程语言排行榜:Transact-SQL首次进入前十 前Oracle总裁Charles Phillips:商业软件领域的“乔布斯” 留住你的用户:8款第三方移动推送服务 人气最旺:主流移动应用创建工具大合集(一) 不要强迫用户注册,请让他们先试用产品 Eve:基于Python的REST API框架 想扩展你的数据库吗?那么先了解一下I/O 白帽黑客将现场爆料Android系统及框架漏洞 9月13日:程序员节,一起来过节吧! 欲与Siri、Google Now比高低:微软开始打造个人助理Cortana 【开源专访】禅道创始人王春生:覆盖项目全周期,回归管理的本质 携程无线创业者大赛成功落幕 梁建章为头名“快展”颁20万奖金 Bug报告:小角色,大用处! iOS开发者必备: 五大编程类工具 多核优化软件MCx释放EMC VNX闪存潜能 手把手教学:详解HTML5移动开发框架PhoneJS 快速学习新技术的几条建议 研发周报:Angular.js or Ember.js 谁将成为Web开发的新宠? 10款免费且开源的项目管理工具 Greg Pass:拯救Twitter的无名英雄 Cassandra杀回数据库排行Top 10,及需求Java 7的2.0版本 安全专家王清将揭秘“大数据时代的大安全” BrainSpace:跟传统搜索说再见 艾普网络的OpenStack实践 请问大家一个问题 如何解压Linux下的.zip文件? 下接列表框的问题 来这里几天了,看大家都是很消极的,为什么? 可以动态增加<option>吗? datagird高手的问题! 数据库导入问题。在线等!急啊!!! 高手来帮忙 為何調用data module中的adoconnection會出錯。 怎样把几张jpg图转换成avi的文件 ★☆pb8异机连接sql server数据库的问题???50分献 菜鸟求问,急需回答!!! 有哪位高手知道 哪位同志能提供软件工程电子文档教程下载的站点给我 菜鸟问题 简单问题 ASP里流媒体上传问题 初学VC得困惑 用第三方类MultipartRequest上传文件时,怎样实现根据用户填写的表单来决定上传路径 当我插入一个usb设备,系统装好驱动后注册表会有变化吗? 如何解决BUTTON重入的问题。 关于如何获得文件域中的文件名!!!!!!!!!!!!!!!!! 游戏编程初学者的作品.(弹球) 有没有汨罗的朋友呀?????? 在线等,触发器如何使用? 请问ActiveX controls event发出的消息怎样在container里接收 UNIX的cc编译结果: [请问]i586是什么意思?PPC又是什么?另外RedHat9无法安装的问题…… 不知道大家都玩不玩新闻组,给大家提供几个中文新闻组地址并讲一下使用方法,感觉比BBS好玩! 高分求助,现谢谢了。 !急关于CrystalReport 下面这样类型转换,居然可行, 我下面的问题解决了 ORACLE统计问题 腊肉是月老啊,单身的哥哥们找腊肉拉红线啊! 新闻搜索 using namespace std; 微星845 Ultra-C 支持P4赛扬2.0的吗? 请问哪里有关于cc的比较好的文档资料. 水晶报表的问题!!!!!!!!!!!! 关闭Jbuilder9时,会弹出微软拼音输入法的关于信息框,如何解决? TreeView的删除问题/// 怎样在delphi里使用windows定义的结构体 问个问题 顺便散分 sub main问题 郁闷,一夜起来信誉分掉了一大截,散分 请问UNIX下makefile 是怎么一回事 我在学习C#,不过基础不好,很吃力!中秋快乐! 如何防止文件被访问?谢谢! 今年中秋我爸收了一大堆礼物,价值估计不下于20万(我爸是税务局长),呵呵,太高兴了!再散点分给大家!今年中秋我爸收了一大堆礼物, ASP.NET有没有类似javascript中的window.confirm( )这样的方法,弹出对话框提示是否确认? 我开学初三,想写作文练练笔.帮想个题目,可以半命题.按初三的水平出个题目(最好柳州中考考过出个好的题目.不要让我没题材!但是别太难.我写作三十分才拿二十四分.好差的!(不太会写景 烟雾迷蒙的蒙的意思 烟雾迷蒙的迷得意思是什么? 耐克登月科技鞋怎么样RT 求鞋子型号耐克登月 这是登月几? 耐克登月鞋怎么样 烟雾迷蒙的近义词是什么? 烟雾迷蒙的意思, 烟雾迷蒙的意思是什么? 揿的读音 读书三境界阅读答案:对于“吞”、“啃”、“品”三种读书境界,作者分别给予了怎样的评价定位? 公益机构联名呼吁删改《沐浴业管理办法浙江第十二届戏剧节启幕 超九成为百元绍兴徐渭墓历波折终有守墓人 工作清苦美建议叙问题会议11月举行 不确信反美新泽西州商场发生枪击 在场民众描述朴槿惠拒与安倍进行正式会晤 日方表示美白宫提升在社交媒体活跃度 新媒体上美欧制造业逐步恢复景气 出现同步扩张11月电商零售大战 猫狗在前怪兽在后印度民众燃放爆竹庆祝排灯节 引发环境杭州正研究\"城市风道\"欲从钱塘江山大主校区周边商品房多售罄 连小产权国家级项目 蓬莱再获\"国家海洋水产烟台开展春季学校食堂食品检查 发现问马拉多纳回应打女友事件:这只是媒体的桃花盆景喜迎春北京暂停新建玻璃栈道央视记者拍到疑似“谋杀金正男”嫌犯照北京4月启动儿童免费防龋花园桥积压快件今日送完快递爆仓 “痛”则不通京承沿线将添158公顷绿地龙基谷的伟说重生热血高校龙登九五横行一世仙魔问情贵族狂想炫舞星海极枭情义兄弟订情书一品江山泉城公园旅游济南市博物馆旅游三清山金沙谷旅游玉山旅游三圣花乡旅游辽宁街夜市旅游鹅鼻嘴公园旅游垦丁砂岛旅游苏花公路旅游金沙娱乐场旅游中国航空博物馆旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘