说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据应用(下):应用驱动技术,DaaS创造价值

HTML文档下载 WORD文档下载 PDF文档下载
大数据应用主题论坛中,既有来自搜狐、360、小米、阿里等互联网企业的大数据技术实践,也有传统企业海尔在大数据方面的探索,提供数据分享服务的数据堂也分享了科研数据应用和共享方面的实践。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

大数据应用主题论坛中,来自搜狐、海尔、奇虎360、小米、数据堂和阿里巴巴的技术人员分享了各自平台的大数据实践经验,涉及推荐引擎、网络攻击检测、HBase技术、科研数据的应用等方面。

首先,来自搜狐移动研发部的负责人蔡明军带来了“构建移动场景下的个性化推荐引擎”的分享,介绍了大数据场景下,移动端个性化内容推荐的基本情况。


搜狐移动研发部负责人 蔡明军

内容推荐引擎主要是为了在爆发信息过程当中,建立一个信息的路由,让合适的资讯在合适的时间,以合适的方式正确地传递给用户。个性化内容推荐的原理是:

  • 对词的统计和分析来理解内容,即内容建模;
  • 对用户行为的分析来理解意图,即用户建模;
  • 利用推荐算法,让合适的内容遇见合适的用户。

基于移动端的资讯获取,搜狐提供了四套引擎做支撑:

  1. 热点引擎,每个人获取信息的时候,都不希望把热点忽视掉。
  2. 信息引擎,每个用户有自己特征信息,这样才能匹配他的个性化。
  3. 探索引擎,基于计算挖掘跟用户的兴趣和人际关系,把类似的事情试探性地发送给用户,挖掘用户未知的兴趣点。
  4. LBS引擎,基于用户的位置和所在的场景挖掘相关信息。

在实战方面,蔡明军介绍了搜狐的系统框架,整个推荐引擎是后台系统。后台有实时日志流,对用户的行为进行实时关注,中间做的是实时的计算。底层会有搜狐基础的云平台,旁边有监测运维效果平台。最前端会有推荐服务的网关,我们在这个过程不断进行算法的替代,不断的进行切换,跟产品进行有效的脱离,这是详细细化的结构。这是大致的流程,第一个用户识别,然后进行用户推荐计算,最后推送出去。比如说对用户的识别,对内容的分组。

提到大数据,大家想到的都是大型互联网公司,其实在很多传统行业也在进行大数据方面的工作,来自海尔集团电子商务有限公司CTO盛国军进行了“数据拼图演绎按需定制”的分享。


海尔集团电子商务有限公司CTO 盛国军

海尔希望发展自己的交易平台,而不是依赖苏宁、京东等别的平台,第一步要解决的问题是通过有效的手段获取用户,然后根据自己的记录比较精确的观察用户如何和我们交互。第二步要得到和用户交互的数据。有了这些数据之后,要对用户做各种各样维度行为的总结。最后要解决两个问题:一个是强关系,落实到购买行为上;另一个是弱关系,要引导分享这些信息。

在技术架构方面,海尔电商大数据平台借鉴了阿里的基本架构,是刊登在《程序员》杂志上的一篇文章。海尔做了一些改良,其中一个改良就是传统的业务有一些特征比较复杂,节点比较长,整个的日志或者数据元的采集没有纯互联网企业或者新兴企业那么容易。各个应用之间,通过统一的格式把这些数据发出来,专门有一个收集。数据存储起来之后,第一步解决量化的指标,第二解决实质性,第三解决个性化,第四解决自动化的问题。

接下来,奇虎360高级软件工程师肖康的演讲题目是“Storm在实时网络攻击检测和分析的应用与改进”。肖康介绍360之所以采用Storm平台基于以下几个原因:

  • 它是实时的数据平台,流式处理,数据都是在内存中,不经过磁盘。
  • Storm是一个分布式平台,可扩展性强,需求增加时,增加机器,增加并发即可。
  • 分布式系统的容错性强。
  • Storm平台比较灵活的,它的计算模型是DAG,可以针对需求组合出很多流程。


奇虎360高级软件工程师 肖康

肖康接下来介绍了在利用Storm解决业务需求的过程中,遇到的问题及解决方案,主要问题包括:storm程序资源(如内存)占用过多导致系统不稳定、流量大时storm程序出现OOM等问题、内存队列没有大小限制、worker程序异常退出后需要等超时才能重启恢复、worker间通信的组件ZMQ使用了JNI,异常时导致JVM直接退出,且无日志可查、增加JVM的stdout stderr日志等。具体内容参见肖康的演讲PPT:

一切为了用户体验:揭秘京东首页改版背后的故事 TIOBE 2015年4月编程语言排行榜:Java王者归来 三大主题技术峰会开幕在即 OpenCloud 2015参会者提醒 《近匠》快码,唯快不破的代码众包平台 打破边界 生态化反!乐视发布三款超级手机 苹果收购LinX:iPhone或将采用双摄像头技术 Google《Android性能优化》学习笔记 Amaze UI 2.3.0版本发布 整合多个第三方插件 专访Layabox创始人谢成鸿:Flash与HTML5结合的背后 高德推“LBS+”开放平台战略 整合位置大数据和云计算 CLion 1.0发布,C/C++跨平台集成开发环境 2015超实用的前端开发指南 期待吗?Linux 4.1将引入大量汇编代码变更! TSMC量产16FF+制程,Apple Watch或将采用Finfet技术 谷歌搜索引擎更新 移动端支持不好的网站排名将受影响 《近匠》格知GUECHI,设计师品牌让你离时尚更近 Apple Watch应用开发经验谈:我遇到的那些坑 约吗?UNITE 2015 BEIJING日程全揭晓! 谷歌扩擴增App搜索結果 已抓取300亿App页面 功耗、联网与交互:可穿戴设备操作系统问题解读 李大学离职京东后:转做投资人,助传统产业“互联网+”转型 Skype Translator实现中英实时语音对话 语音翻译领域又一新突破 如何判断自己是否适合自由职业? 创造·连接·成就:UNITE 2015 BEIJING圆满落幕 IT互联网人才招聘市场特点:人少钱多疯狂抢? React Native并非原生 Instagram Apple Watch应用设计师:对原有App全部重新思考 腾讯网移动端H5页面设计实战分享 Kendo UI和AngularJS常见问题解析 Elevator.js:模拟电梯运行的“返回顶部”JS插件 Java,传奇的一生! 这个问题怎么解决?100分寻求解决方案. 是不是声卡的问题? 如何在dos下申请到当前目录? 字符串转换的的问题. double类型的数组,最大是多大啊? 請問關於dbtree問題? 请教各位一个问题 关于jms的问题 关于VBX,OCX32,VISA的问题 向高手请教鼠标的问题 Linux下自动执行命令的问题,哪位Linux高手帮帮我. 如何在Delphi中调用带参数的存储过程(要返回查询结果的)? 请问:能具体解释什么是流吗? 牛人中的极品(Z) ado连接access2000的极简单问题 [100分]如何让一个帐户同时只允许一个人在线?[100分] SQL语言嵌入C++!!!!! 无法向会话状态服务器发出会话状态请求。请确保已启动 ASP.NET State service,并且客户端和服务器端口保持相同。 鼠标移动到其上,如何显示提示的文字?请各位仁兄指点! 不通过声卡这样发出“嘟...”的响声? VLAN 怎么发电子邮件?? 请问哪里有WideString的定义? 问个关于域名注册的问题 为什么便宜的耳机用一段时间以后,就只有一边发声了?是什么原因?我想自己修,因为手头一大堆这种半报废的耳机 关于属性页的问题,请进 南京上空发现奇异天体 三名飞行员先后紧急报告 我装的weblogic610_win为什么在win2000下运行后打不开http://127.0.0.1:7001/console 有关route add问题 我装的weblogic610_win为什么在win2000下运行后打不开http://127.0.0.1:7001/console VC.NET中是否有支持odbc的类似DBGrid的数据表格控件? 大家推荐一下学习C#的书! htc文件在WEBSPHERE不能正常运行??? 大家在用c编程时,是怎样运用位运算的?(我c学得不好,请大家指教一下) 怎样从一个vlan的客户机访问到另一个vlan上的客户机,急 一个简单问题?关于查询方面的!请指点! htc文件在WEBSPHERE不能正常运行??? 有了Swing,还有必要使用AWT吗? 怎样将richtextbox中的内容存入sql server数据库? 哪位用VC做过拨号程序阿 紧急求援!!!pqmagic在Windows 2000 professional下的安装问题! 如何在PB中通过脚本将文本文件导入数据库中? 一玩3D游戏就退出,一上网就死机,本人用的是小影霸速配3000,何故? 舌尖的热恋(淡月儿) cbuilder5的工程用cbc6打开,编译的时候,出错。为什么?紧急求救!!!!!!!!!! 关于session的问题 如何读取相对路径的文件 我的这点程序怎么运行有错?(内付原码) 编译器错误信息: CS1519: 类、结构或接口成员声明中的标记“(”无效 请教关于VXWORKS的SDK转到LINUX上的方法 有多少人用Struts做过项目啊? 1.我的英语书在哪里?翻译成复数 2.My aunts like tomatoes.改成单数句子.3.Those are book s 改为单数 1、They are() (watch)TV on their next day off .2、He doesn't want ()(go)for a drive3、She ()(sleep )late last day.4、I don't think it‘s ()(fun) 5、We had a lot ()(fun)playing on the beach.6、I’d like 请问有什么开关是用电控制的? 平时是关闭的 通电后开启 断电后开还是开启状态的 These books are mine and( )(these/those)bookThese books are mine and( )(these/those)books are Mary's. 1dont next to go a l drive on for day off want ma 2 in they yesterday camping rain went the3really was weather the terrible and it boring was .4students had school a the trip terrible.连词成句 急啊 断电延时继电器在它没有通电的时候,它控制的开关是开还是关闭的状态?还有,给它通电是要达到它的跳转时间,还是通一下马上就关掉它也可以自己保持到跳转的时间? 高中与初中的区别 《紫藤萝瀑布》中“过了这么多年,藤萝又开花了,而且开得这样盛”怎样理解? There are many trees on ( ) side of the river.a.every B.either C.all D.both 求详解, 世界上哪国女人最美?不要说中国的,有人说是白俄罗斯的? 紫藤萝瀑布中“从未见过得这样盛的藤萝”中“从未”有何作用?突出紫藤萝的什么特征? tom is take some photos 哪里错了 正确的是什么 世界上哪个国家美女最美,除了中国 紫藤萝瀑布:觉得这一条紫藤萝瀑布不只在我的眼前,也在我心上缓缓留过,表现了作者什么样的心情? ___I take some photos in the hall?no,you____A can;needn'tB Must;mustn'tC Could;won'tD May;mustn't选哪个?mustn't是禁止的意思吗? 形容长相神态的词语例如:恬静 英语翻译如题.1.She________his jacket and at last found the keys.A.went through B.went over C.went away D.went down 2.Maybe there are some things among the girl's papers,like her school reports,old photos and so on.Can you ___them and Miss lin willtake some photos inthe park 对划线部分提问 提问take some photos 形容外貌神态的词语 May I take some photos?用some 还是 any 为什么 How about _______(take)some photos? 第2个路口右转的英文第2个路口右转 颌 读音是 具体是指的哪个部位? They are English books.变一般疑问句 “在第二个交通路口右转” 用英语怎么说 He usually prefers ____ (stay) at home on Friday night.答案给的是staying为什么不是prefer to do They are books 英语疑问句 直走,在第3个路口右转 英文 颌首的颌读音是gé还是hé? many trees are on __sides of the river.A each B both C all D every 初中课本的内容与高中课本的内容有什么区别或关系? 英语:今天晚上我们将待在家里而不去看电影 We will stay at home ___ ___ ___ to a movie this night. these are books.改为特殊疑问句怎么改啊!是用these还是用they替换 为什么初中课本上的牛顿第一定律的内容和高中课本上的不同? 紫罗兰粉有什么作用? 只年级和中国说法不同吧,如中国初一、二、三, go through 和look through 在表从头到尾看一遍时有什么区别. 7月鸢尾花的意义有关花语,鸢尾花开于5月,那么7月鸢尾花的意思? 美国的年级顺序,然后呢?接下来是什么? 描写父亲或母亲的外貌.动作.神态.心里,4要有,最好是干家务活时的.150字 :欧盟国家的英语名称, There are many trees on either side of the street.(同义句转换)There are many tress on ____ ____of the street. I have reached a point in my life where i am supposed to make decisions of my own.为什么要选填where?请详解、 May I borrow your c__?I want to take photos. These are photo(改为一般疑问句)连词成句:1.gives Jack gold to the mother his2.monster see doesn't the him3.smell I boy little a4.have magic five I beans day off,he,dosen’t,his,want,to,next,go,drive,a,for,on连词成句think,I,like,day,busy,off,a,sounds,it连词成句 欧盟国家中有讲英语的国家吗? ( )提问 No,I usually go there with my friend,Mary. 新叶 哪两个自然段是总述 May i borrow your ( ) i want to take photos .括号里是 c开头的单词 .、 求“元”开头 成语 新叶阅读答案.问题1用一句话概括2段的内容.2第3段4个比喻句.3第5段围绕哪几句面赞颂了新叶 i want to take photos as many as possible同义句 There are some banana trees ---------the other side of the river.A.in B.at C.on D.of 读音为he的汉字有哪些? Teenagers have reached a point in their life _______ they are supposed to make decisions of their own for the first time.A.which\x05\x05B.where\x05\x05C.how\x05\x05D.why怎么翻译? Near the river there are not(some fiower,any flowers,flower,some flowers)什么意思以及答案 those book are about english这句话的主谓宾是什么啊 he is just kidding用汉字写出来发音、 These are my books .my books 提问 I’m OK一般疑问句
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘