说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据应用(下):应用驱动技术,DaaS创造价值

HTML文档下载 WORD文档下载 PDF文档下载
大数据应用主题论坛中,既有来自搜狐、360、小米、阿里等互联网企业的大数据技术实践,也有传统企业海尔在大数据方面的探索,提供数据分享服务的数据堂也分享了科研数据应用和共享方面的实践。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

大数据应用主题论坛中,来自搜狐、海尔、奇虎360、小米、数据堂和阿里巴巴的技术人员分享了各自平台的大数据实践经验,涉及推荐引擎、网络攻击检测、HBase技术、科研数据的应用等方面。

首先,来自搜狐移动研发部的负责人蔡明军带来了“构建移动场景下的个性化推荐引擎”的分享,介绍了大数据场景下,移动端个性化内容推荐的基本情况。


搜狐移动研发部负责人 蔡明军

内容推荐引擎主要是为了在爆发信息过程当中,建立一个信息的路由,让合适的资讯在合适的时间,以合适的方式正确地传递给用户。个性化内容推荐的原理是:

  • 对词的统计和分析来理解内容,即内容建模;
  • 对用户行为的分析来理解意图,即用户建模;
  • 利用推荐算法,让合适的内容遇见合适的用户。

基于移动端的资讯获取,搜狐提供了四套引擎做支撑:

  1. 热点引擎,每个人获取信息的时候,都不希望把热点忽视掉。
  2. 信息引擎,每个用户有自己特征信息,这样才能匹配他的个性化。
  3. 探索引擎,基于计算挖掘跟用户的兴趣和人际关系,把类似的事情试探性地发送给用户,挖掘用户未知的兴趣点。
  4. LBS引擎,基于用户的位置和所在的场景挖掘相关信息。

在实战方面,蔡明军介绍了搜狐的系统框架,整个推荐引擎是后台系统。后台有实时日志流,对用户的行为进行实时关注,中间做的是实时的计算。底层会有搜狐基础的云平台,旁边有监测运维效果平台。最前端会有推荐服务的网关,我们在这个过程不断进行算法的替代,不断的进行切换,跟产品进行有效的脱离,这是详细细化的结构。这是大致的流程,第一个用户识别,然后进行用户推荐计算,最后推送出去。比如说对用户的识别,对内容的分组。

提到大数据,大家想到的都是大型互联网公司,其实在很多传统行业也在进行大数据方面的工作,来自海尔集团电子商务有限公司CTO盛国军进行了“数据拼图演绎按需定制”的分享。


海尔集团电子商务有限公司CTO 盛国军

海尔希望发展自己的交易平台,而不是依赖苏宁、京东等别的平台,第一步要解决的问题是通过有效的手段获取用户,然后根据自己的记录比较精确的观察用户如何和我们交互。第二步要得到和用户交互的数据。有了这些数据之后,要对用户做各种各样维度行为的总结。最后要解决两个问题:一个是强关系,落实到购买行为上;另一个是弱关系,要引导分享这些信息。

在技术架构方面,海尔电商大数据平台借鉴了阿里的基本架构,是刊登在《程序员》杂志上的一篇文章。海尔做了一些改良,其中一个改良就是传统的业务有一些特征比较复杂,节点比较长,整个的日志或者数据元的采集没有纯互联网企业或者新兴企业那么容易。各个应用之间,通过统一的格式把这些数据发出来,专门有一个收集。数据存储起来之后,第一步解决量化的指标,第二解决实质性,第三解决个性化,第四解决自动化的问题。

接下来,奇虎360高级软件工程师肖康的演讲题目是“Storm在实时网络攻击检测和分析的应用与改进”。肖康介绍360之所以采用Storm平台基于以下几个原因:

  • 它是实时的数据平台,流式处理,数据都是在内存中,不经过磁盘。
  • Storm是一个分布式平台,可扩展性强,需求增加时,增加机器,增加并发即可。
  • 分布式系统的容错性强。
  • Storm平台比较灵活的,它的计算模型是DAG,可以针对需求组合出很多流程。


奇虎360高级软件工程师 肖康

肖康接下来介绍了在利用Storm解决业务需求的过程中,遇到的问题及解决方案,主要问题包括:storm程序资源(如内存)占用过多导致系统不稳定、流量大时storm程序出现OOM等问题、内存队列没有大小限制、worker程序异常退出后需要等超时才能重启恢复、worker间通信的组件ZMQ使用了JNI,异常时导致JVM直接退出,且无日志可查、增加JVM的stdout stderr日志等。具体内容参见肖康的演讲PPT:

Android xliff和字符串资源 android.hardware.USB类介绍 Android开发经验谈之应用间数据共享 android_asset这个URL详细使用方法 Android 2.3系统自带高清UI图标下载 设置ScrollView滚动条的颜色 WakeLock使用方法示例代码 Concurrent并发库常见问题总结 Android数据库SQLite性能优化技巧 Android开发之Java设计模式基础篇 Android开发之Java设计模式入门篇 Android开发之Java设计模式 Android开发之Java并发包集合类性能分析 Android开发之Java集合类性能分析 Android开发之Java虚拟机原理和内存分配 Android开发之Java基础系列教程目录 Android Theme主题样式开发注意点 Android 3.0开发用的平板推荐 android.resource://这个Uri你知道吗 ADT插件的10.0.1必须要Eclipse 3.5才能升级 Android线程优先级设置方法 Android Zip文件解压缩代码 Android开发之设置断点单步调试 Android裁剪图片最简单方法 Android平台待开发软件列表 Android开发知识-3月13日总结 Android平板开发注意点 Android 3.0自带的天气预报例子代码 Loader和Fragment使用示例代码 LoaderManager - Android 3.0新特性 帮助ADT改进DDMS中的Logcat中文乱码问题 偶辛勤灌水,到底是为了什么? 为了帮助后进青年提高,请水园的mm们来登记一下 请问在SQL SERVER 2000中,以下字段类型有什么区别: 请各位介绍一些FLASH的好书!!!!!我要学! 关于PCMCIA ...欢迎交流指导! 她问我“上个黄色网站让我看看”, 是什么意思????????? 怎么样能提高IE的速度? 你的DELPHI6的帮助有没有这种问题? 请推荐几处下载java编程方面电子书的站点? 请问有没有工具把access中的文字繁简转化一下?? 找一个高人——HC 请教如何使用API中的GetUserName()? 怎样才能买到 外文期刊??? 如何将一屏显示不下的文档打印在一页当中(CHtmlView) 请问《程序员》杂志上的那几本外文期刊怎么买??? 我下载了几个rar文件有*.rar\*.r01\*.r02等等,可是这个网站没有提供合并文件,忘了怎么合并了,谁知道快告诉我。copy *.rar+*.r01不管用 请教在线的高人(在oicq上吗?) 我是白痴!大虾,什么是专家分,怎么得,有捷径吗???????????? 图形化界面问题!控件与窗体不重合! 书上的东西我看不董,是关于PB70与COM/MTS的,COM/MTS是什么,谁能告诉我? 怎么样能解决死机的问题? 跟帖比聊天有意思多了,哈哈 过去了,就不要再提 灌水乐园,我的MUD练功场 StringList 与 String的区别 为什么我的组合筐里只有最后的项,即"交叉线",没有其他的内容? 关于Tmemo 共享软件的开发经验 部件(Crystal Repot)引用错误(crystl32.ocx),请高手指点,,谢谢 无数个问题之123 steps你有oicq吗?壮丁!!!sos 怎样将数字字符转化为数字呀? WIN98下能读的光盘到了WIN2000/NT下居然读不出来! WIN98下能读的光盘到了WIN2000/NT下居然读不出来!(我的光盘是刻录的) 我不想要分(也许我只是个女生) 40分=一网址:那儿有Effective C++ 2e电子书? 如何在菜单中加入下拉框?像delphi的那样. 怎样用vb程序实现监控打印机打印输出情况 大家评出水园最有人气的mm,我给分啊,行动要快啊~~~~~~~~~~~~~~~~~~~~明天晚上7点结贴 编译servlet文件出错!急!!!! 寻觅朋友(用delphi优先) 我希望能认识安徽的程序员~~~~~~~~~~~~~~~联系:6011458(OICQ) 很长时间,我还是觉得这是一个事实! javascript中怎么进行数据类型间的转换? 关于非文档视图结构程序的菜单 寻delphi兼职程序员,要求比较懂数据库,多劳多得,不劳不得,报酬从几十元到几千元不等。 在程序中更改Filter to lastlove(☆)robin(★) 关于《深入浅出MFC》电子书 SOS:秦皇岛的小男孩胡颖1岁胡颖1岁8个月,得了白血病,希望大家帮助他,留住他的小生命 所有武大的GGDDJJMM进来报名 介词修饰什么词性 英语中的名词动词代词形容词副词宾语主语谓语等是什么意思 英语中的词性表示是什么意思,例如n表示名词,v表示动词,adj又是表示什么呢?还有其它的 perp.是什么词性?(介词,形容词,代词等等) 在英语中,什么词后面接动词的原型,什么词后面+动词的ing “的”,“得”,“地”各修饰什么词性的词语,有什么区别呢? 介词,动词,形容词,名词后分别跟词性?需要举一些例子给我,另外可以附带一些初中的词性转化 给我.比如 名词interest 形容词interested形容人/interesting形容物 请给我一些详细点的资料 谢谢了. 在英语中,主语,谓语,宾语,动词,形容词,副词,行为动词,表语,几乎动词,介词如何理解? 一个词多个词性,怎么区分?比如说hesitate这个词.hesitation和hesitance都是名词,那应该怎么区分? 介词有哪些,介词的后面是加什么词性 英语选词填空(15选10)词性之间的搭配有何规律?(比如动词后面跟副词) 帮我辨别一下下面的一些词的词性呀!急就是感情色彩(褒义贬义或者中性)荒唐 异想天开伶俐 无缘无故洋溢 跳梁小丑谦逊 不屈不挠攻击 孜孜不倦谗言 飞黄腾达战争 人迹罕至 英语中的宾语,介词,形容词等词性是什么意思 英语中副词,介词,形容词,名词,动词有什么特点,怎么个用法?可以列句子说明,并且指出句子中包含的词性!快,通俗易懂点的! 一个词性多个词,怎么区分.比如说hesitate这个词.hesitation和hesitance都是名词,那应该怎么区分? 英语里面状词定语谓语宾语表语什么意思通俗点的 动词.名词.介词.副词.形容词后或前面跟什么词性的词? 《现代汉语》指出下面句子中括号里词的词性.1、你(在)哪里?2、他(在)做作业.3、你(在)哪里工作?4、由你(把)门,谁也不许进来.5、拿(把)锁(把)车锁上.6、他(给)了你一本书 英语里面状词 定语 谓语 宾语 表语之类的什么是意思如题 英语问题“单词 词性缩写字母”比如动词 形容词啥的缩写 写出句子中各词语词性.1.东京也无非是这样.2.恩师是让人永远怀念的.3.看,于茂林修竹之中,一潭清泉又呈现于眼前.4.谁说宇宙是没有生命的? 英语里什么词可以做主语,谓语,宾语,定语,表语等. 英语中动词前面和后面可以加什么词性的词例如形容词 副词啦 前面和后面啊~ 写出下列句子中词语的词性.1.我们的生活十分美好!2.昨天的语文作业我还没做.3.黄色菊花已经盛开了.4.两双皮鞋才卖了陆拾圆!5.他家比我家近.6.一只狗和一只猫都丢了.7.炎热的夏天简直太长 介绍主语 谓语 宾语 状语 表语.等词语在英语中的概念(回答一定要具体)而且要通俗易懂 各种词性后跟什么词?形容词后加..系动词后加..动词后加....................等等还有,,people + is还是are “了”在汉语句子中是什么词性是形容词?连词?还是副词? 什么词可以做主语 谓语 表语 宾语 定语?要具体一点 在英语作文题目中什么词性的词首字母不大写?be动词首字母大写吗? 英语中什么叫系动词 什么词性的词可以做 英语定语从句中能充当宾语的有哪些词?还有可以充当主语的? 所有英语词性缩写比如动词,形容词.什么adj,vi,vt这类的.要全! 语文各类词词性及其用法 什么词可以直接接宾语(英语中)| :及物动词---可以直接接宾语 行为动词 | | :不及物动词---不可以直接接宾语 ㄗs:我不明白的就是什么词性的词后面可以直接宾语 什么词性的词后面不 英语中 各种词性的简写及意义例如名词的简写是n,还有意思, 关于几个词的词性(语文)求几个词的词性,准确的说是判断这几个此是什么短语.1、目空一切2、一视同仁3、一笑倾城(从以下几个分类中选:偏正短语、主谓短语、后补短语、动宾短语、 英语中能做宾语的有什么类型的词? 英语词性缩写不要太多,几个基本的就可以了,只需包括初中所有的就行了. 对、在、从、以、为这些词在语文中是什么词性的是不是介词? 什么叫宾语.动名词.副词.反正英语里的语法的这些词都解释一遍.别给我搞那些专业的术语来解释和回答.就用好理解的方法来解释.好的回答有高分、、 英文a.是什么词性的缩写?是adj还是adv?请快一些, 1.对下列句子中加点词的词性,分析正确的一项是( )①小王曾经跟老张到过俄罗斯 ②小王跟老张到过俄罗斯③小王跟着老张到过俄罗斯 ④他的思想跟不上形势 (加点的字都是 跟)A.①介词 ② 英语-动名词做宾语我学习动名词做宾语的时候看到了:要记住如下动词及短语只跟动名词作宾语:enjoy,finish,suggest,avoid(避免),excuse,delay,imagine,keep,miss,consider,admit(承认),deny(否认),mind,p 在英语中,各种词性的缩写 语文中各种词性的词有符号表示,比如:主语用双横线,谓语用单横线等.英语中有这样的表示方法吗?如果有,和中文的有什么区别? 英语动名词,宾语,表词,主语造句一个造一个和中文意思 谁能告诉我各个词性及英语缩写?比如说动词V 越全越好 安排这个词的词性是名词还是动词? 英语中有些动词后接不定式或动名词作宾语时有严格的区别,可以将它们分别归类~谁知道这方面的详细分类?(动词越多越好) 英语中所有词性的简写!比如及物动词vt 不及物动词vi尽量全! “用途”一词是什么词性?如名词、动词什么的? 英语中只能接-ing分词作宾语的动词有哪些?用英语单词表示 谁能告诉我英语词性的缩写(全部)带解释那种,感谢赏 "到过"一词的词性是什么?是名词还是动词? look后加什么词性He looks ( ).In fact he isn‘t.A.care B.careful C.carefully D.more careful(主要的问题是:look(系动词)后加什么词性的词) 英语中类似名词动词先形词谓语宾语什么的都什么意思啊好像还有几个这种.最好加上英语举点例子... 所有英语词性符号简称注意,是简称哦. 词性的意义结构包括虚词 英语中名词动词宾语主语什么词什么意思?我是刚开始自学英语的理解能力很差 网上查了还是不懂 英语词类 词性 有什么区别
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn