说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据应用(下):应用驱动技术,DaaS创造价值

HTML文档下载 WORD文档下载 PDF文档下载
大数据应用主题论坛中,既有来自搜狐、360、小米、阿里等互联网企业的大数据技术实践,也有传统企业海尔在大数据方面的探索,提供数据分享服务的数据堂也分享了科研数据应用和共享方面的实践。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

大数据应用主题论坛中,来自搜狐、海尔、奇虎360、小米、数据堂和阿里巴巴的技术人员分享了各自平台的大数据实践经验,涉及推荐引擎、网络攻击检测、HBase技术、科研数据的应用等方面。

首先,来自搜狐移动研发部的负责人蔡明军带来了“构建移动场景下的个性化推荐引擎”的分享,介绍了大数据场景下,移动端个性化内容推荐的基本情况。


搜狐移动研发部负责人 蔡明军

内容推荐引擎主要是为了在爆发信息过程当中,建立一个信息的路由,让合适的资讯在合适的时间,以合适的方式正确地传递给用户。个性化内容推荐的原理是:

  • 对词的统计和分析来理解内容,即内容建模;
  • 对用户行为的分析来理解意图,即用户建模;
  • 利用推荐算法,让合适的内容遇见合适的用户。

基于移动端的资讯获取,搜狐提供了四套引擎做支撑:

  1. 热点引擎,每个人获取信息的时候,都不希望把热点忽视掉。
  2. 信息引擎,每个用户有自己特征信息,这样才能匹配他的个性化。
  3. 探索引擎,基于计算挖掘跟用户的兴趣和人际关系,把类似的事情试探性地发送给用户,挖掘用户未知的兴趣点。
  4. LBS引擎,基于用户的位置和所在的场景挖掘相关信息。

在实战方面,蔡明军介绍了搜狐的系统框架,整个推荐引擎是后台系统。后台有实时日志流,对用户的行为进行实时关注,中间做的是实时的计算。底层会有搜狐基础的云平台,旁边有监测运维效果平台。最前端会有推荐服务的网关,我们在这个过程不断进行算法的替代,不断的进行切换,跟产品进行有效的脱离,这是详细细化的结构。这是大致的流程,第一个用户识别,然后进行用户推荐计算,最后推送出去。比如说对用户的识别,对内容的分组。

提到大数据,大家想到的都是大型互联网公司,其实在很多传统行业也在进行大数据方面的工作,来自海尔集团电子商务有限公司CTO盛国军进行了“数据拼图演绎按需定制”的分享。


海尔集团电子商务有限公司CTO 盛国军

海尔希望发展自己的交易平台,而不是依赖苏宁、京东等别的平台,第一步要解决的问题是通过有效的手段获取用户,然后根据自己的记录比较精确的观察用户如何和我们交互。第二步要得到和用户交互的数据。有了这些数据之后,要对用户做各种各样维度行为的总结。最后要解决两个问题:一个是强关系,落实到购买行为上;另一个是弱关系,要引导分享这些信息。

在技术架构方面,海尔电商大数据平台借鉴了阿里的基本架构,是刊登在《程序员》杂志上的一篇文章。海尔做了一些改良,其中一个改良就是传统的业务有一些特征比较复杂,节点比较长,整个的日志或者数据元的采集没有纯互联网企业或者新兴企业那么容易。各个应用之间,通过统一的格式把这些数据发出来,专门有一个收集。数据存储起来之后,第一步解决量化的指标,第二解决实质性,第三解决个性化,第四解决自动化的问题。

接下来,奇虎360高级软件工程师肖康的演讲题目是“Storm在实时网络攻击检测和分析的应用与改进”。肖康介绍360之所以采用Storm平台基于以下几个原因:

  • 它是实时的数据平台,流式处理,数据都是在内存中,不经过磁盘。
  • Storm是一个分布式平台,可扩展性强,需求增加时,增加机器,增加并发即可。
  • 分布式系统的容错性强。
  • Storm平台比较灵活的,它的计算模型是DAG,可以针对需求组合出很多流程。


奇虎360高级软件工程师 肖康

肖康接下来介绍了在利用Storm解决业务需求的过程中,遇到的问题及解决方案,主要问题包括:storm程序资源(如内存)占用过多导致系统不稳定、流量大时storm程序出现OOM等问题、内存队列没有大小限制、worker程序异常退出后需要等超时才能重启恢复、worker间通信的组件ZMQ使用了JNI,异常时导致JVM直接退出,且无日志可查、增加JVM的stdout stderr日志等。具体内容参见肖康的演讲PPT:

汽车开放平台:看看通用汽车是怎么做API的 Gamebase将推全新跨平台3D游戏引擎Reach3dx 借助API Telegram能否成为第二个WhatsApp 机器学习也感性:90后软妹纸的编程之路 为安防与视频监控而生 西数紫盘首发 秘闻:鲍尔默离职,或与坚持收购诺基亚有关 【OSTC讲师专访】Thomas Yao:开源社区最缺有能力的领导者 对比MySQL,你究竟在什么时候更需要MongoDB 不以“大小”论英雄,对比IBM、AWS,谁才是Hadoop界的MVP? 参加“我们都用JIRA”视频征集大赛 赢取乐视TV超级电视 开发者下一个待开发市场:印度 一周消息树:80%开发者背井离乡,70%经常加班 移动周报:最受欢迎的跨平台开发工具推荐 研发周报:Mt.Gox破产,都是错误编程惹的祸 数据挖掘+人工智能,教育定制化下的学霸量产 通过700合作伙伴的进一步细分,Google变得越来越像微软 一周热点:高薪必备:Hadoop求职者的6大攻略 谷歌Android主管:两周内为开发者推出可穿戴设备SDK 【OSTC讲师专访】魏子钧: “中国式开源”没有“然后” 揭秘CarPlay欲将颠覆汽车产业的真相 联想王岳源:利用Web App推动互联网转型 IT经理人:提高团队工作效率的11个方法 30美元一小时,数据科学家的收入是否太低? 选择Go语言的12个理由 动鱼数码携三款大作参战Unity游戏及应用大赛 从Google、Apple、Dropbox、Twitter和Square学到的管理哲学 软件开发就像炒股,关键看你怎么选股票! iOS 7.1正式版:新增CarPlay连接功能、完美支持iPhone 4 【OSTC讲师专访】马全一:Docker,Hadoop的竞争者来了! 福布斯:全球那些富可敌国的科技大佬们 抢工作、争资源,如此聪明的AI你拿什么阻止? 请问有谁知道PrinterResolution怎么和打印机对象连在一起呀, 偶有一个惊人的发现! 对话框中的按钮我怎么让它继承我自己的类? 请问有谁知道PrinterResolution怎么和打印机对象连在一起呀, 装了腾讯的浏览器现在删了 可是用cterm点击里面的网址还会调用腾讯的浏览器 如何修改注册表 那个键值? 电子邮件的问题 怎样给为我解答问题的注册用户打分? 谁做过这样的新闻系统! 为什么RealPlayer放有些网站的流媒体文件时会出错? 请问什么地方有软件开发标准。如国标,国军标等。 如何取得读网页时ie的状态,如正在下载,完毕等等? 朋友们能不能提供我一些关于VC读取文件操作的资料? 关于数据库服务器和备份的问题 win2kPRO 简单问题,高分相送!!在线发分,第一个答对者,定送此分!!!!!! c程序总出现"out of memory..." bzszp(蝎子)和ATCG(ATCG),谢谢!请问可以给我你们的E-mail吗?我以后还有些问题想请教你们! 如何设置java环境 更改工作站的下载等权限 制作一个修改程序外表的东西 怎样ENABLE 注册表编辑 MFC向导生成的基本对话框程序,一按回车就会退出,怎么设置都没有用.怎么办? 小弟下个学期就学vc了,想在这个暑假里好好的去接触接触但是不知道改看那些书好!还请~~~~~~~?高分!! 请问这个错误是什么原因啊? QMAIL高手:关于分页的问题,函数vauth_getall() 制作修改程序外表的东西 初学者学习编程什么样的学校比较适合? 制作修改程序外表的东西 原本对这个世界失望了,居然还发现还有和我一样善良的人,你让我有了活下去,继续灌水事业的勇气,谢谢给我捐献可用分的好人! ******初学者问题 ,如何实现2个Edit框同步******* 请问DataGrid如何和ADO控件梆定? 在servlet中设置了一个javaBean的属性,怎样把他传递到jsp中呢? ADOStoredProc1中存的游标数据如何附给变量中???带原码) 如何提取OLE 容器的嵌入对象? 大家喜欢什么格式的电子书? chm, pdf, html, doc,.... 怎样才能向一个文件中插入一个汉字? 在Word中快速插入日期和时间 备份access数据库原代码,看看错在哪里? 如何写收取、检索POP3邮箱的页面? 代码智能感应? 请教:c++编译器的问题 承蒙看得起~~最近半个月平均没天收到两封带毒邮件,散分:( WinSock控件编程中的一个小问题 QMAIL高手:关于分页的问题,函数vauth_getall() 高手们你们好,请您帮助 大家都在网上混了这么长时间了,有谁知道新浪网的sina是什么意思?俺不知道阿!!! 请大家帮忙看一下,这个问题怎么办???? QMAIL高手:关于分页的问题,函数vauth_getall() 哪里有英文的win2000下阿? 大家帮我看看如何在更新不成功的情况下,能提示出“更新出错” 打开一个任意一个目录下grid的存档程序怎写? 描写冬天寒冷的句子不能出现冷字 三根电热管三角形接法每相电流为24安每根电热管功率是多少 不知道各个X的意义 能讲解下么? 并把 各个X代表的意义讲解一下! 描写冬天冷的段落,不允许有 "冷" 字真得很有难度,帮下忙拉,谢谢了么 总功率81千瓦电热管9根,角接每相3根,每相电流及单相功率 半径为r的实心球体在液体中,球上表面与液面相距h,球体积为3/4π,半径为r,液体密度为ρ求液体对球向下的压力大小(2014昆明物理中考最后一题25) 描写冬天冷的片段三段,文章段落也行~ 英语中比较级什么情况下双写最后一个字母加er 已知函数f(x)对任意x,y∈R均满足:f(x+y)=f(x)+f(y);f(1)=2;当且仅当xf(x)=2x是唯一的答案,还有,仅从可加性得不到单调性啊,即使我说f(x)是单调递减的也成立啊:假设g(x)是单调递减函数,且满 哪里有卖测量水温的温度计如题.有知道的请告知一声.谢谢! 如图所示,甲、乙、丙三个实心小球分别在不同的液体中静止,三个球的体积关系是v甲>v乙=V丙如图所示,甲、乙、丙三个实心小球分别在不同的液体中静止,三个球的体积关系是v甲>v乙=V丙,三 用不同材料制成2个实心球,放入同一液体中,浮出液面的体积分别是各自体积的1/2和1/3,它们密度比是 水在0度以下会不会冷胀热缩?一直降温会不会一直膨胀?会不会因为膨胀而改变形态? 初中有哪些常见形容词变比较级要双最后一个字母 设a∈R,函数f(x)=a-2/(2^x)+1,(x∈R)...求证函数是增函数. 电阻 2极管 3极管 的工作原理起什么作用 请问如何用英语表达“天人相应” 我用的电热水器不能用了,测了一下电阻是47k欧,怎么会事? 电阻器的工作原理是什么? 长方体磁体怎么分南北极?方法?依据? 碳酸钠溶液与硝酸钾反应的化学式如题是我写错了,不过顺便问下为什么两个正盐不能反应?还有就是正盐是什么? 求臭氧消毒效果验证方案另外有两个问题希望能有标准答案:1、臭氧发生器运行多久,臭氧才能达到有效杀菌浓度?2、消毒结束多长时间后,才能达到人体能接受的浓度? 如何区分磁体的南北极?区分的依据是什么? 东营黄河口湿地公园和黄河口生态旅游区是一回事吗? 臭氧消毒利用了臭氧什么性质 北京的冬天于多伦多的冬天有什么不同最好用英文来回答!不会也可以用中文来回答! 做托里拆利实验时,可以确认管内进入了少量空气的现象是 A玻璃管内水银柱高度小于76cmB轻轻提起玻璃管,水银柱高度增加C倾斜玻璃管时,水银柱的高度不变D轻轻下压玻璃管,水银柱高度增加我 大米水放碘伏变色了,放点VC能变白什么原理? 微波是什么波?热辐射的波是电磁波吗? 为什么托里拆利实验中如果将玻璃管向上提起一些,水银柱会管内下降,但距水银槽中水银面高度仍是760mm. 三圈环流的极锋是怎样形成的?它和锋有什么不同点?怎样判断是冷锋还是暖锋?准静止锋过境有什么天气特点? 北美大陆东部气候问题为什么北美大陆东部温带大陆性气候的降雨量我国同纬度的温带季风气候多?貌似不合逻辑啊,不是温带季风气候降雨量都比温带大陆性气候多吗?真的是年降水量 ?那么,现在假设有一个超导线圈部分处于匀强磁场中则线圈中的电流不会消失,然后这个线圈将会永远...?那么,现在假设有一个超导线圈部分处于匀强磁场中则线圈中的电流不会消失,然后这个 三圈环流的极地气压吹得是东北风,然后副极地气压吹得是西南风,那么如果他们相撞是不是会在北纬60°那里下会不会下雨? 加拿大多伦多天气怎样? 对数温差算法 三圈环流 以上升气流为主的是( )和( ),降水( )以上升气流为主的是( )和( ),降水( )以下沉气流为主的是( )和( ),降水( ) 如图所示,三个实心球在液体中静止,球1有一半体积浸在液面下,球2和球3的密度之比ρ2∶ρ3 =1∶2,三%如图所示,三个实心球在液体中静止,球1有一半体积浸在液面下,球2和球3的密度之比ρ2∶ρ3 =1 黄河入海口在东营吗? 三圈环流 北美从西到东的气候类型 明天什么天气, 380v电热管三根三角形接线图有三根电热管需要连接成三角形接法,不知道能否和电机的三角形接法一样呢.三角形接线顺序有几种接法. 已知一次函数y=kx+b的图像与x轴相交于点A(-2,0),与函数y=3x的图象交于点M(m,3),求一次函数的解析式 山东黄河入海口湿地的红色生物是什么 380V、1000W电热管12根,三角形接法,三个一组并联这样接可以吗?不然该怎么接,这样接出来总线电流怎么算? 如何用右手定则判断磁体南北极?书上说的我看不懂,说说如何判断手的摆法 明天天气几点有雨 为什么地球是磁体 已知一次函数y=kx+b的图像过点(1,2),且与x轴交于点P,若直线y=3x+6也经过点P,求这个一次函数的解析式 怎么去东营的黄河入海口旅游呀?我在蓬莱 为什么地球是个磁体 电热丝发热时是发出热辐射的对吧?那有什么物质能反射热辐射呢?电热丝用什么材料最好? 为什么这样的天气是多雨的天气 地球、太阳是不是磁体? 天人永隔 是什么意思? 东营黄河入海口从东营的八分场,怎么坐车去黄河入海口啊 养水鱼用什么水 90KW的电动机需要多大功率的变频器来启动电动机? 硝酸钠溶液中加入铜粉不反应,再加入硫酸锌怎么还不反应?①硫酸锌水解显酸性,不是酸性条件下与硝酸根具有氧化性,应该会和铜粉反应啊?②同理,加入Fe(NO3)2也不反应,为什么?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘