说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据应用(下):应用驱动技术,DaaS创造价值

HTML文档下载 WORD文档下载 PDF文档下载
大数据应用主题论坛中,既有来自搜狐、360、小米、阿里等互联网企业的大数据技术实践,也有传统企业海尔在大数据方面的探索,提供数据分享服务的数据堂也分享了科研数据应用和共享方面的实践。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

大数据应用主题论坛中,来自搜狐、海尔、奇虎360、小米、数据堂和阿里巴巴的技术人员分享了各自平台的大数据实践经验,涉及推荐引擎、网络攻击检测、HBase技术、科研数据的应用等方面。

首先,来自搜狐移动研发部的负责人蔡明军带来了“构建移动场景下的个性化推荐引擎”的分享,介绍了大数据场景下,移动端个性化内容推荐的基本情况。


搜狐移动研发部负责人 蔡明军

内容推荐引擎主要是为了在爆发信息过程当中,建立一个信息的路由,让合适的资讯在合适的时间,以合适的方式正确地传递给用户。个性化内容推荐的原理是:

  • 对词的统计和分析来理解内容,即内容建模;
  • 对用户行为的分析来理解意图,即用户建模;
  • 利用推荐算法,让合适的内容遇见合适的用户。

基于移动端的资讯获取,搜狐提供了四套引擎做支撑:

  1. 热点引擎,每个人获取信息的时候,都不希望把热点忽视掉。
  2. 信息引擎,每个用户有自己特征信息,这样才能匹配他的个性化。
  3. 探索引擎,基于计算挖掘跟用户的兴趣和人际关系,把类似的事情试探性地发送给用户,挖掘用户未知的兴趣点。
  4. LBS引擎,基于用户的位置和所在的场景挖掘相关信息。

在实战方面,蔡明军介绍了搜狐的系统框架,整个推荐引擎是后台系统。后台有实时日志流,对用户的行为进行实时关注,中间做的是实时的计算。底层会有搜狐基础的云平台,旁边有监测运维效果平台。最前端会有推荐服务的网关,我们在这个过程不断进行算法的替代,不断的进行切换,跟产品进行有效的脱离,这是详细细化的结构。这是大致的流程,第一个用户识别,然后进行用户推荐计算,最后推送出去。比如说对用户的识别,对内容的分组。

提到大数据,大家想到的都是大型互联网公司,其实在很多传统行业也在进行大数据方面的工作,来自海尔集团电子商务有限公司CTO盛国军进行了“数据拼图演绎按需定制”的分享。


海尔集团电子商务有限公司CTO 盛国军

海尔希望发展自己的交易平台,而不是依赖苏宁、京东等别的平台,第一步要解决的问题是通过有效的手段获取用户,然后根据自己的记录比较精确的观察用户如何和我们交互。第二步要得到和用户交互的数据。有了这些数据之后,要对用户做各种各样维度行为的总结。最后要解决两个问题:一个是强关系,落实到购买行为上;另一个是弱关系,要引导分享这些信息。

在技术架构方面,海尔电商大数据平台借鉴了阿里的基本架构,是刊登在《程序员》杂志上的一篇文章。海尔做了一些改良,其中一个改良就是传统的业务有一些特征比较复杂,节点比较长,整个的日志或者数据元的采集没有纯互联网企业或者新兴企业那么容易。各个应用之间,通过统一的格式把这些数据发出来,专门有一个收集。数据存储起来之后,第一步解决量化的指标,第二解决实质性,第三解决个性化,第四解决自动化的问题。

接下来,奇虎360高级软件工程师肖康的演讲题目是“Storm在实时网络攻击检测和分析的应用与改进”。肖康介绍360之所以采用Storm平台基于以下几个原因:

  • 它是实时的数据平台,流式处理,数据都是在内存中,不经过磁盘。
  • Storm是一个分布式平台,可扩展性强,需求增加时,增加机器,增加并发即可。
  • 分布式系统的容错性强。
  • Storm平台比较灵活的,它的计算模型是DAG,可以针对需求组合出很多流程。


奇虎360高级软件工程师 肖康

肖康接下来介绍了在利用Storm解决业务需求的过程中,遇到的问题及解决方案,主要问题包括:storm程序资源(如内存)占用过多导致系统不稳定、流量大时storm程序出现OOM等问题、内存队列没有大小限制、worker程序异常退出后需要等超时才能重启恢复、worker间通信的组件ZMQ使用了JNI,异常时导致JVM直接退出,且无日志可查、增加JVM的stdout stderr日志等。具体内容参见肖康的演讲PPT:

联想K900评测:英特尔X86兼容性明显提升(组图) 小米手机-HAXLR8on硬件黑客马拉松:32小时的创客狂欢 鲍尔默宣布下台后,微软应该做好这几件事情 IGT张奇伟:从空间物理到博彩游戏研发 Bing即将推出新功能 用户可直接在搜索结果页购买商品 【开源专访】郑晔谈Moco框架的前世今生以及Java编程之道 CTO俱乐部第108期下午茶:电商在微信上的现状与未来 SDCC 2013讲师议题确定 门票即将售罄(图) 简化工作流程,10款必备的HTML5开发工具 六大领域考评鲍尔默微软掌舵能力,只一“C”尔? 剥离自雅虎的Hortonworks:低调发展,三年融资近1亿美元 Google的中国梦如何死于傲慢与不得力公关 [回顾]昨日黄花,那些被人们遗忘的11个操作系统 管理企业级API的7个最佳实践 Java 与 .NET 的平台发展之争 英特尔正在开发3D深度感知摄像头 可读出人类的情绪等 从数据平台到运营平台:国产开源移动统计Cobub Razor发布0.6版本 八月网络事故频现,CN域名遭最大规模网络攻击 Google云平台或将成为Amazon最大竞争对手 Camera360宣布完成1800万美元B轮融资 利用ZK Ajax框架 高效扩展Web App Web开发者需养成的8个好习惯 GitHub工程师专访:奶昔+海象+游泳池=开源 Paymill发布移动SDK,实现应用内直接支付 免费到付费:全球第二开源Web Server Nginx“堕入”商业化 乐视发布新版智能电视操作系统LetvUI 2.3—Schnauzer 进步还是灾难的开始?科学家首次通过互联网实现“心灵感应” 叫板Apple TV 谷歌发布Chromecast的iOS应用 性能提升100倍的秘密武器:一行SQL代码的妙用 60个开发者不容错过的免费资源库 专门针对初学者的Node.js教程 字符串str=" aaa ",如何变为"aaa" 怎么没有人理俺泥?? 关于dw的问题 如何读入数据库中的HTML格式的正文呢? 一个在阅读<<深入浅出MFC>>中遇到的问题 !!!!急 新手,说找不到mfc42d.dll文件 怎么没有人理俺泥?? 关于dw的问题 FAST.lib 2000 for windows是个什么东东 请问各位一个非常简单的问题 jdk和jvm 笨蛋 大家有什么建议吗? ASP.net如何刷新另一个页面 有一年delphi工作经验的程序员在全国各地的待遇如何?哪个城市有发展前途(钱途)? 100分求解!!!这个问题大家都来看,来者有分!!! 告诉我几个地方,给你几十分,简单吧 :-) 有没有关于VPN的书籍 Interbase源码分析 西瓜是Plmm哎~! 一个字符串替换的小问题。。。 还有一个问题需要问大家。。。特别急。。。 我变成了大家的一员 哪儿有在jbuilder中让三键鼠标可以使用滚动功能的驱程? 我想把ODBC的所有数据源列出来显示,不知道用哪个函数,谁能告诉,多谢了!来就有分 两台机器怎样用一个asdl宽带猫上网 我的vc编译器在我的一个程序就是不出自动变量填补功能,在其他程序上可以,不知为什么 我想把ODBC的所有数据源列出来显示,不知道用哪个函数,谁能告诉,多谢了!来就有分 怎么复制程序自己? 小小问题 我喜欢在等人的时候抽根烟!(在车站接哈尔滨来的哥们) 我想把ODBC的所有数据源列出来显示,不知道用哪个函数,谁能告诉,多谢了!来就有分 如何在SQL服务器端编程截获SQL客户端从工作站机器上的登陆 大家的公司都用ASP做什么?????我一直想问这个问题。 我只有 .ora文件,怎样恢复数据库? 急 关于游戏编程! J2EE的配置问题!! 请帮忙 !!!多谢了!一定给分!!!! 什么类型的共享软件最挣钱? 请教各位大虾一个DLL问题 如何恢复oracle数据库,先安装好oracle,之后再安装了develop2000,修改了oracle_home后oracle就启动不来了。 SDI程序中,如何在MainFrame里,得到文档的指针? Delphi入门提问 请教各位大虾一个DLL问题 是输入IE网址不对还是Apache对该文件common.jsp设置了访问权限? ${java_home}/.. 在国外发布的共享软件如何收钱? 实在不知道现在企业都是怎么招人的! 世界上会有简单而没有伤害的爱情吗? 急!!!如何将一个结构对象转成LPVOID 有XP的控件吗? 天!问卷调查竟是这个样子的! 一个很EASY的问题 注册表的问题,如何导入注册表文件? 氢氧化亚铁和氢氧化铁的转化在氢氧化亚铁被氧气氧化成氢氧化铁的过程中所形成的绿色的物质是什么?(它也是一种沉淀吗?)为什么会是绿色的? 写出下列物质的化学式: 1.氘核 2.瓦斯 3.氯仿写出下列物质的化学式: 1.氘核 2.瓦斯 3.氯仿 4.四氯甲烷 用什么东西清洗光学玻璃最好? 什么地方吸收酒精 蒸馏水对植物的作用蒸馏水对植物有什么好处,坏处? Mg3N2是什么 .酒的吸收的特点是: 分别放入12种必须元素的自来水和蒸馏水培养植物为什么长势不同? Mg3N2 是什么颜色的 水蒸气蒸馏的馏出液,为什么加入食盐饱和后再进行后续分离操作? 蒸馏水是干净的吗?蒸馏水能不能检测水质的? 三氯甲烷是什么 用途 要注意什么 初二物理——物态变化中熔点的知识1、北方建筑工人在秋冬季和泥时,常用食盐水来代替自来水,这是因为食盐具有( )A 较好的流动性 B 较好的挥发性 C 较低的熔点 D 较高的凝固点2、雪后路 水蒸气蒸馏试验中被蒸馏液体中的浓度应该越高越好对吗?加食盐以达到近饱和状态再进行蒸馏 这个理论对吗 看过你做减压蒸馏的帖子.请问,你用的是循环水真空泵,这样还用接安全系统么? 最好是以前没有的,重在创新,也可以是传统实验的改良,1 求初中生物的全部实验各位叔叔阿姨,哥哥姐姐,老师们,麻烦你们帮我把初中生物的全部实验发给我可以么?邮箱是:lrt2009@163.com谢了,顺便要是有生物历史所有知识点和会考复习资料的也顺便 关于用真空泵减压蒸馏,为什么说可以回收溶液?我看了装置图发现提气囗刚好在出液囗处,难道不会把蒸汽给抽走导致溶液回收少了吗? 我们有个生物创新实验比赛,要求环保,重在创新,老师让我参加,我不想让老师失望, 铁烧红放入水中冷却后为什么变硬 对有机混合物进行减压蒸馏时如何真选择真空泵 需要一个生物的创新实验,要求注明创新点和意义.而且这个实验最好是好做的,实验材料最好是生活中易见的. {在线等}过饱和蔗糖水加食盐后对蔗糖溶解有没有影响一杯过饱和蔗糖水,杯底有蔗糖.现加入一些氯化钠,氯化钠溶解后请问杯底的蔗糖会不会继续溶解? 减压蒸馏 真空泵的压力为什么不是液体表面的压力? 医院里的“安静”二字是要求声音不超过_____________ ,从减弱噪声的途径看,这是在______________处减弱噪声.是苏教版作业本上的, 在铜锌原电池中,将铜电极的氢离子增加一倍,则铜极上的电动势会变大还是变小?若加入氨水则电动势变大还是变小? SOCl2和碳共同构成锂电池的放电的电极反应方程式那可不可以告诉我充电时的方程式还有总的反应式啊, 2010初中生物实验如何做一定要2010年大啊就是今年中考会考的 锌和铂做心脏起搏器,为什么锌作负极,血液不是呈碱性吗?请详细说明,本人化学不好 锂电池的电极反应式高中能见到的一些锂电池的反应式 滴加什么试剂鉴别蚕丝制品 盐酸?硫酸?硝酸?氢氧化钠? 硫酸溶液中锌、铜电极接上回路,为什么锌失去的电子能定向移动到铜极?而氢离子能定向移动到铜极接受电子是什么力量使锌失去的电子定向移动到铜极处?若说电动势,哪电动势是电极两端有 心脏起搏器寿命快到能光换电池吗?另外国内哪里的价格便宜,大概几万元?83岁老人还可以装吗? 苛性钠露置于空气中逐渐变质 化学方程式 纳米硅酸盐涂料具有的化学性质是 Li-Al、FeS电池电极材料是什么?电极反应式是什么?LI比AL活泼,怎么能AL作负极 酒精会直接被胃吸收吗?喝酒后,被吸收的时间是多久? 化学提纯问题 我想问,为什么要用到蒸馏水工业上常用 FeCl3溶液腐蚀印刷电路板,欲从腐蚀后的废液中回收铜及制取纯净的FeCl3溶液,需要用下列试剂:①蒸馏水;②铁粉;③浓硝酸;④浓盐酸 心脏起搏器的电池几年更换 酒精可以直接被肠胃吸收吗 怎么样用化学法提纯3,5-二甲基苯胺,含量99.5%以上 氯仿与什么化学物质反映为了测试溶液中是否含有氯仿,在甲醇+水+氯仿的溶液中,用什么溶液能测得该溶液中含有氯仿反映现象如何呢? 【生物】为什么在胃部会吸收酒精? 分离提纯乙酸乙酯溶液中的苯甲酸、对甲基苯胺和乙酰苯胺 四氟乙烯的化学式 怎么让肠胃少吸收酒精喝 怎样按装心脏起搏器 根据四氟乙烯的化学式你能得到哪些信息 初中生物分组实验都有哪些人教版的初中生物分组实验是不是只包括所谓的“实验”?而“探究”、“调查”、“观察与思考”、“演示”都不属于严格的分组实验内容?初中生物书上感觉说 怎样用化学区分苯胺,N-甲基苯胺,N,N-二甲基苯胺? 四氟乙烯的化学式可以得到哪些信息? 氧化亚铁、四氧化三铁、氧化铁、氢氧化亚铁、氢氧化铁的化学性质 氯仿化学式 脂肪鉴定为什么要在盖盖玻片前滴加蒸馏水 氢氧化亚铁如何转化成氢氧化铁? 选择题:氯仿的化学式和化学名是()? 三氯甲烷怎样处理后才能替代四氯甲烷 氢氧化铁 及氢氧化亚铁 性质急用 谢谢 测定氯仿被氧化的溶液是什么?是 四氟乙烯(C2F4)中碳元素的浓度为?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘