说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据应用(下):应用驱动技术,DaaS创造价值

HTML文档下载 WORD文档下载 PDF文档下载
大数据应用主题论坛中,既有来自搜狐、360、小米、阿里等互联网企业的大数据技术实践,也有传统企业海尔在大数据方面的探索,提供数据分享服务的数据堂也分享了科研数据应用和共享方面的实践。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

大数据应用主题论坛中,来自搜狐、海尔、奇虎360、小米、数据堂和阿里巴巴的技术人员分享了各自平台的大数据实践经验,涉及推荐引擎、网络攻击检测、HBase技术、科研数据的应用等方面。

首先,来自搜狐移动研发部的负责人蔡明军带来了“构建移动场景下的个性化推荐引擎”的分享,介绍了大数据场景下,移动端个性化内容推荐的基本情况。


搜狐移动研发部负责人 蔡明军

内容推荐引擎主要是为了在爆发信息过程当中,建立一个信息的路由,让合适的资讯在合适的时间,以合适的方式正确地传递给用户。个性化内容推荐的原理是:

  • 对词的统计和分析来理解内容,即内容建模;
  • 对用户行为的分析来理解意图,即用户建模;
  • 利用推荐算法,让合适的内容遇见合适的用户。

基于移动端的资讯获取,搜狐提供了四套引擎做支撑:

  1. 热点引擎,每个人获取信息的时候,都不希望把热点忽视掉。
  2. 信息引擎,每个用户有自己特征信息,这样才能匹配他的个性化。
  3. 探索引擎,基于计算挖掘跟用户的兴趣和人际关系,把类似的事情试探性地发送给用户,挖掘用户未知的兴趣点。
  4. LBS引擎,基于用户的位置和所在的场景挖掘相关信息。

在实战方面,蔡明军介绍了搜狐的系统框架,整个推荐引擎是后台系统。后台有实时日志流,对用户的行为进行实时关注,中间做的是实时的计算。底层会有搜狐基础的云平台,旁边有监测运维效果平台。最前端会有推荐服务的网关,我们在这个过程不断进行算法的替代,不断的进行切换,跟产品进行有效的脱离,这是详细细化的结构。这是大致的流程,第一个用户识别,然后进行用户推荐计算,最后推送出去。比如说对用户的识别,对内容的分组。

提到大数据,大家想到的都是大型互联网公司,其实在很多传统行业也在进行大数据方面的工作,来自海尔集团电子商务有限公司CTO盛国军进行了“数据拼图演绎按需定制”的分享。


海尔集团电子商务有限公司CTO 盛国军

海尔希望发展自己的交易平台,而不是依赖苏宁、京东等别的平台,第一步要解决的问题是通过有效的手段获取用户,然后根据自己的记录比较精确的观察用户如何和我们交互。第二步要得到和用户交互的数据。有了这些数据之后,要对用户做各种各样维度行为的总结。最后要解决两个问题:一个是强关系,落实到购买行为上;另一个是弱关系,要引导分享这些信息。

在技术架构方面,海尔电商大数据平台借鉴了阿里的基本架构,是刊登在《程序员》杂志上的一篇文章。海尔做了一些改良,其中一个改良就是传统的业务有一些特征比较复杂,节点比较长,整个的日志或者数据元的采集没有纯互联网企业或者新兴企业那么容易。各个应用之间,通过统一的格式把这些数据发出来,专门有一个收集。数据存储起来之后,第一步解决量化的指标,第二解决实质性,第三解决个性化,第四解决自动化的问题。

接下来,奇虎360高级软件工程师肖康的演讲题目是“Storm在实时网络攻击检测和分析的应用与改进”。肖康介绍360之所以采用Storm平台基于以下几个原因:

  • 它是实时的数据平台,流式处理,数据都是在内存中,不经过磁盘。
  • Storm是一个分布式平台,可扩展性强,需求增加时,增加机器,增加并发即可。
  • 分布式系统的容错性强。
  • Storm平台比较灵活的,它的计算模型是DAG,可以针对需求组合出很多流程。


奇虎360高级软件工程师 肖康

肖康接下来介绍了在利用Storm解决业务需求的过程中,遇到的问题及解决方案,主要问题包括:storm程序资源(如内存)占用过多导致系统不稳定、流量大时storm程序出现OOM等问题、内存队列没有大小限制、worker程序异常退出后需要等超时才能重启恢复、worker间通信的组件ZMQ使用了JNI,异常时导致JVM直接退出,且无日志可查、增加JVM的stdout stderr日志等。具体内容参见肖康的演讲PPT:

分析称平板电脑应用将占全球应用经济的35% 三大运营商对微信等OTT业务摊牌 Runscope联合创始人John Sheehan:API已死,API永存! IBM在京发布大数据白皮书 提出五项关键建议 Twitter开源Parquet 将支持Impala加速实时查询 使用Go代替Ruby,将服务器数量从30降到2 初创公司SwiftStack:“放在盒子里的S3” 赫尔辛基:全球移动游戏开发者的“黄埔军校” 不只属于三星!uMoove将发布“眼球追踪”SDK Android掌门人Andy Rubin宣布辞职 Chrome主管接任 openSUSE 12.3发布 弃MySQL拥抱MariaDB Meteor:让实时Web App成为主流 别了,Google Reader!谷歌于7月1日关闭服务 “天网”降临 机器人或将崛起? 涅槃重生:Qt 5 for Android预览版发布 Google Play将逐步移除广告拦截应用 Shapeways公司开放API 3D打印时代来临 37signal设计师眼中的iOS与Android系统 VMware/Oracle向公有云拓展生态系统 AWS“山寨”技术伙伴创意与产品,是自我完善还是杀鸡取卵? 苹果发布OS X 10.8.3 新版Boot Camp可支持Windows 8 恭喜!麻省理工两密码学教授获2012图灵奖 Rovio的逆袭,发布首款RPG游戏“克鲁德一家” 百会呼吁微软提供合法经营Office&#160;365的相关证明 谁说Vim不是IDE?(四) RDS升级:单DB实例最高可获得3TB存储和3万IOPS 移动周报:“先验证,后开发”的App开发必杀技 Supercell首席执行官谈公司运营理念 SwiftKey:Galaxy S4输入法背后的开发团队 前IE团队领导:IE是如何走向衰败的 谷歌更新BigQuery 允许在其中加入大型数据集 求教组网方案!有实践经验者请进 帮助看看用什么控件比较好。 OLE打开Excel文件的问题 关于c远程调用 这个病毒太狠了! 如何将IE打印功能去掉?禁止别人打印网页? 请教关于TImageList中存储多幅图片的问题 100分赠送 寻架构? 请教高手:如何在VB开发的程序中准确判断用户的可用内存? 用jb怎么在另一个类中控制frame中的一个label的text的实时的变化?多谢 如何制作PB应用程序的安装程序?高分求救。 WinXP里怎样备份norton antivirs的升级数据? 我只是给自己加点分啦 快救救我吧,我的存储过程返回值有问题?? 日文原码想在中文环境中运行可不可能 JBoss高手看过来! 下面的js执行错误,请看看 请教高手:如何当一个程序被反复调用时利用command$? 声明游标时可否用变量? 能不能提供几个漂亮的repeater控件的模版? dbs.Execute "SELECT * INTO 在校学生 FROM [Excel 8.0;DATABASE=" & App.Path & "\MyExcel.xls].[WorkSheet1] "报错,在线等待 有没有什么工具或办法可以将Tc 下的程序移植到linux下运行? 求助! 请教!急! 世间什么才是最珍贵的? 大家來說說2003年版<射雕>的敗筆. 请教:如何在VB开发的程序中判断一个程序在硬盘上的安装路径? 帮忙!谢谢! 此类问题如何查询? 请教个问题:每次启动机器都会打开IE跳到我们这边的一个内部网站去,本来启动就慢----火死了,怎么去掉---在注册表了改么? combo控件问题. 问一个关于刚开机的win.com的问题。请高手帮帮忙呀! dbs.Execute "SELECT * INTO 在校学生 FROM [Excel 8.0;DATABASE=" & App.Path & "\MyExcel.xls].[WorkSheet1] "报错,在线等待 请问我如何在注册网站成功后,在exchange中也建立一个与注册网站时同名的帐号呢? ASP(javascript)自动回复问题?? ★★母亲的生日★★ 哪位有没有用spcomm控件进行串口通讯的例子? 大家帮我看看这是用哪个做的? 关于打印... 两路由器的使用方法比较,哪个好些? 在线求助:有没有改变电脑所连的打印机打印属性方向的API函数?多谢 我要送分 设置ejb的几个接口时,我有点弄不明白 有没有什么办法把ACCESS的表打印出来?格式改变一下? 烦啊~~~~ 谢谢!如何让对话框的大小不受屏幕分辩率的影响??? 请问怎样避免多用户同时访问数据库中的表? 简单问题:怎样用url打开一个文档?多谢 怎么控制小数的位数? 这个QQ炸弹好厉害,是什么原理呢? 几何图形问题能回答吗? 核细胞是(),遗传信息存在于()中 是谁发现了大气压力快啊 我很急啊 家兔实验中,增加二氧化碳摄入量后,呼吸有何变化 人体口腔上表皮细胞中的遗传信息流向 毛细血管出血用什么办法止血 在已经停止分裂的大豆体细胞中,遗传信息在生物大分子之间的传递情况可能是A DNA-RNA的转录过程B RNA-RNA及RNA-DNA选择哪一个?为什么? 我想问一下,如果以宇宙飞船的速度的飞机在大气层内飞行,飞行员能否承受得住这么大的加速度压力 1.2.说出下列各式的值(求过程 膈肌放电中的家兔吸入高浓度二氧化碳后呼吸变慢他的机制是什么? 有关太阳的信息太阳是一颗巨大而炽热的恒星.它是距离地球最近的恒星,距离地球约1.5亿千米.太阳的直径约1392000千米,是地球直径的109倍;太阳的体积是地球体积的103万倍.太阳的表面温度约6 计算下列各式的值(写出详细的步骤) |√3+√2|+|√2-√3| 细胞分化是遗传变异吗 有关太阳的信息有哪些?有关太阳的内部. You'd better ___ (not go) out.It ___ (rain) hard. 怎么才能停止细胞的分裂? 请给我一些有关太阳的信息 You'd better not go out.It ____ (rain) soon 'c 高林瑜生命如草,有荣有枯.小草的一生如人的一生,一半是阳光,一半是风雨.但每一棵草,从早晨那缕阳光到黄昏那片云霞,总在尽享岁月赋予它的时光.因为它学会了感谢生命.生命如舟,总是在浪 请给我一些有关太阳的信息, It ___(rain) heacily outside ----You'd better not ___(go)out 孔雀石和铜时不时同种物质 问青少年有关太阳的信息比如:太阳是一颗巨大而炽热的恒星.它是距离地球约1.5亿千米.太阳的直径约139200千米. 脑部神经总是抽痛怎么回事? 越字的拼音怎么写用拼音把这个字打出来 最大turob频率2. 听觉感受器是什么 导电滑线防护板应设置在哪些部位?有哪些安全要求? M90×2-6g其中的6g是什么意思,请给说详细点. 听觉感受器位于哪里耳朵 pcb软板电金是否需要导电线 M24x1.5-6g中的6g是什么意思,怎么确定它是6g而不是其它什么呢 帮忙计算下列各式的值 空气开关老是跳闸,有时跳,有时不跳?通电后只有一个灯泡,没有其他用电器,有时跳,有时不跳. 神经细胞和肌肉细胞的遗传物质一样吗 发现的一点奇怪问题 中午太阳不在正头顶上方 是怎么回事?我在深圳龙岗 那天我想看太阳方向判断一下东南西北 让我发现一个有点奇怪的问题 中午的时候太阳不在头顶正上方 有点偏南 我 双梁桥式起重机中是不是检修吊笼和大车导电架二选一就可以,一般选择哪一个 身体内的细胞所含的遗传物质为什么是一样的呢 小华到海边看日出,发现了一个奇怪的现象:明明看到太阳从遥远的海边升起来了可是眨眼又落回去了,请详细说明其中的原因. ups旁路开关是什么 生物中;人的肌肉细胞和神经细胞的遗传物质是什么? 神秘问题,看太阳打喷嚏.我眼睛直视太阳或者其他光源就会打喷嚏(前提是光源得强一点),而且我的同学中也有几个和我一样,不过不多,我猜测是光解酶的作用. 第四题选什么 轨道舱在飞船的哪个部分最好说得详细一些 蔗糖燃烧实验,为什么要加小苏打 第四题怎么弄?最好写下过程, 轨道舱与飞船分离后去了哪?! 请问鸡蛋是球形吗?一年级数学判断题.谢谢!答案摸不着头绪,给个解释好吗? 细胞增殖与分化、癌变过程中遗传信息的表达过程相同吗? 蔗糖溶液的旋光率一般情况下是多少 蔗糖转化试验中可以把蔗糖倒进盐酸中吗?为什么? 北京今天能看到日食吗? 下列叙述错误的是( ).选项:a、葡萄糖在酸性水溶液中有变旋光现象.b、 麦芽糖、蔗糖都是还原糖a、葡萄糖在酸性水溶液中有变旋光现象.b、 麦芽糖、蔗糖都是还原糖 在蔗糖与盐酸反应,把盐酸加到蔗糖去,可否把蔗糖加到盐酸中去?为什么? 神州7号的航天飞行员是 谁33燃放人 为什么我今天下午又看了月亮又看到了太阳? 判断题:球形可以看成圆顶形的组合.对还是错 神舟九号飞船绕地球一周需90分钟,那么地球上的人度过一昼夜,神舟九号飞行员度过了几昼夜? 为什么今天还能看到太阳,是因为我拯救了世界. 配置蔗糖和盐酸溶液时,是将将盐酸加到蔗糖中去,是否可以将蔗糖加到盐酸中? 西湖国际马拉松周日开跑 周边公交线路中国100大最佳市政府出炉 浙江9个近二成美国人称见过鬼 女性比男性更易默克尔遭美国监听 德议员称斯诺登愿协美墨边境现毒品走私隧道 地下10米深新书披露奥巴马曾很怕应酬克林顿 不愿会议记录爆奥巴马医改网站开通首天仅6斯诺登与德议员会面三小时 向德联邦政俄方建议在莫斯科与叙利亚政府和反对派黑客因不满新加坡媒体局规定威胁将发动加拿大女子相亲网站“钓男人”吃免费餐新加坡两名少年不满被人抱怨挥棍打人被新加坡公共交通“有人味儿”国际新闻早报:美国总统与伊拉克总理谈韩国将重组国军网络司令部 以提高工作克里急赴中东安抚沙特 美沙关系因叙问土耳其4名女议员戴头巾出席会议 打破梅德韦杰夫谈监听丑闻:美国不能这样厚俄“彼得大帝”号核动力巡洋舰进入地中英国检方称《世界新闻报》曾窃听哈里王泰国机长驾照过期在南京被停飞 乘客机超级油田复产!沙特表态不减产,石油后油价延续EIA公布后跌势“迅猛”,沙微商春晚赞助商FNFEEL梵芙品牌吐槽有奖|这个年你到底在家里过成什么“影大人”入驻”悦幕中国电影观察”雨水养生:嗑多瓜子、春燥,上火怎么办泰国试管婴儿囊胚移植成功率高于胚胎是油价回落打压欧美股市 两地结束升势收夏高静:减产降温EIA“飘红” 现货4男子假冒记者进公安局“监督办案”行高逼格英语简历要“吹”的到位中国央行支撑人民币汇率以刺激消费,但小狗砸!放开那个大肉包砸!!一位主人准备将狗狗带到收容所弃养,但各种犬种的体型对比,整理完我自己都吓vivo水立方新机出世3月1日Xpl热点 | 春节和情人节档的电影票房 除了鸡汤、八卦和吐槽,我们还能读到真给你一个机会,一生二,二生三,翻仓不神车哈佛H6究竟神在哪里?丨砖叔帮你油价重挫!沙特明确表态不减产,其他产
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘