说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

淘宝、腾讯、豆瓣、支付宝、网易专家热议大数据分析与BI实战

HTML文档下载 WORD文档下载 PDF文档下载
2013中国软件开发者大会于8月30-31日在北京新云南皇冠假日酒店盛大开幕。作为年度最具实战的技术盛会,大会云集了来自国内外一线互联网和企业级软件公司的顶级专家,就大数据等话题和参会者进行了深入分享与探讨。

2013中国软件开发者大会(以下简称SDCC)于8月30-31日在北京新云南皇冠假日酒店举办。作为CSDN和《程序员》杂志倾力打造、千人规模以上的顶级技术盛会,今年SDCC 2013以“软件定义未来”为主题,来自于国内外一线的技术精英,就大数据分析与BI、架构实践、研发管理、IT基础设施与运维、产品与设计、开放平台等专题和参会者进行了深入的分享和探讨。此外,32小时编程马拉松、CTO论道论坛等量身定制的特色环节也受到了参会者的强烈关注。

在第二天开放平台“大数据分析与BI专题论坛”里,我们邀请到了豆瓣网首席科学家兼副总裁王守崑、淘宝广告算法负责人王勇睿、网易杭州研究院技术经理吴一男、腾讯数据中心数据挖掘研究员肖磊以及支付宝平台数据部数据仓库技术专家严奉化(丁奉)。


大数据时代兴趣图谱和社交图谱融合


豆瓣网首席科学家兼副总裁  王守崑

豆瓣网首席科学家兼副总裁王守崑表示,大数据具有以下的几个特性:(1)大数据应该是超线性增长的。(2)大数据需要有非常复杂的数据结构,或者说是相对复杂的内部结构。(3)低成本。

大数据时代豆瓣是怎么做兴趣图谱的?王守崑给出了这样的总结:

  1. 逐步把兴趣图谱的信息和社交图谱的信息融合在一起。
  2. 抓住时效性、系数性,通过各种各样的特性来衡量这种推荐效果。
  3. 使用各种各样的模型,通过Boosting去分析问题。

社交图谱在语义上也是有非常高的复杂性,整个自然元素的领域对于语义也非常好,因为语义的复杂性更增加了这样的困难程度。另外,数据太大是一个很大的问题,豆瓣把IO Bound转化成CPUBound,相对完美的解决了数据太大所带来的问题。

王守崑在演讲结尾时说,个性化推荐是前所未有的好机会,有成熟的技术准备,接触大数据的成本非常低,有非常好的数据源和基础服务。除此之外,移动互联网让用户有更大的兴趣分享私人数据,所以从技术和数据的准备上来说都是非常成熟的。


淘宝广告系统的小而美创新


淘宝广告算法负责人  王勇睿

淘宝广告算法负责人王勇睿为大家分析了解决算法问题的细节,从产品的主要的特点来说包括这样几个主要的信息源:

  1.  创意的信息,创意指的是广告或者我们推荐的商品。
  2.   浏览者的信息,就是谁在看这个网页,构成了个人在站内留下的所有行为信息。
  3.  场景的信息,这个场景在淘宝的矩阵里面比较丰富,目的是给用户推荐恰当有序的结构。

王勇睿讲到,定向的技术包含不同的定向维度,还有不同的技术。而定向技术中为何采用多种维度来分析数据呢?原因不外乎以下几点:1)非搜索场景的意图模糊。2)意图选择路径并不唯一。3)意图稀疏的时候需要多种维度的补充。4)疲劳问题等等。


图为定向算法架构

最后他还说到,因为没有负反馈的产品和数据,所以在未来的设计里要增加负反馈。人为的控制正反馈负反馈的数据比例,这是难度很大的工程。

网易通用搜索优化之道——系统实现与数据分析


网易杭州研究院技术经理  吴一男

吴一男表示这个产品经过了通用搜索、云服务和数据应用这几个历程。通用搜索系统主要的关注目标是系统的实现功能。云服务关注的点是整个产品在使用和运维过程的应用型式和运维成本。接着就是关注搜索数据,这主要是为了满足真正的产品业务的要求。

网易内部的互联网产品其实各个产品有自己的一些独立的需求,或者业务上的一些不同,内部有一个专门的通用搜索这块的东西,能够支撑网易的其他的互联网产品。相关的产品像开源Solr Elastic Search。亚马逊和阿里也都有了云搜索,通用搜索淘宝近期也推出了TSearcher搜索技术,和网易的Solr Elastic Search差不多。


吴一男最后透露,网易通用搜索在未来的发展方向和目标是:

  • 完善服务化/云平台建设。
  • 数据可视化,基于数据驱动的改进。
  • 搜索个性化,与用户数据的结合。
  • 加强移动端搜索应用。
  • 扩展应用领域,提高用户体验标准。

腾讯个性化推荐系统设计及实现


腾讯数据中心数据挖掘研究员  肖磊

肖磊说,腾讯去年的个性化推荐主要在两个领域,一个是搜索广告的推荐,另外一个是微博上的推荐。另外在电商方面也做了推荐。他还表示,腾讯不管做视频的推荐、广告的推荐还是电商的推荐,本质上都是基于用户做的推荐。


他说,推荐实际上主要涉及三个元素(称之为3P):用户、ITEM和场景。这三个元素和用户的反馈数据之间的关系是非常紧密的。(用户的反馈数据包括用户的点击数据和曝光数据。)解决的办法(称之为3S)从三方面入手:数据、系统和算法。

肖磊最后总结说,腾讯个性化推荐系统的设计基于两大核心平台:腾讯分布式数据仓库(TDW)、实时推荐平台(APOLLO)。这两个平台主要服务于不同的推荐,分类完成推荐任务。

支付宝风控BI模型的发展之路


支付宝平台数据部数据仓库技术专家  严奉华(丁奉)

BI模型的发展之路是从2009年T+1的时候开始的,当时针对机器码注册现象,就做了识别。后来模型发展起来的时候,整个防控是以规则为主,模型为辅。到了2011年的时候,严奉华团队在线上做了模型平台。BI模型大规模布置之后,对整个模型平台的运转起到了很大的作用。 未来的目标是模型为主,规则为辅。


支付安全和用户体验之间是有冲突的,业务增长和运维增长也是有冲突的。为了解决模型上的弊端,实现业务上的增长,化解冲突的办法就是加入一层可信体系,这样的话用户体验也好了,运维上的困难也解决了。                                                                                                              (校审/付江)

更多精彩内容,请关注 @CSDN研发频道,“ 2013中国软件开发者大会图文直播”专题 。

littleBits新推Cloud Module,普通人也能DIY智能硬件 如何创建浮动式标签模式? Office 365正式落地中国——移动为先,云为先 .NET Native:C++的性能 C#的产能? Arduino联合创始人Tom Igoe:创客,因何而创 【走近院士】高文:多媒体大数据的影响及面临的挑战 微软SQL Server 2014三大新特性:集成内存OLTP、BI和混合云搭建 Linux将会统治桌面端的7个原因 Intel首席科学家Randolph Wang:详解Edison AMD Mantle再添新作,引发下代GPU架构猜想 谈DAM决策,自建还是SaaS 证据显示:Linux战争已经转移到OpenStack RestKit:iOS开发必备,告别众多无聊代码 技术新突破:手机和平板可远程控制PC,Chrome Remote Desktop亮相 物联网高速公路上,快数据如何驱动分析 苹果或将使用雅虎的搜索引擎,抛弃谷歌 百万用户规模的系统如何扩展 大数据需要软件定义存储 倒计36小时!2014中国Spark技术峰会即将召开! 设计师专宠,Startup强大的UI设计框架 走进金山云:从技术走向服务 Qt Creator 3.1.0发布,全面支持iOS、Android、WP Google大中华区总裁石博盟与中国大学生畅谈科技与创新 阿里云:从防到攻,深入浅出DDoS 大数据处理分析的六大最好工具 微软:Windows Phone开发者可回复用户评价 不断缩水后的微博上市首日大涨19% 曾一度涨超40% Snapdragon LLVM编译器全新升级 支持骁龙64位处理器 EDP:基于Node.JS与NPM的企业级开发平台 想改变世界,先改变自己——知名Hacker、发明家Mitch Altman专访 《近匠》iHealth,健康大数据助力硬件“破壳” 怎么判断窗口移出屏幕了? 我树型的事件脚本不执行?还有几个其它问题。请大家帮帮忙! 我们部门原创的顺口溜 如何判断处理事件和委托 在线等待:寻Delphi7中调用Excel表格打印的源程序 大家好,在线调查 原来asp中的recordset 在.net中还能用吗 “参数不足,期待是1”是什么意思? 如何读取一个文本文件的最后一行 将一表中的所有A列和B列的值(varchar型)合并后,添加到C列中。这个SQL语句怎么写? 请教用公式urlopen如何在“另一窗口“打开一页面。 win2000下如何给程序指定program ID 急,急,在VC中如何.sql文件(ORACLE) 我的DW不能启动了,问题解决马上给分100! 高手请进,在线等待! 下了一个手机游戏(JAR、JAD),想在计算机上模拟运行一下,该怎么做? 使用 应用程序组装工具 创建.ear,创建.war 在WAS中安装出现错误 !!! 立即给分 怎样改变由 javaw 打开的*.jar文件的图标? 纯粹好奇~水园、昨天晚上发生了什么? 为什么修改httpd.conf后,APACHE服务不能启动? 想买两本书,请看过该书的朋友评价一下,特别是书里的代码是C#的还是VB.NET的? win2000注册表问题 什么时候需要定义过程??? 兄弟们,替我出口气 800*600分辨率下,toolbar显示不完整,请问该如何解决?(100分) 我想在数据窗口中显示年龄信息,但是出错了!! 各位大侠,兄弟很急得问题,80分奉送 [ 新手 ] 请问几个关于时间的SQL语句 用ROUND函数,需要包含哪个头文件? 高手请进,在线等待!!! 怎么样用HTML代码实现在一个.htm文件中加载另一个.htm文件 ??? 哪位大哥有能解析ANS.1语言的东西? 比较大小的简单问题? 用Ras拨号过程中,如何取消拨号? 大家看看合适否? 怎样以逗号为标记分段读取内容? 求救:本地计算机无法启动 oracleserviceoradb 服务! java和.net你们好吗?保重VC。 如何把XML文件导到oracle数据库中? 变量初值问题,高手请进 求通过手机号码判断出手机入网地址(如上海,江苏等)的java接口 如何把htm文件移植到VB.NET中. 妈的找了几天广告交换的网站,怎么全是色情的,正常的网站就没有吗?你们的网站放不放这些东西 。 键盘错乱 高人指点 从.net想到php(欢迎大家讨论) WebService 连接问题????????????????????????????? 如何判断用户是否安装pdf格式阅读器 有什么好办法破解论坛的密码? 一个高难度的问题。100分求教!!! 构建EXCEL后,写入数据为何报错,请邦我看看 DELPHI与ORACLE9I中的BLOB字段存取的问题 过程详细思路清晰再加150分 NO.9 思路清晰 再加150分 大题19 过程详细思路清晰再加150分!no.2 等差数列{an}中 已知a4+a6+a8+a10+a12+a14=150 则4a9-a1-a17的值为? 设直线L1:y=1-x与x轴及y轴所围成的三角形区域被曲线L2:y=ax^2分为两个区域D1和D2,其面积之比7:5,求a一元函数积分运用的题 各路高手帮忙解答一下 如果区域D被分成两个子区域D1和D2且∫∫D1f(x,y)dxdy=5,∫∫D2f(x,y)dxdy=1,则 请教这个quote 的含义many labels are “mislead and confuse the mind,which is trying to make sense of a disorderly reality that won’t be pigeonholed”lables 在这里的意思是 种族主义 比如 白种人 伊斯兰人 黑人.求这句话 思路清晰再加150分 麻烦用公式编辑器打一下 思路清晰 再加150分 麻烦用一下公式编辑器 亚瑟用英语怎么说?只要这两个字的英语翻译,本人想用它做英语名. 姓Arthur(亚瑟)取什么英文名合适?要男名,比较帅气的名字.注意:要的是名字,不是姓 杭州商品房库存量达10.5万套新高 清华剑桥等名校联手研究北京雾霾天出行日媒:安倍上任后已打13次高尔夫 展印度今日雄心勃勃探火星 媒体议论“与美国新泽西一商场发生枪击事件 暂无人英内阁会议为防监听禁用iPad 高官安倍夫人昭惠拜访熊本县 体验韩式穿越印尼巴厘岛男子咖啡地中发现2000多俄拟为中国在内的20国游客提供3日免刚果(金)政府宣布该国打击反政府武装科索沃举行地方政府选举 投票点遭蒙面韩专家:《太阳的后裔》促经济 中国人[楚雄启航“十三五”]南华将打造享誉习近平捷克行:围绕三大主轴将两国关系新华侨报:日本政府当土豪有一手“拔毛[楚雄启航“十三五”]牟定发力左脚舞[楚雄启航\"十三五\"]楚雄要做滇河北秦皇岛市北戴河机场通航,山海关机河北迁安:育婴师免费培训助村妇华丽转PVC胶水怎么洗掉 PVC胶水使用方《火锅英雄》再曝预告 陈坤领衔“兄弟低油价困局,中石油重整业务板块欲“杀医驭香国兵者为王重生之暴力药神傲天狂神透视邪医知识殿堂毒伯爵英雄联盟之我欲封王屠尽万仙地球武王我的23岁美女总裁腾冲热海旅游71号界碑旅游一寨两国旅游大等喊旅游畹町桥旅游树包塔旅游菩提寺旅游勐焕大金塔旅游孟连大金塔旅游景真八角亭旅游独树成林旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘