说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

揭秘LinkedIn数据科学家如何工作

HTML文档下载 WORD文档下载 PDF文档下载
在互联网企业中,LinkedIn是一家出了名的“慢公司”,但LinkedIn也是最成功的社交网络,用户品质、广告价值都是行业翘楚,秘密在于LinkedIn有一个高效的数据科学家团队。下面看一下LinkedIn的首席数据科学家Manu Sharma对LinkedIn的看法。

作为社交网络, LinkedIn并不是最大的,也不是生长最快的。 成立于2003年的LinkedIn, 花了500天, 才达到了100万用户。 然而, 作为全球最大的职业社交网络,LinkedIn的后劲十足。今天, LinkedIn每6天就新增100万用户。 平均每秒有两个新增用户。 每年, LinkedIn的用户搜索量达到了42亿。 LinkedIn的数据分析团队每天要分析200TB的数据来更好地了解用户。

为什么人们现在如此的关心统计和数据,为什么数据科学家成了最性感的工作, 最近,在TiE的峰会上, LinkedIn的首席数据科学家Manu Sharma接受了采访, 揭秘了LinkedIn的数据分析的工作。以下为采访内容:

问: 能介绍一下LinkedIn的数据科学吗?

答: LinkedIn就是用户的职业社交网络, 在这个网络上, 如果人们想找你却找不到那么你就可能失去一个机会。 因此, 对用户来说,保持状态和资料的时时更新非常重要。 LinkedIn的业务, 就是建立在对这些数据进行分析的基础上的。 为了达到对数据实时快速处理的目的,我们开发了自己独特的算法, 叫Metropolis。它可以每天实时处理10亿条数据。 具备开源的解决方案 Voldemort, Kafka,和 Zoie 那样的功能。

数据科学家需要具备好奇心和直觉。 他们需要想的问题是:我能用这些数据来做什么呢? 我需要问什么样的问题?这些数据能告诉我什么? 他们还需要足够的直觉来了解他们所采用方法的局限性。 数据科学家的工作包括, 采集数据, 整理数据, 建立正确的模型, 测试模型, 还要有一定的编程能力。 一个数据科学家需要具备这些技能, 而这些技能也是一个初创企业在建立它的数据科学家团队所需要的技能。

问: LinkedIn数据应用的重点是那几个方面?

答:LinkedIn的数据应用主要在三个方面:

1. 开发创新的数据产品

2. 从内部数据发现趋势和机会

3. 推动业务成长

比如”推理算法”被用来根据用户的数据进行一些信息的推测。 这一点对于将来的产品设计尤其重要。比如说, LinkedIn就采用了“推理算法”推出了“你可能知道的人”这个功能。 这对增加用户粘性和提高用户口碑传播有极大的帮助。 LinkedIn是最早推出这一功能的。 现在, 这个功能已经成为了社交网络的必备功能了。

此外, 通过用户在资料里关于技能的描述文本,我们通过文本提取和文本分析, 建立起一套技能的关键子字典。 通过聚类算法, 可以产生很多很有意思的发现来帮助我们提高服务或者推出产品。

此外, 通过对各个行业的用户数据分析,还可以对行业或者整个经济进行一些预测。( 比如:某个行业进行了裁员, 或者某些行业的招聘计划增加等等) 这样做的一个优点是, 这些数据不是来自与问卷调查,这些是用户实实在在的行为数据。 所以,在美国总统经济政策报告里, 这些数据也会被采用。 这些数据同样的对企业的发展也很重要。

问:数据分析最佳实践的原则是什么?

答:

1. 数据量越大越好

2. 原始数据比加工数据好

3. 数据标准和数据质量非常重要

4. 简单模型比复杂模型要好

5. 建模就是要不断进行试错。

原文链接: 揭秘LInkedin数据科学家如何工作

Twitter Q1推广告API 收入剑指10亿 Dell:在OpenStack成熟后才会推出服务 一个开源工作者对开源与赚钱的一些想法 宏碁:Windows8仍不成功 Chrome表现令人意外 雅虎发布Q4财报 净利润同比下滑8% 游戏机禁售令起风波,索尼任天堂股价大涨 国外开发者吐槽Facebook Android设计一例 Rovio转向发行业务 将发布新作Tiny Thief 上山下海 “硬汉”服务器无所不能 访金山云CTO杨刚:开源改进PK自主研发,技术驱动前行 苹果涉及色情问题,且进一步恶化 开源产品系列:面向组件的Web框架tapestry 360指责百度窃取用户信息 公布美杜莎插件技术分析 苹果正式发布iOS 6.1 最快本周日即可越狱 苹果高管:运行iOS 6的设备达3亿 Chrome OS 黑客大赛总奖金为314.159万美元 微软雷德蒙研究院副总裁:从计算研究到惊人发明 还驾驭不了4核? 别人已模拟出百万核心上的并行 RIM将网络直播BlackBerry 10发布会 解读TDD的五大误区 Amazon 2012财年Q4财报:电子书业务增长70% 从暴风影音CTO到创业者:画中画相机话中话 为什么Android应用开发总要比iOS晚? 传奇VC马克.安德雷森:未来的企业什么样? 呼吁国会通过“创业签证”:奥巴马助力美国招揽海外人才 Surface Pro最低1019美元,价值究竟如何? 搜狗号码通产品经理谈微创新 数据和运营更关键 在线推荐系统是如何进行工作的? 欧朋浏览器上架App Store,iOS生态真要变天? 苹果iOS 6.1地图搜索API将替代谷歌Places Oracle向开发者承诺 称尽快修复Java安全问题 精彩不容错过 怎么样上传文件 请问,如果利用pc机,实现和璇铃声于彩色图片的下载,应该怎么做? **sql语句的问题** 求救!!!!!熟悉数据库加密的高手请进!!! DELPHI为什么会自动退出? 帮帮忙,新手求问 用java怎样判断一个Email地址是真实存在的?(救命呀!~~~>_<~~~) C++BUILDER调用VC++DLL内函数问题? dephi+oracle 从TMemo存读varchar2类型数据(一篇文章) 数据超过256个字节 其中有换行符 在solaris中如何用命令行改变IP地址,并且永久生效。 mysql中的备注字段应该是什么英文,我英文不好。我只知道int, char. 怎么样知道在另外一台机器上运行的程序是否死掉了,另外一台机器是否死机? 请问怎样修改、删除、追加XML中子项的值? showdialog 打开的 form 怎么返回值? 我是学计算机的,都大四了,外语四级还没有过.不知道对以后找工作有多大影响? 在lotus中一般打印用什么方法??给分!!!急!!! 建议post时增加贴图功能. 除了吹牛,还会干什么? 执行UPDATE语句时候,执行条件变化时候速度有很大不同 给大家一个免费的电子邮箱 如何将一个xml中的Element或Node添加到另一个xml中?100相送!!! 高手进来。我不知道为什么经常出在数据库不能更新的问题。?? 精彩不容错过 Runtime类使用时遇到一个问题,请高手指点,先谢了! 需要UNIX网络编程(第2版 第一卷)的电子版本的书籍! 怎样让builder.parse()忽略DTD找不到的错误继续分析? 各位大侠,请帮忙,jsp页面出现空白,怎样解决? 在JBuilder中有多个Frame如何指定其中(任意一个为首先启动的Frame) 如果有入口函数main,系统就认为是PUBLIC 类?? pb+db2,导出excel表时要对表的某个字段转换时到80条左右就为空白(共2000条) 怎样把数据库中的各个表到成文件形式呢? 请如何用命令解开由jar生成的压缩文件? 水晶报表打印问题(在线等)! 我想让JFileChooser的savedialogue在按了approve后仍能保持一会,怎么办? 简单的程序!先谢谢了! 谁有遇到这种情况,使用80以外的端口建站,有部分用户无法访问网站? 怎么使图片可以直接粘贴到编辑框中,直接上传到服务器上呢?? insert语句怎么判断是否成功啊? 希望熟悉delphi调用excel的朋友解答,越多越好,分不够再加 问一个ResultSet的问题? 控件开发遇到的子属性设置问题,大侠请进 lpn来接分 关于计算机等级考试的问题 啊呀 来晚了! 赶快补上一份祝福 上海日記:减肥成绩 report中字体重叠的问题 如何忽略大小写? 【水园中秋庆典主会场】每逢佳节倍思情,所有不在亲人身边的游子们进来坐坐吧。祝天下所有的严父慈母身体健康! qiockReport中,detail中如何补空行。使其打印完一页 国内哪家在uclinux方面做的比较好? 请教大家一个数学问题?比较着急知道答案,请大家帮忙,一张桌子坐6个.二张桌子坐10个,三张桌子坐14个人,请问38个人需要坐几张桌子,10张桌子能坐多少人. 关于x的不等式kx²-(k²+1)x-3<0的解集为{x|-1<x<3},则k= 请教大家一个数学题目.很急!请大家帮忙!某市举行数学竞赛.评选出一,二.三等奖共若干名,其中一,二等奖的人数占总获奖人数的2/5,获二,三等奖的人数占总获奖人数的9/10,问获二等奖的人数占 “关于某一条直线对称的两点定被对称轴垂直平分”是错的,理由是什么? 已知直线l过双曲线c的一个焦点,且与c的对称轴垂直,l与c交于A,B两点,|AB|为c的实轴长的2倍,c的离心率为? 在△ABC中,∠ABC=90°,∠A=30°,BC=3,D是边AC上的一个动点,DE⊥AB,垂足为E,点F在CD上,且DE=DF,作FP⊥EF,交线段AB于点P,交线段CB的延长线于点G.(1)求证:AF=FP;(2)设AD=X,GP=Y,求Y关于X的函数解析式,并写出它的定 秦王恐其破璧,乃辞谢,固请.中的固的解释 ( )秦王真的拿十五座城来换,我( )把璧交给他.在括号中,填上3个关联词语,不改变原句意思 线粒体的分裂有哪几种形式? 秦王恐其破壁的破 线粒体在一个细胞中会不会分裂?原理? 中储粮回应转基因油入国储库:不具备检北京匿名社会监督员:提20多条意见从多名俄罗斯高官因瞒报收入被免职中国就欧盟对华紧固件反倾销措施案的执北京10单位仅1公开社会监督员信息 北京重污染天机动车单双号限行 电动汽美国联邦储备委员会宣布维持现有宽松货中国在联合国大会全票连任联合国经社理俄罗斯百年兵工厂爆炸致两人死亡中组部发布新规:党政干部企业兼职不得联合国人口基金会2013报告:面对青还有多少藏品库养活着硕鼠?国足在哪安保令人窒息练成的今后叫救护车将可医保报销“穿越”推理日本推理的独特亚种再敬军礼拼豆夜宵平均上涨13.5%老姐妹们跳起来夺舍女配要崛起半欢半爱元末小明王女配登仙路出手大宋小侯爷重生之奸宦娇妻潘驴邓小闲商女千月重生之金盆洗手重生香港壬子年大观峰旅游棋子湾旅游上海旧法租界旅游七宝教寺旅游七宝天主教堂旅游七宝皮影艺术馆旅游老行当旅游大利侗寨旅游报京侗寨旅游金鹭鸵鸟园旅游明月湾古村旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘