说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

女神程序员的一天:暴力测试social爬虫代码

HTML文档下载 WORD文档下载 PDF文档下载
作为女性程序员,往往会被低估,但简雅楠却是团队中的绝对核心。作为友盟社会化组件,UMTrack以及友盟指数的后端研发工程师。她不仅仅喜欢coding,更知道如何享受程序人生。这天,她就在暴力测试social爬虫代码。

简雅楠,友盟社会化组件(社交分享),UMTrack以及友盟指数的后端研发工程师,她喜欢coding和创新,也经常开一些无厘头程序员玩笑。 因为她每天像夜猫子一样自愿加班到深夜,在项目多的时候也能按优先级有条理的处理好,大家都叫她女神。 

作为女性程序员,往往会被低估,但她却是团队中的绝对核心,不仅因为她coding的能力很强,还因为她可以用音乐让大家身心放松。钢琴十级的她很喜欢古典音乐,给大家推荐曲目的同时也会提及怎样欣赏作品。作为一位研发女生,每天要面对哪些难题?又要怎样处理多条产品线并发的关系?让我们来看看简雅楠的一天。


09:00 起床查邮件。

09:30 买早餐,走在上班的路上,理清思路。

第一件事: 今天需要把社交分享项目的爬虫架构再完善一下,现在是借鉴scrapy的架构写的,每个平台的middleware中还要按照平台的特征,切换proxy或加入proxy被封了之后的sleep以及重置状态码,这之后鲁棒性就不错了。这些大概会花费30至60分钟,11:00之前可以搞定。

第二件事:社交分享项目社交平台的抓取流程复杂,除了主工程之外,还需要整理其他辅助脚本,这个要补充到文档里,需要1小时左右,下午3点前应该可以搞定。

第三件事:社交分享项目社交平台的数据挖掘 (给用户按照兴趣分类) 目前的三个工程除了主工程,还需要整理导数据脚本,因为不能影响服务性能,所以数据库做了很多优化,这些脚本也是因为优化了数据库才必须要用到。目测需要2小时,加上休息时间和小组讨论时间,下午6点前应该可以搞定。

第四件事:指数需要更新,目前算法要支持多维度数据的平滑,这里还需要调整一下,跑数据需要40分钟,目测调整算法需要3小时多。这个恐怕需要分一部分给明天了,今天晚上10点前做好两个维度的数据平滑就好了。

第五件事:UMTrack的数据实验框架还没有想好,需要补充文档,把目前想到的架构补充进去。这个留作思考题,可以在晚上10点之后想想,睡前补充文档,下周再请教team的人一起看看,商量一下。

09:50 到公司,加入透明proxy的按使用计数switch的方法,以及在特殊情况下,被禁止访问后的sleep,嗯,像预想中的那样,11点完事。

11:00  暴力测试social爬虫代码,盯着数据。

12:00  吃饭,继续观察social爬虫运行状态和数据。嗯,有问题。调整代码,继续暴力测试。

13:00  开始打桌上足球!今天要尽可能减少被虐。


13:30  去楼下买个冰激凌,调节心情,显然是桌上足球被虐的太惨不忍睹了。

14:00  吃完冰激凌,嗯,爬虫是OK了,开始整理脚本,搞定的比预想要快一些,嗯,好,可以调整一下social数据挖掘中的TF-IDF算法,分析出10w条结果之后要做一次权重计算。先不管流程,跑一下权重看看先。

15:00 已整理完脚本,还在调权重,这比我想象中复杂。嗯,这样行不通,还需要加词库黑名单。匹配频率高的词中,有的词在我们的系统里还不能降低权重,因为它不是干扰词,确实是反应了用户的兴趣。

16:00  今天TF-IDF算法的优化是做不完了,先整理脚本吧,记一下日志,调算法这地方明天是重点。和team中的人讨论脚本整理和流程简化的问题。

17:00  吃点零食,继续讨论,这流程现在看起来比较合适,该简化的部分都完成了,再仔细想想看,这些脚本的执行频率会不会对其他模块有影响。

18:00  不行,这些脚本的运行频率都需要再调整一下,数据库插入和查询的语句需要优化,不然锁数据库进程,查询会慢,用不到索引的查询就更不用说了,还好索引已经做了优化。

19:30  呼呼,终于搞定了,去吃个饭先!

20:30  嗯,指数的数据平滑倒是比较好做的,先拣两个最容易的维度做吧。

22:00  OK啦,回家!

22:30  先吃点水果,据说新版笑傲江湖不错,公司很多同事说东方不败很好看。好,那就看看有东方不败的片段。

===零点===

00:01  完全没有睡意啊!嗯,想到track的数据验证了,有一部分可以借鉴social数据挖掘中的架构,好,先写上。

1:30  good,躺着去,上网随便看看,同时听一会Piano Guys的曲子,这群家伙太牛了,简直是乐坛奇迹,创造力极强,一台钢琴模仿了一个乐队的效果,各种膜拜后,入眠了。(责编/张宁)

开发者的一天系列:

程序员的一天:台湾个人移动游戏开发者

APP运营人的一天:宫爆老奶奶产品运营

女神程序员的一天:暴力测试social爬虫代码

《开发者的一天》系列文章,聚焦在移动应用开发领域,欢迎移动互联网圈里的朋友们踊跃投稿,投稿请联系@CSDN张宁。

本文为CSDN网友投稿,并不代表本网观点与立场。如需转载请联系market@csdn.net。

编程语言与工具专题论坛:各类编程语言使用体会分享 淘宝、腾讯、豆瓣、支付宝、网易专家热议大数据分析与BI实战 “创新或灭亡”:Google的80/20只是转移视线的说辞罢了 自动化编排,配合SDN的iMC V7更加开放 [回顾]比尔·盖茨传奇的前半生 IT基础设施与运维论坛:IT基础设施及运维经验分享 记华为HCC2013 Day1:发力高端存储 HCC 2013虚拟化论坛:虚拟化未来发展方向 Windows 8操作系统市场份额增至7.41% Windows 7仍最受欢迎 【开源专访】Sea.js创始人玉伯的前端开发之路 SDCC 2013:阿里周宝方谈“去IOE”战略及实施 百度和高德:最后谁是地图的王者? 【CTO论道】瑞智和康CEO陶建辉:软硬结合是消费电子新潮流 10大高效率原型设计工具 JIRA与敏捷:李小龙教给我们的敏捷开发之道 百度开放云:Light Up The World,与开发者共享云未来 有胆你就来!11个在线编码大赛 CTO如何避免决策失控:第一步-定义角色 后机械硬盘时代,那些引领风骚的闪存初创公司 致远文杰:传统企业如何实现移动化转型? 记华为HCC2013 Day2:SDN开放编程系统OPS打造生态圈 HCC2013:华为FusionCube融合至简,性能至优 已确认Stephen Elop候选微软下任CEO 英语对于软件开发者来说到底有多重要? SDCC 2013中国软件开发者大会成功落幕 新浪微博宋琦:PHP在微博优化中的“大显身手” 8月份浏览器份额:IE浏览器PC端出现反弹 移动端跌出前五 如何让Ruby项目速度提升10倍 跨平台进行到底:Facebook发布Unity SDK 云薪资管理初创公司ZenPayroll:年处理薪资超1亿美元,获多位知名CEO力挺 Twitter开源Summingbird:近原生编码下整合批处理与流处理 如何用ASP像读取数据库表一样读取EXCEL表内容? 答谢帖,欢迎 anux(阿牛克斯),firetoucher(风焱) , 666333(刘六) , SmallHand(火龍) 请问C++有哪几个方向可以发展? 高分急求高手:Sybase查询的汉字问题 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 帮我译vb为c# VB.net如何在进程之间通讯,我用SendMessage发WM_COPYDATA给目标窗口,可是总是不行,请高手帮忙! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 关于文件操作的那几个函数问题 如何初始化const char * p[5]数据成员? 如何安装WINME???急!,在线等!!! C文件读写(急,来者有分) ---控件--里连接---数据库---都有什么方法?SQL2K 正在搜索 请稍后 是怎么做的? 为什么这样做? 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 再问,关于中文字符.急!!!! OleDbDataReader这个东西是不是不可以同时打开两个? 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 日期的计算问题 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 用jsp编打印图片的问题(很急) 谁第一个来,谁得分 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 今天生日,除了MM没人祝我生日快乐,只好自已祝福自已了(散分) 如何将表单提交到数据库中? 在线等!!!!!!!!!!!! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 如何在屏幕任意位置显示移动的文字 收到了数字情书,我嫩是解不开。。帮帮我吧,不好回了。 如何让winamp慢速播放mp3? 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 在服务器端的DLL文件中如果获取网站在服务器的磁盘上的路径? 在水晶报表中如何控制所显示记录的条数! 一个超级奇怪的iis问题??????? 一路同行?我开始学习C#, 我是一从为接触过单板的人,学的是软件。现在我想提一个问题。 如何解决UNIX通讯问题? 关于读出文件里的字符串与录入的字符串比较问题 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! help!有关SESSIONBEAN! 无法联接ORACLE数据库,错误信息:ORA-01034:ORACLE not available 其它信息 sos 用vb怎么实现打印功能啊,不是vb附带的那小功能啊,把家帮帮忙啊,。。。sos 请教高手:视频传输编程技术!!! 请教!.net的程序一定要 各位大侠:小女请教一问题 求救!美编的工作站显示器只能显示黑白了! Excel控件使用之怪现象,请DX们诊断诊断 ACCESS转为SQLSERVER后的问题~~ 这是什么错误? 青魇讲的是什么 暗魇什么意思 一条道路将远隔千里的我们联系在了一起,这真是一条伟大的路呀!改为双重否定句. 1.一个三角形中,内角小于90度的角至少有A.1个 B.2个 C.3个 D.0个2.满足条件∠A=∠B=1/2∠C的三角形ABC是A.锐角三角形 B.直角三角形 C.钝角三角形 D.等边三角形3.在三角形ABC中,若①∠A=∠B=∠C 一道政治问答题《辩证唯物主义常识》中引用了列宁的一段话:“当我们不知道自然规律的时候,自然规律是在我们的认识之外独立地存在着并起着作用,使我们成为‘盲目的必然性’的奴隶, 一道政治主观题题目是;如何认识实践与认识,主观与客观具体的,历史的统一. 做一道政治问答题.材料一:2011年,中国有二十多个省市调高最低工资标准,部分省市增幅达到了20%以上,牵动了社会敏感的利益链条.“这是一个分水岭,涨薪潮注定改变这个国家的经济.”材料 三角形的三个内角中,最小的两个内角的和必定大于90度这句话对还是错? UFO?工形磁铁?飞碟的形状? 肯定有外星人!肯定有外星人,因为我们人类以及地球并不是什么特殊的,在宇宙中算不了什么,我敢肯定一定有外星人的~你也认为有外星人的话,我就把分给你,反正我多得是.(我精神正常,顶多是 倍舒特卫生巾有荧光剂吗? 李克强:中德交流合作给双方带来实实在俄罗斯期待格鲁吉亚新政权对俄友好“美丽中国”图片展在莫斯科举行英国遭遇“飓风级”风暴 已造成至少两美国工业生产9月环比增长0.6%空客呼吁采用经济舱座椅宽度新标准部分城市难完成房价控制目标 四季度楼大学教授称北京房价会涨到每平方米80西班牙外交部召见美国大使 要求其解释\"鞠躬人\"亮相朝韩边界 寓意鞠躬欧盟称将向叙利亚提供8500万欧元人林峰离巢后运势会更佳佛山两仓库大火一人遇难男子爬变压器致小区停电本周最Hit:律政俏佳人拿下钻石王老We Are BFF姓名:陈法拉姓名:陈键锋Project Ace:广东放克457所孔子学院遍布122个国家广州城隍庙为鲁甸地震死难者超度即兴创作技法工作坊
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘