说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

女神程序员的一天:暴力测试social爬虫代码

HTML文档下载 WORD文档下载 PDF文档下载
作为女性程序员,往往会被低估,但简雅楠却是团队中的绝对核心。作为友盟社会化组件,UMTrack以及友盟指数的后端研发工程师。她不仅仅喜欢coding,更知道如何享受程序人生。这天,她就在暴力测试social爬虫代码。

简雅楠,友盟社会化组件(社交分享),UMTrack以及友盟指数的后端研发工程师,她喜欢coding和创新,也经常开一些无厘头程序员玩笑。 因为她每天像夜猫子一样自愿加班到深夜,在项目多的时候也能按优先级有条理的处理好,大家都叫她女神。 

作为女性程序员,往往会被低估,但她却是团队中的绝对核心,不仅因为她coding的能力很强,还因为她可以用音乐让大家身心放松。钢琴十级的她很喜欢古典音乐,给大家推荐曲目的同时也会提及怎样欣赏作品。作为一位研发女生,每天要面对哪些难题?又要怎样处理多条产品线并发的关系?让我们来看看简雅楠的一天。


09:00 起床查邮件。

09:30 买早餐,走在上班的路上,理清思路。

第一件事: 今天需要把社交分享项目的爬虫架构再完善一下,现在是借鉴scrapy的架构写的,每个平台的middleware中还要按照平台的特征,切换proxy或加入proxy被封了之后的sleep以及重置状态码,这之后鲁棒性就不错了。这些大概会花费30至60分钟,11:00之前可以搞定。

第二件事:社交分享项目社交平台的抓取流程复杂,除了主工程之外,还需要整理其他辅助脚本,这个要补充到文档里,需要1小时左右,下午3点前应该可以搞定。

第三件事:社交分享项目社交平台的数据挖掘 (给用户按照兴趣分类) 目前的三个工程除了主工程,还需要整理导数据脚本,因为不能影响服务性能,所以数据库做了很多优化,这些脚本也是因为优化了数据库才必须要用到。目测需要2小时,加上休息时间和小组讨论时间,下午6点前应该可以搞定。

第四件事:指数需要更新,目前算法要支持多维度数据的平滑,这里还需要调整一下,跑数据需要40分钟,目测调整算法需要3小时多。这个恐怕需要分一部分给明天了,今天晚上10点前做好两个维度的数据平滑就好了。

第五件事:UMTrack的数据实验框架还没有想好,需要补充文档,把目前想到的架构补充进去。这个留作思考题,可以在晚上10点之后想想,睡前补充文档,下周再请教team的人一起看看,商量一下。

09:50 到公司,加入透明proxy的按使用计数switch的方法,以及在特殊情况下,被禁止访问后的sleep,嗯,像预想中的那样,11点完事。

11:00  暴力测试social爬虫代码,盯着数据。

12:00  吃饭,继续观察social爬虫运行状态和数据。嗯,有问题。调整代码,继续暴力测试。

13:00  开始打桌上足球!今天要尽可能减少被虐。


13:30  去楼下买个冰激凌,调节心情,显然是桌上足球被虐的太惨不忍睹了。

14:00  吃完冰激凌,嗯,爬虫是OK了,开始整理脚本,搞定的比预想要快一些,嗯,好,可以调整一下social数据挖掘中的TF-IDF算法,分析出10w条结果之后要做一次权重计算。先不管流程,跑一下权重看看先。

15:00 已整理完脚本,还在调权重,这比我想象中复杂。嗯,这样行不通,还需要加词库黑名单。匹配频率高的词中,有的词在我们的系统里还不能降低权重,因为它不是干扰词,确实是反应了用户的兴趣。

16:00  今天TF-IDF算法的优化是做不完了,先整理脚本吧,记一下日志,调算法这地方明天是重点。和team中的人讨论脚本整理和流程简化的问题。

17:00  吃点零食,继续讨论,这流程现在看起来比较合适,该简化的部分都完成了,再仔细想想看,这些脚本的执行频率会不会对其他模块有影响。

18:00  不行,这些脚本的运行频率都需要再调整一下,数据库插入和查询的语句需要优化,不然锁数据库进程,查询会慢,用不到索引的查询就更不用说了,还好索引已经做了优化。

19:30  呼呼,终于搞定了,去吃个饭先!

20:30  嗯,指数的数据平滑倒是比较好做的,先拣两个最容易的维度做吧。

22:00  OK啦,回家!

22:30  先吃点水果,据说新版笑傲江湖不错,公司很多同事说东方不败很好看。好,那就看看有东方不败的片段。

===零点===

00:01  完全没有睡意啊!嗯,想到track的数据验证了,有一部分可以借鉴social数据挖掘中的架构,好,先写上。

1:30  good,躺着去,上网随便看看,同时听一会Piano Guys的曲子,这群家伙太牛了,简直是乐坛奇迹,创造力极强,一台钢琴模仿了一个乐队的效果,各种膜拜后,入眠了。(责编/张宁)

开发者的一天系列:

程序员的一天:台湾个人移动游戏开发者

APP运营人的一天:宫爆老奶奶产品运营

女神程序员的一天:暴力测试social爬虫代码

《开发者的一天》系列文章,聚焦在移动应用开发领域,欢迎移动互联网圈里的朋友们踊跃投稿,投稿请联系@CSDN张宁。

本文为CSDN网友投稿,并不代表本网观点与立场。如需转载请联系market@csdn.net。

SDCC 2013:阿里周宝方谈“去IOE”战略及实施 百度和高德:最后谁是地图的王者? 【CTO论道】瑞智和康CEO陶建辉:软硬结合是消费电子新潮流 10大高效率原型设计工具 JIRA与敏捷:李小龙教给我们的敏捷开发之道 百度开放云:Light Up The World,与开发者共享云未来 有胆你就来!11个在线编码大赛 CTO如何避免决策失控:第一步-定义角色 后机械硬盘时代,那些引领风骚的闪存初创公司 致远文杰:传统企业如何实现移动化转型? 记华为HCC2013 Day2:SDN开放编程系统OPS打造生态圈 HCC2013:华为FusionCube融合至简,性能至优 已确认Stephen Elop候选微软下任CEO 英语对于软件开发者来说到底有多重要? SDCC 2013中国软件开发者大会成功落幕 新浪微博宋琦:PHP在微博优化中的“大显身手” 8月份浏览器份额:IE浏览器PC端出现反弹 移动端跌出前五 如何让Ruby项目速度提升10倍 跨平台进行到底:Facebook发布Unity SDK 云薪资管理初创公司ZenPayroll:年处理薪资超1亿美元,获多位知名CEO力挺 Twitter开源Summingbird:近原生编码下整合批处理与流处理 亚马逊推Matchbook 欲将顽固纸质书读者拉向电子书 Broadcom为可穿戴设备推新开发平台WICED 再战江湖 New Kodak还牛不牛? 郭理靖:公、私有云架构异同点与难点 美化代码的15个代码语法高亮工具 你所不知道的虚拟化和云计算 [开源推荐]Effeckt.css项目:CSS交互动画应用集锦 针对Google Glass应用的四大UX设计原则及典型应用 Google收了摩托罗拉,微软收了诺记,黑莓又将花落谁家? 十亿月PV网站秘诀:Reddit自失败中总结的25条经验 插件与控件有什么不同? 我搞不明 请教 讨论:于jsp搭配,最好最使用的数据库是什么!大家踊跃发言呀,来着有分!!! 特别推荐 真的可以免费下载好多电影 关于进度条和ADOQUERY的问提 记者采访广东省人大法工委办公室,得到了明确的答复:仅缺暂住证,是不能收容的。 HOW CAN I IMPLEMENTATION THE MFC/OLE Idispatch INTERFACE 一个脚本病毒代码,请高手分析一下 【狂人】进来领分 NO.1 如何用ASP判断客户文件是否存在,之后转到不同的页面 【狂人】进来领分 NO.2 【狂人】进来领分 NO.3 高手帮助:请帮助看看这个ADO处理的问题是如果造成的? 【狂人】进来领分 NO.4 【狂人】进来领分 NO.5 RH8不能识别VIA芯片组主板的板载声卡 [高分求助] 关于win2000软件路由的问题 高分(答者有分,不够另开贴)-GSM抄表系统的短消息网关和数据库连接问题 不管ie窗口大小如何,隐藏层显示后总是居于窗口正中,谁有这样的脚本?? GetWindowThreadProcessId? 为什么找不到程序入口点??? 如何去掉字串右边(或者中间)的空格? 哪位能全面的解释一下“数据驱动”。 高分寻找php 上传 文件脚本 totodo大哥进来一下! 100分求解:ActiveX控件在网页中用,如何使弹出的第二个form一直居于网页上层?--在线等 一个w2k server网页显示的问题 关于日期的处理,请教!! 急!水晶报表8.5的字符串类型仅仅支持255位,要显示长字串如何解决? 祈祷sars早点被消灭! 怎么使一个弹出窗口使中在前面!!?? 制作网页时遇到的字体问题 能否把sybase的tempdb数据库中的分配的日志空间删除或者转为数据? 急!水晶报表8.5的字符串类型仅仅支持255位,要显示长字串如何解决? 新建asp应用程序必须联在网上么? 祈祷sars早点被消灭! JAVA做硬件可以吗? 偶然发现的一个网址,有兴趣大家可以看看 Memo控件的自动存盘问题? 那里有vba sdk 下载啊? 寻书!!! 在DELPHI7.0中,为什么找不到QReport组件页。 推荐一本详细讲述"进程"、"线程"的书,最好是MFC的。 基于XML的SVG应用问题,十万火急!!! 我的软件超过3000个人下载,开心放分. 请详细介绍公共语言运行时(CLR) 已经获得视图的句柄,如何通过该句柄进一步得到视图的指针? 求教(急):对Excel或word操作时总是报同一个异常?? 急,安装Red Hat Linux 9后,却无法进入系统 惨了惨了,不小心改了boot.ini现在进不去了,救救我吧! 怎样将一个文件写成XML 爸爸,我恨死了你的猎枪要文章! As usual she had breakfast for biead and 工业酒精多少钱一瓶 爸爸,我恨死了你的猎枪 表达了 我 怎样的思想感情 四、读一读片段,按提示回答问题.汤姆和乔奇带着从家中“偷”来的食物,叫上哈克来到密西西比河边,找到1、读一读片段,按提示回答问题汤姆和乔奇带着从家中“偷”来的食物,叫上哈克来到 6800元/吨,95度酒精,合多少钱一度? 怎么样增加母乳产量? 风声雨声涛声,声声入耳;下一句是? 蓝色世家 绵柔型酒 46% 500毫升/一瓶 多少钱一瓶?.蓝色世家 绵柔型酒 46% 500毫升/一瓶 多少钱一瓶?.知道的哥哥姐姐弟弟妹妹,知道的加紧 求救啊.Thank you 23天母乳量少,怎么才能增大母乳量 老爷爷走起路来很吃力. 小老鼠繁殖昨天买了2只老鼠,一只母的(貌似是银狐还不知道是雪球偶的)一只公的(忘了是什么了,就是背上是灰色,中间有一条黑色的)这两只能不能交配的啊?我看那公的对母的米意思( 怎样增加母乳我家宝宝出生3天后因为住院治疗黄疸的原因,就没有喝到母乳,1个星期出院后发现母乳非常少,每次只能挤出10毫升的样子,现在基本上主要靠喝奶粉,喝了鲫鱼汤什么的,好像效果不 对联:风声雨声涛声,声声入耳.下联怎么对? 在人体循环系统内主要有哪些寄生虫寄生?各是什么几段? 如何增加母乳我的母乳一直很好,最近几天不知怎的好像不如以前好了,小孩吃了最多三小时就要吃,是不是我吃错什么东西了?(我是剖腹产生完孩子110天了,一直纯母乳喂养) 山山相连二合一,三更半夜路来蹄这句话是什么意思什么生肖e9 某种寄生虫寄生在人体淋巴管内,会造成下肢肿胀,这是因为肿胀处()...某种寄生虫寄生在人体淋巴管内,会造成下肢肿胀,这是因为肿胀处()A细胞间隙积聚液体B细胞不能接受氨基酸C细胞不 孩子不会写作文,修改别人的,可行.这样能提高写作能力吗? 风声雨声涛声,声声入耳 是不是所有昆虫的成虫都是浮在水面上的也就是说他的密度比水轻,即使像甲虫也一样. 如图,壁虎在一个底面半径为2m,高为5m的油罐下底边A处它发现在自己的正上方油罐边缘的B处的一只害虫,便决定捕捉它,为了不引起害虫的注意,它不直接从A爬到B,而是绕着油罐表面沿一条螺旋 坎巴拉太空计划人员调配建了一个空间站,想从空间站出发去登月一,不知道怎么让人员在不同舱间转移. they tumble blindly as they make their way across the univers. 1、如图,壁虎在一座底面半径为2米,高为5米的油罐的下底边沿A处,它发现在自己的正上方油罐上边缘的B处有一只害虫,便决定捕捉这只害虫,为了不引起害虫的注意,它故意不走直线而是绕 世界上年龄最大的人是谁?如题 从百草园到三味书屋第九段仿写 小刚看到一只壁虎在一只油罐下底A处,正上方油罐边缘的B处有一只害虫,不走直线走螺旋路线怎样是最短的 蚊子和苍蝇有什么区别? 从百草园到三味书屋 展开想象,模仿第九段中也许,也许,也许与第九段通顺 有一次,一只壁虎在油罐的下底A处,它发现在自己正上方——油罐上边缘B处有一只害虫,壁虎决定捕捉这只害虫.为了不引起害虫的注意,它故意不走直线,而是绕着油罐,沿一条螺旋路线,从背后对 苍蝇和蚊子有什么区别? 目前世界上哪个国家的人种最好看唉,不是我不爱国,不认为中国的人种好看.实在是,公认的东方人脸蛋扁平,不像西方的人有立体感,鼻梁也没人家的高大. 观察小虫子的小练笔20字,20字登哥31109说的太多 什么样的蚂蚁从海外国家? 从百草园到三味书屋中的第九段是从怎样的心理角度去写的 哪些动物比较淘气?12生肖的~ 哪里蚂蚁最多 世界上有这么多种族和国家会不会还有的国家的语言没有被发掘和翻译互通出来的,那样他们国家的人怎么同外交往呢 有写淘气动物的作文吗? 有个人带着五只动物过一片森林,每过一个危险地方得扔掉一只动物,动物分别有孔雀,猴子,狗,2女朋友问的啊 11 为什么B型血的人,爱着蚊子咬呢.老被蚊子咬,讨厌S了. 天小明和小刚同学去郊游,他们正玩的热闹,突然发现几个人背着猎枪在打鸟 蚂蚁和梨象征那两个国家一只蚂蚁看见一只大梨,讲了两句话,请猜两个国家? 风声雨声涛声,声声入儿下一句是什么! 生肖中最调皮的动物是什么? 蚂蚁是国家的保护动物吗? 蚊子是不是对B型血很感兴趣,为什么B型血的人总被咬呢?夏天到,蚊子也到,蚊子对什么血型最感兴趣,有什么科学依据吗? 捕蝇草为什么捕食苍蝇 找到 杰克逊岛 小木筏 汤姆 找到下游的 乔奇 叫上 哈克 和 (组成不同的两句话)快 风声雨声涛声,声声震耳下一句 捕蝇草是不是只捕食苍蝇? 战士们走起路来像什么一样快 把两升水倒入五百毫升的量杯可以倒几杯? 猫咪捕食苍蝇和蟑螂怎么办? 汤姆有几个朋友:乔奇,班恩,吉姆,但最和他“臭味相投”的是镇上那个脏兮(xī)兮的流浪儿哈克.引号的作用 staff was hanging bedspreads and blankets across the fence of the pool.出现在酒店员工的行为中.the staff was hanging bedspreads and blankets across the fence of the pool. 求一篇小练笔,要求是:写自己观察过的的小虫.要展开想象,融入自己的感受.至少250字,400字以内,不要太长.要有想象,而且要实际,不是写童话!不要复制过来好不好?还有还有,不是空想象 风声雨声涛声 声声入耳 下句 Across from Fengyu Bridgeyou can see the gate of the park.Through the gate,your park (t ) begins这是一大篇文章,我只打了部分 浙江桶装水企业抽查合格率不到8成 8杭州市民给地铁\"挑刺\" 交通部门古巴外长将访华2012年恐怖袭击超过8千起 不幸遇伊核对话进展积极 伊朗或做重要让步德国联邦情报局否认监听美国政要俄否认G20峰会用手机充电器监控外国俄罗斯电影《斯大林格勒》中国将映 小欧盟20年:应对挑战携手前行谷歌街景拍到诡异图像:天空现耶稣与圣韩媒调查显示韩国民众出现“远日亲中”巴黎再发名品盗窃案 巴黎西郊20块名墨西哥一警察在路边与女子发生性关系 法国里尔市中心一珠宝店遭劫 损失高达宝鸡小学生深秋穿夏装露天表演 学校被全国人大常委会召开立法工作会议 张德明年起电视购物广告禁\"叫卖式\"夸经济观察:“宽带中国”战略遭遇三重困卫计委公布打击非法行医专项行动各地举李某某案二审因上诉人更换辩护律师将延隆国强:上海自贸区金融政策细则不宜仓全省首个智能用电示范小区落户泰州本博连读打造未来“卓越中医”武术棒垒再度冲奥P2P“政府军”抱团求发展云桂高铁幸福隧道全线贯通创纪录节约集约,“寸土”何止生“寸金”韩剧《继承者们》 昨起我省首播推进商标战略与经济工作融合 促进常州武术棒垒再度冲奥民意调查,凸显“生态短板”锡剧青年演员专场 本周上演3D动画片 《神奇的丝路》启动宣示捍卫和平的决心与力量展示精彩职教 成就出彩人生印度孟买私酒中毒致102人死亡夏季不发高温费?举报!省人大常委会举办 科技发展形势报告会你吃的泡椒凤爪 可能有“30多岁”把“忠诚”装入毕业生行囊三对三篮球联赛 江苏赛区落幕南邮学报 入选RCCSE核心学术期刊
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘