说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

专访POWER 8编程挑战赛选手吴亮:集众家之长, 激发算法性能极限

HTML文档下载 WORD文档下载 PDF文档下载
“2014 POWER8极限性能挑战赛”第一期正在火热进行中,目前已有数百名开发者报名参赛。为了让更多的开发者了解大赛进展,日前,我们专访了其中一位参赛选手吴亮,希望通过他的经历,吸引更多技术达人参与到其中。


9月23日,IBM和CSDN联合宣布“2014 POWER8 极限性能挑战赛”正式启动。此次大赛主要面向广大CSDN注册开发者,大赛以云计算的方式为开发者提供了POWER8开发环境,开发者利用POWER8的特性,基于不同场景进行应用开发。此次大赛,不仅使更多的开发者充分利用了POWER8,也为开发者、技术达人提供一个展示自我的舞台。

正如大赛发布仪式上,IBM大中华区副总裁侯淼所言,之所以要支持这样一个大赛,目的就是希望吸引更多的开发者去开发一些新的算法,把整个POWER 8引擎的能力激活开来。

“U Can U Up”是这次挑战赛的口号,开发者可以通过登陆注册、申请资源、完成挑战,主办方最终根据各自的累积评分赢取礼品奖励。在比赛期间,主办方将定期公布挑战题目,采用月度赛制对参赛者进行排名评定。


第一期的挑战题目为“博客反垃圾”,具体任务为CSDN提供海量的博文数据,并按特定比率混入垃圾文章,参赛者需开发相应的系统将垃圾博文从中抽取出来。需要说明的是,大赛主要考察程序的是算法的正确率及处理速度,对开发语言、开发工具并不进行限定。

到目前为止,已经有数百名开发者报名并参加了此次大赛,为了让更多的开发者了解此次大赛的进展情况,日前,我们专访了其中一位参赛选手南京烽火通信公司研究员吴亮,希望通过他的参赛经历,吸引更多的技术达人参与到大赛之中。如果你看过他的回答后,还是感觉不过瘾,那么就赶快点击下面的链接,报名挑战吧!

立即报名:

http://reg.powerlinux.csdn.net/cview/reg/?project_id=973&identy_id=1011 

1. 可否介绍一下你的开发经历?目前,主要关注哪些技术领域?

吴亮:目前,我主要关注的是数据挖掘领域,其他相关领域,如云计算、数据库、数据结构、编程开发等,也略有了解。记得当初,我为了能够更快的实现算法逻辑,一口气就把《算法导论》全部看完了,这些经历也让我印象深刻。

2. 区分垃圾ID数据和正常ID数据的核心关键是什么?可否借此展开描述一下所设计算法的基本思路?

吴亮: 无论是区分什么事物,核心都是特征——各个事物,都有各自不同的特征。真正的问题是能将他们区分开来的特征是什么?又会在哪里体现出来?对此,我的答案是“主题”,垃圾博文的内容主题和正常博文的主体不同,所使用的词汇也将不同,通过分析这些不同点,可以有效区分正常数据和垃圾数据。

3. 这一算法设计思路,主要用到了什么计算模型?有无独特的创新亮点?

吴亮: 如果说分类的模型,最接近的是贝叶斯模型。贝叶斯的方法,是一种以动态模型为研究对象的时间序列预测方法。它做分析的模式是:先验信息+总体分布信息+样本信息→后验分布信息,这一过程中,不仅利用了前期的数据信息,还加入了决策者的经验和判断等信息,并将客观因素和主观因素结合起来,对异常情况的发生具有较多的灵活性。

至于创新点,我感觉没必要提,毕竟正确率还不到60%,就算创新也是创错了。

4. 相对于其他方式的设计,之所以选择这一模型,主要出于什么考虑?是否还有继续优化的可能?

吴亮: 在设计方案的时候,我只是考虑了正确率,在方法确定之后才去考虑的性能优化。在我开始做的时候其实没什么理由,就是直觉,我相信自己的直觉。当然,如果实在需要一个原因的话,我也可以现编一个,不过最终还靠的是直觉。

5. 基于这一思路的算法设计,能否充分发挥IBM Power8的并发计算优势?信心来自于哪里?

吴亮: 起初设计算法时,“并行”并不在我得考虑之内,但这个算法其实是可以并行化的,因为它不仅能对不同的博客进行打分,使得任务相互之间不造成影响;也能够充分发挥 Power 8的优势,激发它的极限性能。

6. 对于IBM Power 8,你最关注的技术要点是什么?能否谈谈对未来这一领域技术趋势的看法?

吴亮: 我对这块技术了解的并不多,所以不便多谈。其实,我们现在主要使用的是分布式计算、hadoop、hbase、hive等技术。

7. 对于多线程及并发编程技术的发展,你怎么看?你认为还有哪些可以改进的方面?

吴亮: 我感觉多线程这块技术,在数据量较少的时候可能会比分布式计算要强,不过,我很清楚,这是未来的趋势。

8. 参加这次算法挑战赛的感受如何?对这一活动有什么好的建议?

吴亮:非常感谢这次比赛,尽管在某些方面举办方准备的不够充分。不过随着赛程的进行,这些问题都已经很好的解决了。至于算法方面,我建议可以考虑博客本身特征之外的关联特征,或许可称之为“用户反馈”,就如同“协同过滤”一样,能避免很多诸如知识维护、特征提取等问题。还有,就是要有Boosting的思想,集众家之长——保持理性,不要幻想着一个算法解决所有问题。


参赛指南

一、具体的参赛方式及流程如下:

  1. 按特定比率混合了垃圾博文和正常博文,参赛者需要编写算法将垃圾博客的ID分离出来;
  2. 参赛者可以使用任意开发语言完成挑战;
  3. 数据源存放位置:根目录下blog文件夹。

二、评选标准主要有四个方面:

  • 漏判率越低越好;
  • 错判率越低越好;
  • 正确率越高越好;
  • 程序运行时间。

三、参赛选手测试完成之后,需要提交:

  1. 垃圾博客的ID;
  2. 源代码;
  3. 程序运行时间截图。


YY:破冰而出,成功上市 Xtreme Labs工程师:Android开发常陷入的五大深坑 Elon Musk:没了乔布斯的苹果干不过谷歌 旁门左道:第一次开发移动游戏就赚到28623美元 移动周报:小聪明赚大钱 游戏SEO如何耍鸡贼? 创翼全国 六城联动——2012移动互联网应用创新大赛开放日 全国六城联动沙龙 爱丽丝+福尔摩斯 Game Insight解谜游戏玩出新花样 Windows Phone 8 SDK大升级:部分功能兼容WP7 信息大图《愤怒的小鸟》发家史 Intel预测:10年之后你的手机是48核的 消息推送惹怒用户:应用开发者请别太过分 创新工场:我们如何孵化未来? iOS越狱比例下降:国内移动开发环境怎么了? 响应式图像技术与资源分享 看Twitter如何应对大选:少些Ruby 多些Java 软件开发中常见的十大系统瓶颈 [CTO俱乐部87期]三人行架构分享:开源是背后的支柱 推荐5款超实用的.NET性能分析工具 OpenStack基金会主席Alan Clark访华 欢迎提问 程序员的十大烦恼 兼顾性能和兼容体验:HTML5时代的浏览器全面测试 Lisp的本质 Amazon工作环境恶劣员工高流失率 为何却依然能持续成功和创新? 对几个软件开发传统观点的质疑和反驳 [实战分析] 编写高效的JavaScript程序 Twitter的系统编程 百度高通达成合作 为Android终端提供云服务 EasyHadoop技术沙龙在北京、广州两地齐发 CloudStack技术沙龙:committer李学辉及中航信分享 思科为什么愿意花12亿美元收购云计算网络初创公司Meraki? 谷歌有麻烦了!联邦贸易委员会正调查其搜索业务 如何进行网站维护 当SARS向医疗条件较差或很差的中国内陆与农村地区蔓延的时候,那才是真正恐怖的后果! vb.net的打包问题 很小的程序,出问题~ 我遍了一个简单的ODBC实现,怎么不能通过? &&为何意? sql安全问题 在jsp中有哪个函数可以得到ping一个IP的时间,还有怎样得到从查询到得到结果所发费的时间? 谁有关于sql数据库开发的论文,题目是学生档案管理,相关的也可以。(给500) 请教思归!!asp.net中弹出对话框的问题 怎样设置权限。 很简单的一个关于在文本框中换行的问题 急求VB+sqlserver开发学生档案管理方面的论文。高分(500) 还是多表问题 只要用连续打印发票时,第一张正确,第二张就不正常,我调了不是走多了就是走少了第三张一样的。 请问,ConnectionString 属性尚未初始化? 爱上一朵有主之花,郁闷ing,请各位出出注意。 为何我没法将贴子发出去?! 爱上一朵有主之花,郁闷ing,请各位出出注意。 请问全局对象为什么先赋值为NULL? 急急急急!!急死我了!大哥们帮帮忙,打印不正确走纸问题! 硬汉对照:一位计算机大师,LISP语言的创造者之人生感悟。看者玩呗。[zt] 爱上一朵有主之花,郁闷ing,请各位出出注意。 请看这段JDBC代码 ./ 是什么意思? 如何把WEB Method指定为用GET方法传递常数? 像MSN那种有邮件时就提示的那个小窗口要怎么做? 用什么API函数可以实现big5转换为gb 关于文件上传问题,大家都使用htmlcontrols.htminputfile控件吗? 各位大虾,关于扫描仪的错误2800:0000是指什么错误?急!!! 请问如何在载入页面前,跳出一个询问用户名和密码的窗口,然后验证用户身份? MSsqlserver 意外终止服务 www服务器过一段时间就停止服务? resin 中jsp文件无法显示图片,怎么回事? 请教思归!!asp.net中弹出对话框的问题 debug命令f怎么用呀? 笔记本电池,能外挂吗?~~~~ 工具欄的顯示應算較專業的問題 寻求共同创业的伙伴! COM+组件远程调用问题 如何才能把计算稿保存下来? 急。chr 与ord的运用! 为什么当我在dreamweaver里把表格的单元格宽度设定为像素了,可当我的字符串超过它的宽度,它不换行?而是拉长我的单元格 使用delphi第三方控件出现的问题 用什么函数把int转成nvarchar 关于上网的问题 关于图片的循环移动问题 寻求共同创业的伙伴! 关于Keil C51的编译问题 谁有《 Inside The C++ Object Model》英文版电子版 请教《深入浅出MFC》中有关“动态创建”的一个问题。 bmc public health 是什么杂志 水稻稻叶发黄是什么病底叶先黄逐渐向上发展,此时稻已抽稻穗缺肥是肯定的,不只是缺肥,两个综合吧! 帮忙给下面的句子找找错误首先使我们养成良好习惯 to begin with to make people form good habits.其次树立正确的人生观 then set up the correct outlook on life.我们将努力做好这件事 we will try our best to do thing 某河流自西向东运动,其南岸被流水侵蚀得更严重,为什么说该河流位于北半球 使用玉米苗后 除草剂的土水稻育苗有要害吗我们家想用玉米地里的土席稻苗.玉米地去年打的玉米苗后除草剂【玉飞】牌的,用这样的土育苗会有药害吗? 这个句子有3处错误,暑假的一天中午,黎明正在家里看“西游记”.正当他看的津津有味的时候,居然听到妈妈在屋外大声喊道:“下雨啦,快收衣服!”他急忙赶快向屋外跑去. 为什么北半球自西向东流的河流南岸被侵蚀 养殖场养了黑猪和白猪共4头,黑猪每头重108千克,白猪每头重124千克,4头猪可能共重多少千克? 帮助找找句中的错误.They can not put up with that the west culture destroys our traditional culture .The travelers hoping to enjoy Chinese traditional culture will not feel our culture exactly. “千里黄云白日熏,北风吹雁雪纷纷”中()暗示了时间 c什么时候念音标k什么时候念音标sC在英语单词中,什么时候念音标/k/什么时候念音标/s/ 半径为R的光滑半圆环轨道固定在竖直平面内,从与半圆环相吻合的光滑斜轨道上高h=3R处,释放一个质量为m的小球,求在A.B点时的速度大小 “千里黄云白日曛,北风吹雁雪纷纷”所表示的情景,怎样用词语来形容呢? 棉花烂根、死苗的原因谁能帮着找找棉花前期烂根、死苗、枯黄萎病、中后期落叶、落桃等病症的发病原因?最好能有详细、对路的回答,不是在网上拷贝过来的!或者帮着找一个这方面的专业 如图所示,一光滑斜面连接着一光滑竖直圆轨道轨道半径为R,现有一质量为m的小球从h=3R的高度由静止滑下,试通过计算说明质点能否滑过轨道的最高点?求对轨道的压力 美国民主党政治主张最主要的特点是什么 故事关于黑猪白猪的要搞笑!有分~关于黑猪白猪的要最搞笑的要它们两只猪的故事要同时出现 哪些牌子的手机有英语字典,具体型号是什么? 美国政治上实行的是一种什么体制?这一制制有何特点? 人们生活交往和公共生活中应当遵守的最基本道德准则是什么 英语词典哪些牌子比较好买电子词典主要是为了发音,帮忙推荐个价格便宜的.音标我没学会,买的那一本新英汉大词典第四版单词都不读 有没有"微秒"这个概念?时间里面的. 公民在公共生活领域应当遵守的道德准则是什么? 吊扇怎么固定在%吊扇怎么固定在天花板上面呀!用什么东西固定的 在kile中while(--t);什么单位,是微秒还是~ 深度技术系统下载要具有哪些特点的比较好呢? 英语读书机中哪个牌子最实用?教材最全面 功能最齐全 售后服务有保障 价格最合理的读书机是哪个牌子的>? 微秒怎么表示 ()是做人的基本准则,是人们古往今来的交往中产生的最根本的道德规范,也是会计职业道德的精髓.A 爱岗敬业 B 诚实守信 C 坚持准则 D 奉献社会 溶解CuS或SnS2沉淀应该选用HCl或HNO3? 并写出其反应式 “十里黄云白日曛,北风吹雁雪纷纷”是谁的诗 家庭文明公约的交往与生活怎么写 CuS能不能溶解在H2SO4中? 千里黄云白日曛,接下来诗句是什么 鄂鱼用什么呼吸的.. 如何用氧化还原法溶解CuS 鸡蛋壳有什么用处? 鳄鱼的双重呼吸不需要了.在2010年的一项研究,发现美国短吻鳄有独特呼吸方式.[2]这项研究发现,当美国短吻鳄吸气时,吸进的空气会进入第二支气管,流经交换气体的第三支气管,最后进入第一 第6小题填时间单位? 千里黄云白日曛,北风吹雁雪纷纷.莫愁前路无知己,天下谁人不识君.这首诗描述了哪些景物?千里黄云白日曛,北风吹雁雪纷纷.莫愁前路无知己,天下谁人不识君.----《别董大》 高适这首诗描述 鳄鱼皮很粗糙,为什么在水里那么灵活?一般鱼类的皮都很光滑,虽然鳄鱼是爬行动物,但是他也是在水里扑出来捕捉猎物,按道理说鳄鱼皮不应该这么粗糙的. 如图所示,一质量为m的小球由足够高的h处沿光滑轨道由静止开始滑入环形轨道,则 送别的古诗最佳答案挑别董大二首(其一) 千里黄云白日曛,北风吹雁雪纷纷.莫愁前路无知己,天下谁人 又麻烦大家帮忙看看这几个字是什么字 谢谢了. 碱式碳酸锌制备活性氧化锌的化学方程式 千里黄云白日曛,北风吹雁雪纷纷.莫愁前路无知己,天下谁人不识君的意思 麻烦帮忙想两个词语.可以把黛雪,这个名字放进去,最好一共八个字.谢谢 中国古代《庖丁解牛》的故事反映的职业道德精神是 千里黄云白日曛.北风吹雁雪纷纷.莫愁前路无知己,天下谁人不知君诗人是谁? 半径为R的竖直圆轨道,一质量为M的球从轨道最低点以v=根号6RG开始沿圆形轨道运动,求通过最高点v 新装修房能使用什么药剂处理? 别董大 千里黄云白日曛,北风吹雁雪纷纷.莫愁前路无知己,天下谁人不识君?1.解释诗句意思 2.这首诗是( )时期著名诗人( )的作品,他的诗歌语言质朴,( ),( ),风格十分鲜明,这也是一首 麻烦帮忙找找句子中的错误All what I know is that I'm thinking of you almost all the time.I want to know you,touch you.I can't image how I'll feel when I can see one of you standing right in face of me.I even don't know what you're like exa 水厂过滤添加药剂,二氧化氯,氯气,氯片有什么区别啊? 水稻幼苗烂根,不长,怎么办 饲养场里有黑猪和白猪共180头,其中黑猪比白猪少3分之1,黑猪有多少头? 哪里的水质处理药剂最好!是游泳池的水质处理药剂,现在的游泳池水质都太差啦,池水有的很浑浊,水质颜色有发黄的,有发白的,还有水质颜色是绿色的! 美国的“驴象之争”是什么回事?两党实质上代表哪个阶级的利益 为什么土猪养殖的时间比白猪比较长? 碳酸钾和碳酸氢钾水溶液都呈碱性是否就意味着都是碱式盐? 浙江桐乡获批中国首个旅游综合改革试点宁波轨道交通运营管理办法出台 导盲犬自驾瘾发作? 跟着这份浙江自驾游地图国家发改委:淘汰落后产能 地方政府是四川一名镇长上班看《新白娘子传奇》被象山下调住房公积金最高贷款限额26岁小伙车祸后脑死亡 家属捐出其心外交部批驳CNN纵容恐怖分子“透明化”监听时代可能会来CNN同情恐怖分子外交部强烈不满北京青年驾着帆船去南极结婚【高清组图北约演习太逼真曾险些引发核战世界俄罗斯人民大会授予普京捍卫大国地美国务卿称沙特系中东领导 两国关系须挪威一公交车遭持刀男子挟持 造成3人美国一州立大学遭持枪者闯入 警方已将斯诺登谴责美英情报机构为“最恶劣的侵叙政府称:日内瓦会议旨在让总统下台则穆尔西受审 拒穿囚服大闹法庭(图)斯诺登求美“宽大处理”被拒 在俄与德叙政府称:日内瓦会议旨在让总统下台则调整布局业绩大增慢行慢品本地生活滋味(1)m0851推出新年限量版泰国反对派示威引发暴力冲突海霞播报河北 副校长亵杀女童获死刑城镇失独家庭每人每月补340元晒在边上齐平景开除党籍公职小胖救主中方强烈抗议安倍“拜鬼”广东超生罚款两部门数据差11亿大盘短期难以扭转颓势八种醉驾从重处罚爱心点燃梦想,梦想托起未来村官仨罪获刑20年“给女儿留一只眼睛看世界”300吨巨石怎样进故宫三星智能相机“带你自由飞”活动火热升打火机厂建在输油管上16年服务态度成消费者甄选银行标准
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘