说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

专访POWER 8编程挑战赛选手吴亮:集众家之长, 激发算法性能极限

HTML文档下载 WORD文档下载 PDF文档下载
“2014 POWER8极限性能挑战赛”第一期正在火热进行中,目前已有数百名开发者报名参赛。为了让更多的开发者了解大赛进展,日前,我们专访了其中一位参赛选手吴亮,希望通过他的经历,吸引更多技术达人参与到其中。


9月23日,IBM和CSDN联合宣布“2014 POWER8 极限性能挑战赛”正式启动。此次大赛主要面向广大CSDN注册开发者,大赛以云计算的方式为开发者提供了POWER8开发环境,开发者利用POWER8的特性,基于不同场景进行应用开发。此次大赛,不仅使更多的开发者充分利用了POWER8,也为开发者、技术达人提供一个展示自我的舞台。

正如大赛发布仪式上,IBM大中华区副总裁侯淼所言,之所以要支持这样一个大赛,目的就是希望吸引更多的开发者去开发一些新的算法,把整个POWER 8引擎的能力激活开来。

“U Can U Up”是这次挑战赛的口号,开发者可以通过登陆注册、申请资源、完成挑战,主办方最终根据各自的累积评分赢取礼品奖励。在比赛期间,主办方将定期公布挑战题目,采用月度赛制对参赛者进行排名评定。


第一期的挑战题目为“博客反垃圾”,具体任务为CSDN提供海量的博文数据,并按特定比率混入垃圾文章,参赛者需开发相应的系统将垃圾博文从中抽取出来。需要说明的是,大赛主要考察程序的是算法的正确率及处理速度,对开发语言、开发工具并不进行限定。

到目前为止,已经有数百名开发者报名并参加了此次大赛,为了让更多的开发者了解此次大赛的进展情况,日前,我们专访了其中一位参赛选手南京烽火通信公司研究员吴亮,希望通过他的参赛经历,吸引更多的技术达人参与到大赛之中。如果你看过他的回答后,还是感觉不过瘾,那么就赶快点击下面的链接,报名挑战吧!

立即报名:

http://reg.powerlinux.csdn.net/cview/reg/?project_id=973&identy_id=1011 

1. 可否介绍一下你的开发经历?目前,主要关注哪些技术领域?

吴亮:目前,我主要关注的是数据挖掘领域,其他相关领域,如云计算、数据库、数据结构、编程开发等,也略有了解。记得当初,我为了能够更快的实现算法逻辑,一口气就把《算法导论》全部看完了,这些经历也让我印象深刻。

2. 区分垃圾ID数据和正常ID数据的核心关键是什么?可否借此展开描述一下所设计算法的基本思路?

吴亮: 无论是区分什么事物,核心都是特征——各个事物,都有各自不同的特征。真正的问题是能将他们区分开来的特征是什么?又会在哪里体现出来?对此,我的答案是“主题”,垃圾博文的内容主题和正常博文的主体不同,所使用的词汇也将不同,通过分析这些不同点,可以有效区分正常数据和垃圾数据。

3. 这一算法设计思路,主要用到了什么计算模型?有无独特的创新亮点?

吴亮: 如果说分类的模型,最接近的是贝叶斯模型。贝叶斯的方法,是一种以动态模型为研究对象的时间序列预测方法。它做分析的模式是:先验信息+总体分布信息+样本信息→后验分布信息,这一过程中,不仅利用了前期的数据信息,还加入了决策者的经验和判断等信息,并将客观因素和主观因素结合起来,对异常情况的发生具有较多的灵活性。

至于创新点,我感觉没必要提,毕竟正确率还不到60%,就算创新也是创错了。

4. 相对于其他方式的设计,之所以选择这一模型,主要出于什么考虑?是否还有继续优化的可能?

吴亮: 在设计方案的时候,我只是考虑了正确率,在方法确定之后才去考虑的性能优化。在我开始做的时候其实没什么理由,就是直觉,我相信自己的直觉。当然,如果实在需要一个原因的话,我也可以现编一个,不过最终还靠的是直觉。

5. 基于这一思路的算法设计,能否充分发挥IBM Power8的并发计算优势?信心来自于哪里?

吴亮: 起初设计算法时,“并行”并不在我得考虑之内,但这个算法其实是可以并行化的,因为它不仅能对不同的博客进行打分,使得任务相互之间不造成影响;也能够充分发挥 Power 8的优势,激发它的极限性能。

6. 对于IBM Power 8,你最关注的技术要点是什么?能否谈谈对未来这一领域技术趋势的看法?

吴亮: 我对这块技术了解的并不多,所以不便多谈。其实,我们现在主要使用的是分布式计算、hadoop、hbase、hive等技术。

7. 对于多线程及并发编程技术的发展,你怎么看?你认为还有哪些可以改进的方面?

吴亮: 我感觉多线程这块技术,在数据量较少的时候可能会比分布式计算要强,不过,我很清楚,这是未来的趋势。

8. 参加这次算法挑战赛的感受如何?对这一活动有什么好的建议?

吴亮:非常感谢这次比赛,尽管在某些方面举办方准备的不够充分。不过随着赛程的进行,这些问题都已经很好的解决了。至于算法方面,我建议可以考虑博客本身特征之外的关联特征,或许可称之为“用户反馈”,就如同“协同过滤”一样,能避免很多诸如知识维护、特征提取等问题。还有,就是要有Boosting的思想,集众家之长——保持理性,不要幻想着一个算法解决所有问题。


参赛指南

一、具体的参赛方式及流程如下:

  1. 按特定比率混合了垃圾博文和正常博文,参赛者需要编写算法将垃圾博客的ID分离出来;
  2. 参赛者可以使用任意开发语言完成挑战;
  3. 数据源存放位置:根目录下blog文件夹。

二、评选标准主要有四个方面:

  • 漏判率越低越好;
  • 错判率越低越好;
  • 正确率越高越好;
  • 程序运行时间。

三、参赛选手测试完成之后,需要提交:

  1. 垃圾博客的ID;
  2. 源代码;
  3. 程序运行时间截图。


试图领导创新:三星创新中心11亿美元建基金 基于WebRTC Chrome与Firefox实现视频通话 将OpenStack私有云部署到Hadoop MapReduce环境 Web设计师必备的10款最佳排版工具 诺基亚CEO谈平板计划 Android为候选系统 244亿美元!戴尔公司正式完成私有化 对抗苹果 Facebook或推Find My Friends应用 前谷歌工程团队负责人:如何打造一个完美的产品 好消息!Google Drive可存储共享JavaScript等网站 Android Rivers:用Kotlin语言写出的新闻应用 辞旧迎新 老牌游戏开发商的移动进化之路 iSuppli:硬盘市场持续萎缩 大数据应用成重要市场 全球最大校园Hackathon:失败后,你能学到什么? 走进Evasi0n,越狱黑客如何拿到iOS权限 提升服务扩展性和冗余的八个编码方向 分析数据预测未来?数据挖掘绝不是大公司的专利 揭秘LinkedIn数据科学家如何工作 为什么响应式设计对SEO有好处? SpaceX团队:想登陆火星吗?学好C++吧 可穿戴设备:越来越清晰的苹果iWatch 苹果设计师:开发者们的应用图标设计对了吗? AWS兴起之路:尚未成功 仍需努力 John Carmack:我们为什么不开发Linux游戏 最具创新力公司50强:耐克居首 Web如何成为另一个应用商店 Adobe发布Photoshop1.0.1源代码 大数据时代正在到来 微软CFO:我们的移动战略没有“B计划” TIOBE 2013年2月编程语言排行榜:历经十月Java重返第一 为让用户亲身体验产品 谷歌年底或开零售商店 谷歌推Chrome API支持HTML5实现本地离线数据存储与同步 Oracle8i的Schema Management建立表不支持中文么? 问各位:怎样测试WEBLOGIC6。0下面的数据库连接是否连通? 数据库存在怎么找不到? 请问应用程序服务器一定要在NT操作系统下编写吗? 我不高兴,一个贴子只能回复三次,没道理啊!有时三次回答是解决不了问题的。。。我不高兴。。。 谁能告诉我比较优秀的国外的远程教育站点? 请问大家谁有用CGI编写的类似于购物车的程序源代码? mail函数的使用 请教,如何在text的onkeypress中控制输入的字符为数字 为什么resultset.last()说是抽象方法错? 问问高手关于CFrameWnd的创建 男人单身不是罪 谁能介绍几本国外专家编写SQL Server的进阶教程(最好有电子版) 我也不得不说了,为了我的朋友,为了随风,也为了我自己。。。。。。。。。。。。(贴子长,上班的时候还是别看了好:) 请推荐几本用vc开发服务程序的书籍 请问如何在TC30中使用并连接第三方LIB??? 曾经有一个中毒的人…… to: nononono(null,null),再来! 导入的数据,字符型输出为乱码在oracle8.05中,如何解决?谢谢! 做设计文档时,是先进行详细设计还是数据库设计? csdn我爱你........ oracle8.05中如何察看记录?谢谢! 哪位兄弟见过可以收发邮件(SMTP)的源码,做成动态连接库的那种。别的程序可以调用 关于tedit控件(很弱智的问题,但是小妹妹我就是不会做) 请问一个简单的条件是用Ttable的filter还是Tquery? 选DCOM还是CORBA? 倒库出现的问题 寻求怎样写SQL语句的教程 JNI的问题: dll文件放在哪里能被servlet调用到? 好不容易收到第一份海外定单! 问ListCtrl的item上的右键菜单 怎样求出一个点的坐标??????急急!!!! 请大家看一看这个分页程序,为什么在页数大于20时,按下一页时下面的页数还是显示的1~10页!!谢谢!! 我的linux在放mp3時總愛死,為甚麼? 唉,弄了好几天了,如何解决?????????????? 请问哪里有免费的PHP+MYSQL主页空间呀! 大家快来帮忙:数据库的一个小问题 我现在想学一门新技术,不知道是学VC++,JAVA,还是刚刚出来的。NET技术呢?请高手指点呀。 高分征解:一个动态提示窗口的问题,给出答案必定给分!!!求救我啊!! 在这里赚分真不容易呀! 怎样检查FORM中CHECKBOX和RADIO的值呢 那里有在asp中操作word对象的详细教程? 请问:如何得到TForm的窗口句柄? authorware中的按钮。 哪里有发送mail成功的php程序!! 关于上传数据的一个特殊问题,有点难 怎么用OLE实现与手机的通讯?? 汉语分词算法 grid显示问题 成为Delphi高手须看哪方面的书籍,请高高手指教? 关于属性页的小问题? 硫酸和硫脲反应吗 物质的树状分类图. 图中哪个化学式写的对 谁能告诉一些有关硫脲的性质,以及和它性质相似的物质,在2,4-二硝基苯肼法测Vc含量时,硫脲有没有替代品? 柠檬酸钠和硫脲反应吗? 物质的分类,(树状图) 苯硫脲是什么物质 为什么不能把硝酸铋固体直接溶于水中来制其溶液,硝酸铋与水有什么反应? 请选择你熟悉的化学物质,制作一张交叉分类图 成份鉴别怎样证明生石灰中是否含有石灰石?写出有关的化学方程式. 硝酸铋能不能与EDTA反应 请选择你所熟悉的化学物质,制作一张交叉分类图 如何鉴别金属成分?有一块矿石,银白色,可以导电,不溶于冷硝酸或者说我没观察到他溶解,硝酸是68%的.求鉴别方法 硝酸铋为什么能溶解于稀硝酸 请教反应方程式 A、B、C是三种不同类别的含有氧元素的化合物,物质间相互反应的关系如图所示(图中“─”表示相连的两种物 去哪鉴定金属的成分要化学实验室,苏州的~金银锡什么的~ 硝酸铋水解的化学方程试是什么? A、B、C、D、E分别为五种不同类别的化合物,它们之间的反应关系如右图所示箭头表示物质之间能够相互转化,横杠表示两端物质能够发生反映.已知A、B、C、D四种物质中都含有同一种元素:C是 如何鉴定食物中的营养成分? 亚锡酸钠与硝酸铋反应现象及方程式? A为金属单质,B,C,D为三种不同类型的化合物,物质间相互反应的关系(A—B—D—C—A)① D的A为金属单质,B,C,D为三种不同类型的化合物,物质间相互反应的关系(A—B—D—C—A)① D的化学式是— 英语中成分的辨别 什么物质可以通过一定反应直接形成盐? A、B、C三种化合物通过分解反应分别产生了两种物质(反应条件和各物质化学式前的系数均已略去):A——M+N B——M+Q C——M+PN为一种盐,其水溶液可跟AgNO3溶液反应生成一种不溶于硝酸的白 尿素与亚硝酸钠反应写出反应方程式,要求配平.就这么简单,急需务必1小时内搞好. 盐发生反应的条件①盐和盐 ②盐和酸 ③盐和碱是不是①③要求反应物都溶于水 ②不要求盐溶于水? 按图1-3中箭头所表示的物质间发生的转化,写出相应反应的化学方程式,并指出有元素化合价发生改变的反应. 尿素与水反应的生成物的名称, 盐是一类常见的物质,什么物质通过一定反应可直接形成盐? 该图中各种化学反应方程式和反应类型 尿素能否与双缩脲试剂反应请各位高手回答祥细些. 工业上常用什么反应制取食盐? 完成图中所示的化学方程式,并注明反应的基本类型及反应条件 尿素和硫酸能反应么?是尿素与硫酸的反应,不是硫酸镁,能反应么? 酸的化学分子式是什么?碱的化学分子式是什么?酸和碱结合生成什么反应?盐和醋结合生成什么反应? .如何做交叉分类图现有氧化钠.二氧化硫.甲烷.氯化钡四种物质,请按其所属做一张交叉分类图 尿素会与什么发生反应?尿素的化学性质和物理性质是什么? 哪几种常见物质结合会产生非常剧烈的反应 横线表示两种物质能反应,箭头表示一种物质能生成另一种物质.请把符合图的所有情况列出来. 氢氧化钠可以和尿素反应吗为什么 盐和硫酸会产生什么反应难道盐和硫酸混不到一起?像鸡尾酒一样 右图是关于铁化学性质的知识网络下图是关于铁化学性质的知识网络(“→”表示一种物质转化为另一种物质),其中B是密度最小的气体C为红色固体单质1、A物质的化学式为——.2、反应②还 请教氢氧化钠和尿素在什么条件下可以产生反应?书上说氢氧化钠和尿素加热就能反应,可是已经煮了好久了(氢氧化钠和尿素浓度为10%),也没有发生反应.请问还需要什么助剂或催化剂才能使 硫酸和什么反应 生成盐和水 化学题:求解.(2010•宜昌)右图是物质化学性质的知识网络图,(2010•宜昌)右图是物质化学性质的知识网络图,“-”表示相连的两种物质能发生反应,“→”表示一种物质转化成另一 尿素在氢氧化钠条件下水解反应方程式 硫酸加上盐产生什么反应 右图是关于盐酸化学性质的知识网络——表示连接的两种物质能发生反应箭头表示一种物质转化成另一种物质A,C属于不同类别的化合物完善这个知识网络 B/ \A----HCL----C|ZN (1)写出a,b,A-----B--- 尿素高是怎么回事,怎么治疗 硫酸(H2PO4)跟NaOH反应,所生成的盐可能有:( )A、1种 B、2种 C、3种 D、4种磷酸 图是物质化学性质的知识网络图,求A、B、C、D、E 在上海松江,哪里可以买到硫代硫酸钠、硫酸氢钠、尿素、硫脲、耐腐蚀的不锈钢容器做一项试验,以上药品仅需最小包装量,希望各位朋友能提供相关信息,在下感激不尽 什么物质能跟硫酸发生反应生成蓝色溶液 图是关于盐酸化学性质的知识网络,——表示相连的两种物质能发生反应,→表示一种物质转化成另一种物质物质能发生反应,→表示一种物质转化成另一种物质,A,C属于不同类别的化合物,请完 硫脲类作用机理是抑制哪种酶的活性原因及机理 怎样判断两种物质发生反应后所生成的物质 如图, 硫脲与铅反应吗 物质分类图如何画? 写出下列表格中相应酸的化学式,指出它们的类别Cl SO4 NO3 CO3 CH3COOH ___ ___ ___ ___ ________类别 ___ ___ ___ ___ ________写出碱的化学式,并指出类别.Na Al Ca Mg NH4OH ___ __ ___ ___ ____ 类别 ___ __ ___ ___ ____上一
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn