说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

专访POWER 8编程挑战赛选手吴亮:集众家之长, 激发算法性能极限

HTML文档下载 WORD文档下载 PDF文档下载
“2014 POWER8极限性能挑战赛”第一期正在火热进行中,目前已有数百名开发者报名参赛。为了让更多的开发者了解大赛进展,日前,我们专访了其中一位参赛选手吴亮,希望通过他的经历,吸引更多技术达人参与到其中。


9月23日,IBM和CSDN联合宣布“2014 POWER8 极限性能挑战赛”正式启动。此次大赛主要面向广大CSDN注册开发者,大赛以云计算的方式为开发者提供了POWER8开发环境,开发者利用POWER8的特性,基于不同场景进行应用开发。此次大赛,不仅使更多的开发者充分利用了POWER8,也为开发者、技术达人提供一个展示自我的舞台。

正如大赛发布仪式上,IBM大中华区副总裁侯淼所言,之所以要支持这样一个大赛,目的就是希望吸引更多的开发者去开发一些新的算法,把整个POWER 8引擎的能力激活开来。

“U Can U Up”是这次挑战赛的口号,开发者可以通过登陆注册、申请资源、完成挑战,主办方最终根据各自的累积评分赢取礼品奖励。在比赛期间,主办方将定期公布挑战题目,采用月度赛制对参赛者进行排名评定。


第一期的挑战题目为“博客反垃圾”,具体任务为CSDN提供海量的博文数据,并按特定比率混入垃圾文章,参赛者需开发相应的系统将垃圾博文从中抽取出来。需要说明的是,大赛主要考察程序的是算法的正确率及处理速度,对开发语言、开发工具并不进行限定。

到目前为止,已经有数百名开发者报名并参加了此次大赛,为了让更多的开发者了解此次大赛的进展情况,日前,我们专访了其中一位参赛选手南京烽火通信公司研究员吴亮,希望通过他的参赛经历,吸引更多的技术达人参与到大赛之中。如果你看过他的回答后,还是感觉不过瘾,那么就赶快点击下面的链接,报名挑战吧!

立即报名:

http://reg.powerlinux.csdn.net/cview/reg/?project_id=973&identy_id=1011 

1. 可否介绍一下你的开发经历?目前,主要关注哪些技术领域?

吴亮:目前,我主要关注的是数据挖掘领域,其他相关领域,如云计算、数据库、数据结构、编程开发等,也略有了解。记得当初,我为了能够更快的实现算法逻辑,一口气就把《算法导论》全部看完了,这些经历也让我印象深刻。

2. 区分垃圾ID数据和正常ID数据的核心关键是什么?可否借此展开描述一下所设计算法的基本思路?

吴亮: 无论是区分什么事物,核心都是特征——各个事物,都有各自不同的特征。真正的问题是能将他们区分开来的特征是什么?又会在哪里体现出来?对此,我的答案是“主题”,垃圾博文的内容主题和正常博文的主体不同,所使用的词汇也将不同,通过分析这些不同点,可以有效区分正常数据和垃圾数据。

3. 这一算法设计思路,主要用到了什么计算模型?有无独特的创新亮点?

吴亮: 如果说分类的模型,最接近的是贝叶斯模型。贝叶斯的方法,是一种以动态模型为研究对象的时间序列预测方法。它做分析的模式是:先验信息+总体分布信息+样本信息→后验分布信息,这一过程中,不仅利用了前期的数据信息,还加入了决策者的经验和判断等信息,并将客观因素和主观因素结合起来,对异常情况的发生具有较多的灵活性。

至于创新点,我感觉没必要提,毕竟正确率还不到60%,就算创新也是创错了。

4. 相对于其他方式的设计,之所以选择这一模型,主要出于什么考虑?是否还有继续优化的可能?

吴亮: 在设计方案的时候,我只是考虑了正确率,在方法确定之后才去考虑的性能优化。在我开始做的时候其实没什么理由,就是直觉,我相信自己的直觉。当然,如果实在需要一个原因的话,我也可以现编一个,不过最终还靠的是直觉。

5. 基于这一思路的算法设计,能否充分发挥IBM Power8的并发计算优势?信心来自于哪里?

吴亮: 起初设计算法时,“并行”并不在我得考虑之内,但这个算法其实是可以并行化的,因为它不仅能对不同的博客进行打分,使得任务相互之间不造成影响;也能够充分发挥 Power 8的优势,激发它的极限性能。

6. 对于IBM Power 8,你最关注的技术要点是什么?能否谈谈对未来这一领域技术趋势的看法?

吴亮: 我对这块技术了解的并不多,所以不便多谈。其实,我们现在主要使用的是分布式计算、hadoop、hbase、hive等技术。

7. 对于多线程及并发编程技术的发展,你怎么看?你认为还有哪些可以改进的方面?

吴亮: 我感觉多线程这块技术,在数据量较少的时候可能会比分布式计算要强,不过,我很清楚,这是未来的趋势。

8. 参加这次算法挑战赛的感受如何?对这一活动有什么好的建议?

吴亮:非常感谢这次比赛,尽管在某些方面举办方准备的不够充分。不过随着赛程的进行,这些问题都已经很好的解决了。至于算法方面,我建议可以考虑博客本身特征之外的关联特征,或许可称之为“用户反馈”,就如同“协同过滤”一样,能避免很多诸如知识维护、特征提取等问题。还有,就是要有Boosting的思想,集众家之长——保持理性,不要幻想着一个算法解决所有问题。


参赛指南

一、具体的参赛方式及流程如下:

  1. 按特定比率混合了垃圾博文和正常博文,参赛者需要编写算法将垃圾博客的ID分离出来;
  2. 参赛者可以使用任意开发语言完成挑战;
  3. 数据源存放位置:根目录下blog文件夹。

二、评选标准主要有四个方面:

  • 漏判率越低越好;
  • 错判率越低越好;
  • 正确率越高越好;
  • 程序运行时间。

三、参赛选手测试完成之后,需要提交:

  1. 垃圾博客的ID;
  2. 源代码;
  3. 程序运行时间截图。


20个优秀的前端框架 以AWS和vCloud为标杆看四大开源平台的定位 桌面集成开发环境五年内必将“死亡”? 助影人圆梦奥斯卡 8mm相机应用其实很平庸 苹果应用审查团队叫停Cookie追踪技术 时势造英雄:中国早期O2O创业故事 iOS开发与Android开发的四大不同 “消极抵抗”AWS OpsWork?RightScale首次宣布转售并支持GCE 2012年VC都把钱投给了哪些大数据初创公司? 耐用性将成苹果iWatch最大挑战 Sphinx:首款全硬件加速HTML5游戏引擎发布 PayPal创始人Levchin又创办了一家移动支付公司Affirm Zuck、Bill Gates、Jack Dorsey上银幕激励孩子编程 十款最新开源的开发者工具/应用(组图) Django 1.5发布,Python 3开始进入主流? [爆料]英特尔:将Hadoop“固化”到Xeon中 姗姗来迟:微软终于发布Windows 7 IE10正式版 谷歌推Google+登录系统 与Facebook争夺用户信息 微软在CodePlex上开源C++ REST SDK 代号Casablanca 论OpenAPI的起源与历史 LinkedIn开源低延时变化数据捕获系统Databus 微软发布全新WP应用 随时查看App崩溃信息 做iOS开发,我为什么弃用Objective-C而选择RubyMotion? Stinger Initiative:让Hive提速100倍 2013年云计算的九大威胁 W3C小组发起新“汽车与Web平台业务组”项目 苹果CEO:请忘掉股价 未来依然有伟大产品 两周营收100万,GO桌面在Google Play做对了什么 “吸金王”Puzzle & Dragons是如何炼成的 初创公司Kickboard:让父母了解孩子的在校表现 Rackspace收购开源数据库公司ObjectRocket 还是有关于图片上传,请高手帮忙 加强型的 MSFlexGrid 我认识 KiteGirl(小仙妹) ( 是个好女孩 代表到底是什么东西? 有良知的中国人近来看看! 在vb中做的ActiveX DLL文件如何在vc中调用????? 谁能给我提供磐英810主板的显卡驱动 请问用PDM从数据库中反生成的数据模型,连接到另外的数据库中生成库表,为什么会失败? 请问如何将office2000或office xp 的激活提示除掉 怎么在LINUX下编译JAVA? 请问foxbill:.h文件之前的这些都是什么意思? MEMFILE例子的-----送分帖! 请问如何将office2000或office xp 的激活提示除掉 关于class的问题 我的“路由和远程访问” 出了一个怪问题 用VB设计自己的E-mail系统 这个就是你们说的美女檬檬吗? 我觉得....... 两个小问题————高手赐教! 一个局域网内监控程序,有点问题,请大家帮忙看看! 怎么在LINUX下编译JAVA? ADO数据库简单问题? -128的原码,反码,和补码是什么 ado问题,紧急!高分求救 展望COM,我的COM学习计划!来看看! 借宝地一用,请有良知的中国人近来看看--印尼华人! 拨号上网问题 人民银行网站建设中数据库存储过程的调用 100分求解一个能打印*.frm的控件,提供相关资料的也给分,27号晚5:00结账送分 visual C++ ??? Delphi??? 我憋的难受! 一个编译错误。不知道是什么原因 请问如何使用vbscript删除表的一行(制定行) OracleOraHome81ManagementServer起不来? 关于Tuxedo? 使用apache映射虚拟目录的问题! 谁有VC下类EXCEL的代码 进入windows的目录需要密码的问题 com+组件导出的客户端代理,安装到win98客户机,客户机createObject出错 救急!请问哪里有CrystalReport的书以及源码? QUERY的一对多问题! DLL里面不能修改注册表吗? DLL里面不能修改注册表吗? 急,给高分!!!哪里有非评估版的SQL Anywhere 6 可供下载! DLL的问题 请问能否控制DataGrid编辑时的文本框宽度?? 大虾!大虾!大虾!快过来?这里的问题真奇怪!!SQL2000 装不上,急的我从处男变和尚!解决问提我给分————50分! 强烈声讨那些声讨KiteGirl(小仙妹) 的人!路见不平!!!!!!!! jscript里面有没方法和vbscript里的replace一样 Java 3D 初学一问 难道没有人会吗? 请各位帮忙测试一个MySQL管理软件 求教:如何实现交叉表 HW叠加层是什么意思 如图,在菱形ABCD中,E是对角线AC上的一点,若AE=BE=2,AD=3,则CE=? 能帮我翻译下wars mat bw fought with weapons,but they are won by men HW什么意思 如图,在梯形ABCD中,AD平行BC,AC,BD相交于O,设S△ABO=S1,S△AOD=S2,S△BOC=S3,试说明;S1^=S2乘以S3我没有说AC垂直于BD哦,请补充好,尽快!这是我今晚的家作 英语翻译北京,快要和你说再见了.好像很简单,哈哈!北京,我要暂时离开你了~翻译下这个, 几何:设梯形ABCD的对角线AC与BD相交于点O,AB为一腰,AOD 和BOC的面积分别为4和9,求这个梯形的面积要步骤在线等~~~~~~~~~~~~ 中、法、印度个自的具有象征意义的建筑物 一个梯形的面积为48平方厘米,上底为6厘米,下底为12厘米.求它的高. 龟兔赛跑的故事告诉了我们什么?在现实生活中有没有这样的问题? 某同学在地面上拉着一个质量为30kg的箱子匀速前进,动摩擦因数为0.5,求出拉力最小值设绳子与地面夹角为a,摩擦力为f,拉力为F 梯形的面积是42cm平方,高是6cm,它的下底比上底的2倍少1cm,这个梯形上底和下底的长分别是多少?(用二元一次方程解答)求过程 同样的物体在月球上的惯性比在地球上小,这句话对吗? 某同学在地面上拉着一个质量为M=30KG的箱子匀速前进,已知箱子与地面间的动摩擦因数为0.5,拉力F1与水平面夹角为45度,G=10M/S的平方,求绳子的拉力F是多少?(答案是100根号2) 北京最有象征意义的建筑是什么? 军牌有什么特征 )如图所示,某同学在地面上拉着一个质量为m=30kg的箱子匀速前进,已知箱与地面间的动摩擦因数为μ=0.5如图所示,某同学在地面上拉着一个质量为m=30kg的箱子匀速前进,已知箱与地面间的动摩擦 美国有哪些著名建筑? 请问有那个大神知道这个军牌GA11111是什么意思啊? 如图所示,拉一个44kg的箱子在水平面上匀速前进,已知箱子与地面动摩擦因数为0.5,拉力与水平面夹角为3...如图所示,拉一个44kg的箱子在水平面上匀速前进,已知箱子与地面动摩擦因数为0.5,拉力 美、英国象征意义建筑物 10kw发电机,额定转速为1500转,问多少牛顿力能带动? 某同学拉着一个44kg的箱子在水平地面匀速前进,已知箱子与地面的动摩擦因素为0.5,拉力F与水平方向的夹...某同学拉着一个44kg的箱子在水平地面匀速前进,已知箱子与地面的动摩擦因素为0.5,拉 梯形ABCD中,AD平行BC梯形ABCD面积=S,S三角形AOD=S1,S△BOC=S2,S△AOB=S3.求证 在月球上,物体有惯性吗? 在四边形ABCD中,AC垂直BD,三角形BOC面积是3,三角形DOC的面积是是6,三角形AOD的面积是4,三角形AOB的面积是多少? 在梯形ABCD中 AD∥BC AD=1 BC=3 △AOD、△AOB、△BOC的面积分别为S1 S2 S3求S1:S2 和 S1:S3 急………………………………………… 在月球上举重比地球上容易,所以质量相同的物体在月球上比在地球上惯性小, 建筑施工图中bw bf hc 如图,在菱形ABCD中,AE垂直BC于E,AE=1CM,BE=EC,求BD的长. 怎么才能把汽车挂上军牌,一定要是军人吗? 300# API5L PSL2 BNS MSSSP-75;BW 在梯形ABCD中,AD//BC,AD=3,BC=4,三角形AOD、AOB、BOC的面积分别为S1、S2、S3求S1:S2:S3. 力的定义是不是:力能改变物理的运动状态? 梯形ABCD AD//BC AD=1 BC=4 求S1:S2:S3:S4 S三角形AOD=S1 S三角形DOC=S2 S三角形BOC=S3 S三角形AOB=S4最好在八小时内回答 如图,菱形ABCD中,AE垂直BC,BE=EC,求角B、∠C度数 平衡力能改变物体运动的状态,这句话对吗?我觉得这句话是对的,比如一个从高空坠落的物体,此时它没有收到平衡力,当我给它施加一个力使它二力平衡,这样它就由加速下落到了匀速下落,这样 已知AC垂直BD于点O,三角形AOD、三角形AOB、三角形BOC、三角形COD的面积分别为S1、S2、S3、S4,设AC=M,BC=NA、S1+S2+S3+S4=1/2MNB、S1+S2+S3+S4=MNC、S1*S2*S3*S4=1/2MND、S1*S2*S3*S4=MN过程!好的追分 如图,已知梯形ABCD中,AD平行BC,AD,BD交于点O,△AOD,△DOC,△BOC的面积分别是S1,S2,S3,且S1:S2=4:9,求S1:S2今天就要是S1:S3=4:9 可以说明力能改变物体运动状态的是?1压力使矿泉水瓶变形2压力使网球拍变形3拉力使弹簧伸长4力把足球踢出去 已知梯形的面积是42cm²,高是6cm,它的上底比下底的2倍少1cm.求梯形的上下 如图,菱形ABCD中,AE⊥BC,BE=EC,AE=2,则BD=, 如图,已知△AOB,△AOD,△BOC的面积分别等于10,8,25,求四边形ABCD的面积. 已知梯形的面积是42cm²高是6cm,它的下底比上底的2倍少1cm,求梯形的上、下底 如图 倾斜角为θ的电梯 质量为M的人 电梯以加速度a匀加速上升 人受到的摩擦力方向与大小 支持力的大小 如图已知O为三角形AOB三角形AOD三角形BOC的面积分别为10.8.25则四边形ABCD的面积为【 】 以知梯形的面积是42cm²,高是6cm,它的下底比上底的2倍少1cm,则梯形的上底和下底是多少 如图,在梯形ABCD中,AD平行BC,AC与BD相交于点O,△AOD的面积=s1,△BOC的面积=s21.求s三角形AOB=s三角形DOC=根号s1乘根号s2 2.求证s梯形=(根号s1+根号s2)^2 重500N的人用10N的水平拉力将50N的物体沿水平方向均速拉动10m在此中,拉力所做的功是多少? 钢筋计算规则里的英文字母表示什么意思?比如HN、LAE、LLE、 如图,菱形ABCD中,AE⊥BC于点E,且BE=CE,AD=2 (1)求BD的长 (2)求菱形ABCD的面积 已知任意四边形ABCD,三角形AOD的面积是4三角形,三角形BOC的面积是64,求四边形ABCD的面积是多少? 工程中符号LaE是什么意思 求意大利语翻译bella composizione,ottimo bw 已知平行四边形ABCD的面积为36,三角形AOD的面积为8,三角形BOC的面积为多少? 梁平法中的Ll,Lle,La, 急需!管件英文翻译:EL LR Sch BW AS ASTM A234Gr WP22Red Tee Cap Stdwt con Stdwt deg mt or pce quantity这些分别是什么的简写 hw是什么意思 建筑中Lae Lie各代表什么符号 怎么读法? 英语翻译在1976年举行的第21届奥运会上,美国摔跤运动员法里纳赛前称体重时,指示灯亮了,表明他的体重已超过级别标准,他赶紧脱去背心,指示灯没有灭,他又赶紧把太阳镜扔到一边,灯仍然不灭
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘