说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

程序员游戏Style:亚特兰大极客使用机器学习玩转Flappy Bird

HTML文档下载 WORD文档下载 PDF文档下载
无限的重开始和撞柱子,这绝对不是程序员玩Flappy Bird该有的节奏。对于极客光环笼罩的人类,节奏绝对该是这样的:XX小时的重开始后,笨鸟完全停不下来了!

【编者按】Flappy Bird虽然下架了,但是相信仍有一大部分人还挣扎在它的阴影之下——游戏看似简单,但得分只在小两位数上徘徊,有时甚至是可怜的一位数。搜狗产品经理@光芊源更简单的分析了这个游戏会火的原因:用户往往抱着“可以拿高分”的心态,却总是因为“没注意”而失败。在回答中,网友@任杰还进行了适当的补充:1,Restart成本很低,秒秒钟的事情;2,平滑的难度曲线,再开始不会感到突兀。不管出于什么原因,Flappy Bird确实火了一把——不仅稳坐App Store和Google Play免费应用排行榜将近一个月,下载量高达5000万次,好评59万条,应用内平均每天广告收入更达5万美元。然而,这个火爆绝对是建立在无数玩家的“痛苦”之上,于是在几番高分无果的情况下,来自CAMPUS BUZZ的小伙SarvagyaVaish决定从自己的专业入手,使用机器学习玩转这头笨拙的小鸟。

以下为译文:

观看视频请访问原文

这是流行游戏Flappy Bird上的一次极客运动,尽管这个游戏已经在App Store和Google Play下架,但是网络上还流行着许多山寨应用,比如Flappy Bird Typing Tutor和Flappy Math Saga。在玩了几分钟这个游戏后,我看到了一个检验自己机器学习技巧的实践机会——让小鸟学会如何自己来玩游戏,而上面这个视频也证明了经过良好训练的Flappy Bird基本上已经可以完全躲避障碍。

机器学习过程

开始时我的选择是Android应用,计划使用Monekyrunner来获取画面和点击命令,然而Monekyrunner 1到2秒的画面捕捉时间完全满足不了我的最低需求。随后,我发现了@mrspeaker的游戏引擎、Omega500以及用于typing的Flappy Bird版本,这些都非常适合我们的用例,于是我就果断拆掉了它的typing组件并添加了一些Q Learning代码。

强化学习

这里有一些基本规则:智能体,也就是这里的Flappy Bird,在某个状态下总会执行一个特定的动作,而在状态发生改变后会得到相应的奖励。基于情况的不同,有许多不同的变体会被使用,比如:Policy Iteration、Value Iteration、Q Learning。

关于Q Learning的详细介绍可以点击这里,下面则是算法:


状态矢量空间

在这里一共设计了3个参数:1,小鸟与低管道的垂直距离;2,小鸟与下一个管道出口的水平距离;3,小鸟是否死亡。


行为

对每个状态,我设计了两个可能存在的行为:点击或者是什么都不做。

奖励

奖励完全依赖于“Life”参数,仍然存活则+1,失败则-1000。

学习循环

数组Q初始化为0,同时也总采取最佳操作,这些操作将最大化我的预期奖励。

第一步,观察Flappy Bird所处的状态,并执行可以最大化预期奖励的操作。让游戏引擎执行“tick”操作,随之Flappy Bird进入下一个状态s’。

第二步,观察s’及状态下的奖励,+1则表示小鸟还活着。

第三步,通过Q Learning规则来修改Q数组。Alpha的值被设置成0.7,因为我们需要一个确定的状态,也让学习的可能最大化;同时,Y和lambda都被设置成了1。

第四步,将当前状态设置为s’并重新开始。

结语

完整视频请访问原文

初步训练成功大约花了6-7个小时(得分150+),学习速度通过使用更多的例子来提升,最后将它们的经验贡献给同一个数组。另一个提升学习途径的方式是输入更好的学习数据。更多代码详情可见FlappyBirdRL GitHub页面。

原文链接: Flappy Bird hack using Reinforcement Learning(编译/仲浩 审校/毛梦琪)

击碎泡沫谈发展,盘点OpenStack商业生态圈! 2014年11月操作系统份额:Windows 7雄居第一,XP跌新低 微信开放平台上线统计报表功能 【向导】如何开始学习高伸缩性编程? 基于Apache Samza,揭秘LinkedIn架构背后的技术 Aeron:每秒可以传递数百万消息的低延时开源消息系统 英特尔物联网马拉松:用创造力改变生活 年末总结:2014年全球手游市场发展的六大趋势 Saber——模块化、组合式的移动前端框架 什么仇什么怨?还原日本反美颜应用Primo真面目 横跨2D与3D!专属C#开发者的超强游戏引擎Paradox 首份“2014年移动外语学习行业报告”等你下载 《近匠》Ayla联合创始人张南雄:物联网发展的三个阶段 神器 VisuAlgo:通过动画学习算法和数据结构 【工具推荐】QWrap——开源的前端JavaScript框架 老外看中国:移动应用UI设计的十大精髓 HTML5正名记:两家机构的博弈与一种标准的诞生 电池技术为何停滞不前?革新技术尚未出现 如何设计优雅的移动游戏? 前方高能!盘点2014年最颠覆三观的智能硬件 俄罗斯当局封杀GitHub,理由是教唆自杀 裁员110人、关闭工作室,Rovio重组求出路! 全Swift开发、代码开源!有钳的Firefox for iOS 详解开源游戏开发框架HaxePunk的主要特性 《程序员》杂志休刊通知 2014 TOP50最具价值CTO获奖名单揭晓! TIOBE 2014年12月编程语言排行榜:R和Swift成为年度语言候选者 免费增值应用正在“杀死”游戏开发者? 直接Mark!开源的DevOps开发工具箱 Apache Mesos联合创始人Benjamin Hindman:谈分布式应用现状 直觉不靠谱!使用移动应用分析的七个巧妙方法 不能添加记录的错误 在线等候vs.net2003 enterprise architect 2003 e文版安装问题。 请问一个 应用程序登陆SQl Server 时密码的问题? 关于数据表格的问题! 请教DOS与WIN2000 Profesional 组网问题 网卡设置问题 编辑框中如何限制只能输入一个特定的数字? 动态创建的VCL 为什么看不到? 那位老大能给个VB.NET和SQL结合的例子??? 程序员难到都感情不顺???? IE WebControls 哪里下载? 高分求书--1000 请问谁有The Design Patterns (Java Company)的程序代码? 请问有关于uml建模实例分析的好书吗? 我想下载一个好用的Webform TreeView 控件怎么办? 请帮帮忙吧! 处理字符串以修改数据库 我在恢复备份的时候怎么会这样? 关于SQL*Plus——请大虾指点,//bow 用Hashtable class怎么定义表上限? 如何在不想安装MSSQL的仅连接或客户端连接来连连接数服务器?? 问一下连接paradox数据库的问题 闷郁..散分100. 菜鸟请教!!急 今天因为一个已结帖的帖子结识一个好友rocksoft,为了表示庆祝特地散分!请斑竹放行! 闷郁~散分 c++中的friend关键字在c#中有没有什么替代的 请问IMG中的ALT属性的意义和作用 float型的问题(在线等待) 关于AnsiString类别字符串传送至PB8 ☆☆内存泄漏的检测问题★★ i installed an english system, but it doesn't surport chinese input, and many words are displayed incorrectly,how to do with it 有兴趣的可以看看,测一下自己的水平,我公司的Oracle试题一? 代理服务器XP上安装了两块网卡,上网如何设置? 请教使用CFile类的一个小问题? 编辑框简单问题 请问那里有RFC下? 查看隐藏文件的选项不见了怎么办? 怎样检查硬盘坏道? 有兴趣的可以看看,测一下自己的水平,我公司的Oracle试题二? 关于数据库访问的问题 资源文件的问题,MYBMP1 IS NOT FOUND 有关WINAMP 的问题? 处理字符串以修改数据库 开机显示the secondry IDE channel no 80 cable …… <input type=file name=pic>如何取值,如何设置初始值???? 么样判断一个客户机是否能够连上服务器上数据库,在线等待 在RAVE中如何加上总页数和当前页数? 有缺邮箱用的吗>?现在有了哦,穷人快来啊。。哈哈,我也是其中一个。 请问一个 应用程序登陆SQl Server 时密码的问题? 菜鸟提问! Outlook Express邮件丢失 原电池表示方法问个很蠢的问题(-)pt,I2(S)| I-(C1) | Fe3+,Fe2+ |pt(+)为什么I2要写在PT旁边 用逗号隔开... 细胞是所有有机体结构的基本单位吗? 使用显微镜时用什么擦拭载玻片 土地革命时期中国共产党内连续出现的三次 左 倾错误如题 请问,那个初中数学设计方案要怎么要设计?第2小题 锂离子和氢离子半径相同吗 在外买的鱼能在太阳底下晒吗 “这种”的英语怎么说 Li-和H+比较半径大小. 英语日记70暑假15篇, “这种······”用英语怎么说? 锂离子和氢离子的半径哪个大?为什么? iphone4s耳机插头规格,急用.格式如下:3.5三芯/2RCA黑色双并线 高纯硅可制光导纤维吗?为什么? 5个磷原子 现在耳机插头都有什么类型的?现在耳机都有什么类型的神马平头的扁的细头的啥玩意儿不懂————请说详细点,耳机是不是能插进去P3P4P5手机都可以听呀!说几毫米是神马意思? 如何做一个鸡蛋保护器要环保 美观 有创意 电桥法测电阻 为什么力臂比为1时待测电阻相对误差最小 插头种类繁多,具体有哪些呢? 鸡蛋保护器 纸上谈兵的故事梗概 价钱便宜货色又好是什么成语 读完《纸上谈兵》故事,写100字的体会,怎么写 请问:GH2036锻造、再固溶处理后的晶粒度几级,机械性能? 英语翻译以氯电极为指示电极,饱和甘汞电极为参比电极,应用标准曲线法测量水中的氯离子.标准溶液选用各种浓度的氯化钠溶液,在测定电极的适用pH范围在3到11后将加入缓冲液的氯化钠溶液 光缆的主要材料是单质硅吗?rt 怎么比较锂离子和氯离子半径大小 如何制作一个多面体式的鸡蛋保护器 复写纸写的字怎么擦掉 为什么氢离子的半径要比锂离子的要大. 如何制作鸡蛋保护器?只能用3张纸,一把剪刀,一卷透明胶.不可多于3张纸3张A4纸 谁知道用复写纸写过个字怎么擦掉啊?用橡皮好像擦得不是很干净的 求几个短语 类似于奈文摩尔庄园 汉尼拔草 伊丽莎白鼠 这种结合比较有喜感的短语 急:维生素A的食物有哪些?补充维生素A对身体有些什么帮助? 求保护鸡蛋的方法.制作鸡蛋保护器.规则为 保护器要求既美观又实用又轻.鸡蛋从3楼扔下,不能碎.求保护鸡蛋的方法.制作鸡蛋保护器.规则为保护器要求既美观又实用又轻.鸡蛋从3楼扔下,不能 怎样让人看不出来是用复写纸写的字?要写很多遍的、怎么用复写纸有效率的写出来、而且不能被发现用复写纸? 儿童如何补充维生素A,才不会造成维生素A过量? 是甲基绿还是吡罗红现配先用? 摩尔迦娜的英文名是什么? 大地通讯手机能买吗今天去大地通讯看了看诺基亚许多型号都比外面便宜1,2百他们说是搞活动请问大地通讯的手机能买吗?总感觉不如冠芝霖迪信通苏宁放心呢? 碳与稀盐酸是否反应?铁与稀盐酸是否反应?3Q 用什么可以除复写纸的字 哪些电器里有云母材料? 与甲基绿,吡罗红用法相同的是?a,斐林试剂b,双缩脲试剂c,碘液d,苏丹3试剂谁能给个准确答案肯定点的,怎么每个人的着重点都不同啊? 磷在氧气中燃烧的化学公式 干电池的连接方法如串联要解释或图释 悬壶济世成语的由来? 《纸上谈兵》100字的体会 原电池的表示方法一般是负极左边,正极右边,但是,负极里面的具体排列是怎样的?正极呢?例如:(-)Zn(s)∣Zn2+ (C)‖Cu2+ (C)∣ Cu(s) (+)可以写成::(-)Zn2+(C)∣Zn (S)‖Cu2+ (C)∣ Cu(s) 我也知道 悬壶济世是什么意思 仔细阅读《纸上谈兵》,写100字的体会会写的帮忙写一下,谢谢了 土地革命时期我党连续出现左倾错误的原因有哪些 悬壶济世这个成语的由来 纸上谈兵的体会100字 原电池的命名有什么规定锌铜 Al-MgO...为什么这么说是Al-AgO 不好意思 怎样做鸡蛋保护器?最好是双气球型我要做鸡蛋保护器,想做双气球型,可是鸡蛋放不进去,打开吹气口也不行,吹气口打不开, 通过食物摄入的性激素为什么没有在消化道中被水解性激素本质不是脂质么,为什么在消化道中被相应的酶水解掉呢?又会出现之前的奶粉中含有性激素的疑问呢? 土地革命战胜时期有哪些左倾错误如题 怎么做一个鸡蛋保护器?注意要把保护器扔到篮球筐里也不会碎的~重量不能超过150克, 擦镜纸是用来擦拭显微镜什么的 英国脱离欧盟将导致苏格兰独立纽约买烟最低年龄提高到21岁洪航勇任杭州市人大常委会代理主任(图美辱华主持人回应华人起诉:他们愿浪费国际刑事法院推迟审理肯尼亚总统案美国航班飞行中将允许使用部分电子设备10月份国际大事回顾:美联邦政府关门奥巴马喊话投资者“选择美国”摄像师探寻日本平凡之美东京博物馆特别展 揭秘日本封建末期神万圣节狂欢化装派对 萌“小鬼”们惹人多伦多市长涉吸毒视频被查获 其友涉嫌西班牙走出两年经济衰退 首次出现经济巴黎街头上演真人版浴室广告 女演员穿美墨边境发现新贩毒地道 配电力轨道和约旦河西岸推进环保 巴以或实现“环境俄罗斯富人与穷人代名词:寡头、工薪族英媒窃听案中两名涉案编辑被传系恋人关美将俄歌星列入黑名单 俄抗议表示不可沙特女性反抗禁驾令 小伙因改编歌曲助多伦多市长涉吸毒视频被查获 其友涉嫌追踪:女孩已被养父母虐待3年 常记不正确减掉胖肚腩,几个小动作解决烦恼习近平:加快亚太自贸区建设调查:44%的家长送孩子留学动机为移马上理财联手平安银行 打造银行理财创一杯姜水搞定十种小病怎样吃才减肥?吃饱了再减肥原来是真的小贝获评2015最性感男士 存图写满日系和风之美一组漫画告诉你,叙利亚和ISIS究竟感性的艺术纽约的哥拍搞怪年历 画风太美不忍直视俄2016年将测试“涅列赫塔”作战支瑞典披萨师傅用面饼演杂技 高超技术惊虚伪的真诚,比魔鬼更可怕宝宝烫伤 家长要会“紧急处理”3D打印电动汽车 外观私人订制非极端低温天气不影响充电电动汽车体验中心亮相吃“蛋奶素” 避免营养缺失澳大利亚维州教育证书考试落下帷幕 历
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘