瞧一瞧：你的《超级马里奥兄弟》通关了没？AI成功拿下29关卡

《超级马里奥兄弟》你能玩到第几关?

说起这款FC时代的经典游戏，大家可能再熟悉不过了，大鼻子、留胡子，永远穿着背带工装服的马里奥大叔，成为了很多80/90后的童年回忆。

看着画面中熟悉的马里奥大叔一路跌跌撞撞，躲避半路杀出来的毒蘑菇，锤子乌龟，头盔兔子、食人花，感觉又回到了小时候。

最早发行的这版《超级马里奥兄弟》设置8个场景，每个场景分为4关，共32个关卡，相信很多朋友至今还没有完全通关。

Viet Nguyen 就是其中一个。这位来自德国的程序员表示自己只玩到了第9个关卡。因此，他决定利用强化学习 AI 算法来帮他完成未通关的遗憾。

现在他训练出的 AI 马里奥大叔已经成功拿下了29个关卡。

不过，遗憾的是第4、7、8场景中的第4关卡未通过。Viet Nguyen 解释说，这与游戏规则的设置有关。在一场游戏国家修铁路占用土地怎么补偿
结束后，玩家可以自行选择通关路径，但这可能出现重复访问同一关卡的情况，所以 AI 未成功进入到这三关游戏之中。

Viet Nguyen 使用的强化学习算法正是 OpenAI 研发的近端策略优化算法(Proximal Policy Optimization，简称 PPO)，他介绍，此前使用 A3C 代码训练马里奥闯关，效果远不及此，这次能够达到29关也是超出了原本的预期。

据了解，PPO 是 OpenAI 在2017年开发的算法模型，主要用来训练虚拟游戏玩家 O关于土地征收补偿标准
penAI Five，这位虚拟玩家在2018年的 Dota2人机对抗赛中，战胜过世界顶级职业选手，同时能够打败99.95% 的普通玩家。

复杂的游戏环境一直被研究人员视为 AI 训练的最佳场景。为了让 AI 掌握游戏规则，学会运用策略，强化学习是研究人员常用的机器学习方法之一，它能够描述和解决 AI 智能体(Agent)在与环境交互过程中通过学习策略实现特定目标的问题。

近端策略优化算法(PPO)已成为深度强化学习基于策略中效果最优的算法之一。有关该算法的论文已经发布在 arXiv 预印论文库中。

(每次迭代时，N 个 actor 中的每个都收集 T 个时间步长的数据。然后在这些 NT 时间步长的数据上构建替代损失，并使用 minibatch SGD 进行 K 个 epochs 的优化。)

研究人员表明，该算法具有信任区域策略优化(TRPO)的一些优点，但同时比它实施起来更简单，更通用，具有更好的样本复杂性(凭经验)。为了证实 PPO 的性能，研究人员在一些基准任务上进行了模拟测试，包括人形机器人运动策略和 Atari 游戏的玩法。

在游戏角色的 AI 训练中，一种基本的功能是具备连续性的运行和转向，如在马里奥在遇到诸如地面或者空中障碍时，能够以此为目标进行跳转和躲避。论文中，研究人员为了展示 PPO 的高维连续控制性能，采用3D 人形机器人进行了测试，测试任务分别为：

(1)仅向前运动;(2)每200个时间步长或达到目标时，目标位置就会随机变化;(3)被目标击倒后，需要从地面站起来。以下从左至右依次为这三个任务的学习曲线。

可以看出，在第六帧的放大图中，人形机器人朝目标移动，然后随机改变位置，机器人能够跟随转向并朝新目标运行。说明 PPO 算法在连续转控方面具备出色的性能表现。

那么它在具体游戏中 ,获胜率如何呢?研究人员运用 Atari 不签字可以强拆房屋吗
游戏合集(含49个)对其进行验证，同时与 A2C 和 ACER 两种算法进行了对比。为排除干扰因素，三种算法全部使用了相同的策略网络体系，同时，对其他两种算法进行超参数优化，确保其在基准任务上的性能最大化。

研究人员采用了两个评估指标：(1)在整个训练期间每集的平均获胜数;(2)在持续100集训练中的每集的平均获胜数。前者更适合快速学习，后者有助于最终的比赛表现。可以看出 PPO 在指标一种的获胜次数达到了30，在小样本下有更高的胜率。

最后研究人员还强调，PPO 近端策略优化的优势还在于简洁好用，仅需要几行代码就可以更改为原始策略梯度实现，适用于更常规的设置，同时也具有更好的整体效果。

最后一问：

《雪人兄弟》《绿色兵团》《忍者神龟》《双截龙》《魂斗罗》等众多经典 FC 游戏中，你最喜欢哪一个，是否全部通关了呢?

免责声明：本文仅代表作者个人观点，与爱科技无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
本网站有部分内容均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责，若因作品内容、知识产权、版权和其他问题，请及时提供相关证明等材料并与我们联系，本网站将在规定时间内给予删除等相关处理.