用深度Q网络玩电子游戏

本文为 AI 研习社编译的技术博客，原标题 ：

Beating Video Games with Deep-Q-Networks

作者 | Liam Hinzman

翻译 | ceroo           

校对 | 斯蒂芬•二狗子        审核 | 酱番梨       整理 | 立鱼王

原文链接：

https://towardsdatascience.com/beating-video-games-with-deep-q-networks-7f73320b9592

我爱死玩电子游戏了。 

我每天都玩，然而，乒乓球我连10岁妹妹都打不赢。

蛮挫败的，所以我决定建立一个深度Q网络，用这个网络学习如何在任一电子游戏中打败我的妹妹。 

经过几天的不间断编程（夜不能寐），这就是我用Deep-Q-Networks所能达成的实践：

偷偷看下我的DQN模型的结果（绿色球拍）

  绿色球拍由DQN模型控制，完全靠它自我对弈 ，以此学习如何玩乒乓球。

随后，我会详细说说我的结果，但首先…

什么是DQN（Deep-Q-Networks）,它是如何工作的？

简单说：DQN结合了深度学习和强化学习来学习如何玩电子游戏，并超过人类水平。

DQNs结合强化学习和深度学习来玩视频游戏

你所需要知道的是，深度学习（理解DQN）是一种使用神经网络来模仿人类大脑工作的计算架构。其中，神经网络的输入和输出都是数字。神经网络可以学习像房价预测或识别肿瘤图像等任务。

现在，我们继续回到DQN这条主线…

那么什么是强化学习呢？

强化学习是一种机器学习技术，它通过采取行动来学习如何最大化奖励。

一条狗可能会尝试学习，如何最大限度地通过它的吠叫来诱导主人抚摸它的肚皮，或一只猫可能会尝试学习，如何最大限度地通过它的跳跃“作”得一手好死。这两种动物都是根据它们当前的状态采取行动的智能体，试图最大化某种奖励。

让我们更深入地了解这些术语对于一个“吃豆人”游戏的含义。

PacMan（吃豆人）（黄色圆圈）是智能体，这是玩家在游戏中控制的。状态一般指是游戏中的某个一个时刻，在这里状态是游戏中的某一帧。智能体可以选择进入哪个方向（操作），并使用这些操作来避免死于鬼魂（负奖励）和吃更多的点（正奖励）。PacMan的目标是最大化你的得分（奖励）。

重要的强化学习术语

• Agent  智能体：计算机控制的内容（pac man） 

• State   状态：游戏中的当前时刻（PacMan中的单帧图像） 

• Action 行动：由代理人作出的决定（PAC人员向左或向右移动） 

• Reward 奖励： 智能体试图最大化的价值（在pac man中得分）

你还需要了解一件关于强化学习理解深层Q网络的事情：Q值

Q值，即深度Q网络中的Q值，是一个动作在给定状态下的“质量”。如果一个行动具有高的预期长期价值，那么它就是高质量的。

睡前给妈妈一个拥抱（动作）可能不会马上给我“奖励”，但从长远来看，它会给我很多爱（奖励），所以这个状态动作对的Q值很高（我在心里计算每晚拥抱妈妈的Q值）。

你需要知道这些强化学习的概念，并以此了解DQN！

那么，我是如何让一台电脑学习如何比别人更好地玩电子游戏的（并在乒乓球中击败我的妹妹）？

我使用DQN网络！

DQNs使用Q-learning学习给定状态下要采取的最佳行动（q值），并使用卷积网络作为Q-learning的近似值函数。

以下是要记住的关键点：

深度学习+强化学习=深度Q网络(DQN)

而不是为屏幕上的每个像素组合记忆不同的Q值（有十亿！）我们使用卷积网络在相似状态下推理出类似的Q值。

卷积网络可以告诉玩电子游戏的'Agent'：“是的，这个位置基本上和另一个相同，向上移动”。这使得'Agent'的工作变得容易多了。它不需要数十亿个不同游戏状态的Q值才能学会，只需要几百万个Q值来学习。

下面是我的DQN的卷积网络在代码中的样子：

下面是此代码块的作用：

• 将当前屏幕（状态）作为输入 

• 通过3个卷积层传递输入（用于在图像中查找位置图案） 

• 注意：不使用池化操作（空间位置在游戏中很重要，我们想知道球在哪里！） 

• 卷积层的输出被送入2个全连接层。 

• 线性层的输出则给出了DQN在当前状态下采取某种行动的概率。

我也做了一些游戏图像的预处理。Atari游戏通常是210×160像素大小，有128种不同的颜色。为了使我的DQN的工作更容易，我将图像的采样率降低到84×84，并使其灰度化。

预处理过图像不再明亮和多彩，但更容易被我的DQN识别。

现在我们需要一些方法来评估DQN。情况如何？它在学习什么吗？我们如何调整它使它更好，得到更高的分数？

要知道所有这些，我们需要一个损失函数。

唯一的问题是我们不知道最好的答案是什么，agent应该做什么。DQN如何学习才能比人类玩的更好，因此即使我们想模型达到这样，我们也无法制作出完美的标记数据集。

相反，我们使用这个损失方程来评估DQN自身：

DQN的损失函数

这个Q网络Q-Network是给出要采取什么行动的网络。目标网络Target Network是给出我们使用的“ground truth”的近似值。

如果Q-Network预测在某一状态下的正确动作是以60%的确定性（概率）向上移动，而目标网络告诉我们“你应该向上移动”，我们将使用反向传播调整Q-Network的参数，使其更可能预测在该状态下的“向上移动”。

我们通过DQN反向传播这种损失，并稍微调整Q网络的权重以减少损失。

该损失函数试图使DQN输出的移动概率更接近于目标网络给出的“正确选择”，即接近100%确定性。

现在DQNs好像就是Q学习和卷积网络的结合，基本上可以这样看。这个想法很简单，为什么它只在2015年被DeepMind研究人员引入？

神经网络不能很好地进行强化学习。

为什么神经网络和强化学习不能融洽相处？

两个原因

• 高度相关数据

• 非平稳分布

在有监督学习中，数据是不相关和固定的。当图像分类器正在学习什么使一只猫成为一只猫时，显示给它的每个图像都将显著不同，数据是不相关的。此外，网络的预测（通常）不会影响下一步将看到的图像，数据集是固定的，并且是从中随机抽样的。静止的不相关数据与神经网络很好地配合。

在强化学习中，数据是高度相关和非平稳的。当pac man移到右边时，板看起来基本相同，数据高度相关。此外，网络的决定影响下一个状态，这使得数据分布非平稳。如果马里奥右移，他会看到新的硬币。这些硬币会让马里奥认为向右移动总是个好主意，也许他永远不会发现他左边的秘密通道。

经验回放Experience Replay让神经网络能很好地进行强化学习。

‘Agent’获得的每个经验（包括当前状态、动作、奖励和下一个状态）都存储在所谓的经验回放内存中。

这种训练方式与DQN网络在当前学习中所获得样本来训练不同，是从重放存储器中随机抽取“回放”来训练网络。

经验回放让深度学习和强化学习成为兄弟。

与标准Q学习相比，经验回放有三个优势：

• 更高数据利用

• 使数据不相关

• 平均数据分布

首先，每个经验都可能被用于对DQN的神经网络进行多次训练，从而提高数据效率。

第二，随机抽取经验样本对DQN神经网络进行训练，打破了经验之间的相关性，减少了训练更新时的方差。

第三，当从经验中学习时，一旦获得经验（称为策略学习），当前参数就决定了参数所训练的下一个数据样本。例如，如果最好的行动是将Pac Man向左移动，那么训练样本将由来自经验池中向左运动相关样本为主。

这种行为可能会导致DQN陷入糟糕的局部最小值，甚至使其发生灾难性的偏离（比我更糟糕）。

如果你不使用经验回放，模型会经常看到这个画面。

通过使用经验回放，用来训练DQN的经验来自许多不同的时间点。这样可以消除学习障碍，避免灾难性的失败。

这种简单的经验概念解决了神经网络在强化学习中的问题。现在他们可以融洽相处地一起玩了！

我在pytorch创建了一个DQN，并训练它玩乒乓球。

起初，我的DQN只能随意地玩乒乓球，但经过3个小时的训练，它学会了如何比人类玩得更好！

绿色桨是由我的超级棒DQN控制的

最疯狂的事情是我不需要更改一行代码就可以训练DQN来玩另一个游戏，并且，就可以在该游戏中到达超过人类的游戏水平。

这意味着，同样的算法，教计算机控制这个绿色的乒乓球拍，也可以教计算机如何在毁灭战士中射击恶魔。

DQN最酷的一点是他们可以学习我甚至不知道的游戏策略。在款游戏beakout中，DQN学会怎么样绕过边路快速到达顶部，并获得大量的积分。

我创造了这个DQN，它学到了我甚至不知道的东西！

DQN可以发现其创建者从未知道的策略！

这意味着计算机现在可以帮助我们学习最喜爱的电子游戏的新策略。也许DQNS会想办法在《超级马里奥兄弟》中快速到达World 9关卡。

  关键的收获

• 使用DQNs电脑可以学习如何比人类更好地玩电子游戏。

• 在DQNs中，经验回放让神经网络和强化学习协同工作。

• DQN可以学习他们的创建者不知道的策略。

有了DQNs，我可以在和ai玩电子游戏时打败我10岁的妹妹，那么下一步该怎么办呢？

也许我会训练一个人工智能来说服她把电视遥控器给我（这是一项更艰巨的任务）。

  最后

• 在 Google Colab  查看我的DQN的所有代码

• 访问我的个人网站

• 注册我的每月通讯

感谢 Aadil A..

想要继续查看该篇文章相关链接和参考文献？

点击【用深度Q网络玩电子游戏】或长按下方地址：

https://ai.yanxishe.com/page/TextTranslation/1512

AI研习社今日推荐：雷锋网(公众号：雷锋网)雷锋网雷锋网

伯克利大学 CS 294-112 《深度强化学习课程》为官方开源最新版本，由伯克利大学该门课程授课讲师 Sergey Levine 授权 AI 研习社翻译。

加入小组免费观看视频：https://ai.yanxishe.com/page/groupDetail/30