视频游戏中的机器学习

在视频游戏中，各种人工智能技术被以各种方式使用，从非玩家角色（NPC）控制到程序性内容生成（PCG）。机器学习是人工智能的一个子集，重点是使用算法和统计模型，使机器在没有具体编程的情况下采取行动。这与传统的人工智能方法如搜索树和专家系统形成鲜明对比。游戏领域的机器学习技术的信息大多通过研究项目为公众所知，因为大多数游戏公司选择不公布有关其知识产权的具体信息。机器学习在游戏中最公开的应用可能是使用深度学习代理，在复杂的战略游戏中与专业的人类玩家竞争。机器学习在诸如Atari/ALE、Doom、Minecraft、StarCraft和赛车等游戏中已经有了大量的应用。其他原本不作为视频游戏存在的游戏，如国际象棋和围棋，也受到了机器学习的影响。

深度学习是机器学习的一个子集，它非常注重使用人工神经网络（ANN）来学习解决复杂任务。深度学习使用多层ANN和其他技术来逐步从输入中提取信息。由于这种复杂的分层方法，深度学习模型往往需要强大的机器来训练和运行。

卷积神经网络（CNN）是专门的ANN，通常用于分析图像数据。这些类型的网络能够学习翻译不变的模式，也就是不依赖位置的模式。CNN能够在一个层次中学习这些模式，这意味着早期的卷积层将学习较小的局部模式，而后期的层将根据以前的模式学习较大的模式。CNN学习视觉数据的能力使其成为游戏中常用的深度学习工具。

递归神经网络是一种ANN，它被设计为按顺序处理数据序列，一次一个部分而不是一次全部。递归神经网络在一个序列的每一部分上运行，使用序列的当前部分与当前序列的前几部分的记忆来产生一个输出。这些类型的ANN在诸如语音识别和其他严重依赖时间顺序的问题上非常有效。有几种类型的RNNs具有不同的内部配置；由于梯度消失问题，基本的实现方式缺乏长期记忆，因此它很少被用于较新的实现方式。

长短时记忆（LSTM）网络是RNN的一个具体实现，旨在处理简单RNN中出现的梯度消失问题，这将导致它们在计算当前部分的输出时逐渐忘记输入序列的先前部分。LSTM通过增加一个精心设计的系统来解决这个问题，该系统使用一个额外的输入/输出来跟踪长期的数据。LSTM在各个领域取得了非常强大的成果，并被几个不朽的深度学习代理在游戏中使用。

强化学习是使用奖励和/或惩罚来训练一个代理的过程。奖励或惩罚代理的方式在很大程度上取决于问题；例如，给代理赢得游戏的积极奖励或给输掉游戏的消极奖励。强化学习在机器学习领域被大量使用，可以在Q-learning、策略搜索、深Q网络和其他方法中看到。它在游戏和机器人领域都有强大的表现。

Neuroevolution涉及到神经网络和进化算法的使用。神经进化模型没有像大多数神经网络那样使用梯度下降，而是利用进化算法来更新网络中的神经元。研究人员声称，这个过程不太可能陷入局部最小值，而且有可能比最先进的深度学习技术更快。

机器学习代理已经被用来代替人类玩家，而不是作为NPC发挥作用，NPC被故意添加到视频游戏中作为设计游戏的一部分。深度学习代理在与人类和其他人工智能代理的竞争中都取得了令人印象深刻的结果。

国际象棋是一种回合制战略游戏，由于其棋盘空间的计算复杂性，被认为是一个困难的人工智能问题。类似的战略游戏通常是用某种形式的最小树搜索来解决的。这些类型的人工智能代理已经被认为能够击败专业的