进化机器人

进化机器人技术（ER）是一种使用进化计算为自主机器人开发控制器和/或硬件的方法。ER中的算法经常在候选控制器的总体上运行，这些控制器最初是从某种分布中选择的。然后根据适应度函数对该种群进行反复修改。在遗传算法（一种进化计算的常用方法）的情况下，候选控制器的数量会根据交叉，变异和其他GA反复增长然后根据适应度函数进行剔除。ER应用程序中使用的候选控制器可以从一组人工神经网络中提取，尽管某些应用程序使用“ IF THEN ELSE”规则的集合作为单个控制器的组成部分。从理论上讲，可以将控制律的任何符号表示集（在机器学习社区中有时称为策略）用作可能的候选控制器的空间。人工神经网络也可以用于机器人学习在进化机器人技术的背景之外。特别地，其他形式的强化学习可以用于学习机器人控制器。

发展型机器人技术与进化型机器人技术有关，但有所不同。ER使用随着时间推移而发展的机器人群体，而DevRob则对单个机器人控制系统的组织如何随着经验的发展而产生兴趣。

进化机器人技术往往同时具有许多不同的目标。其中包括为现实世界中的机器人任务创建有用的控制器，探索进化理论的复杂性，再现心理现象，并通过研究人工神经网络来发现生物神经网络。通过人工进化创建控制器需要对大量种群进行大量评估。这非常耗时，这是通常在软件中完成控制器升级的原因之一。同样，最初的随机控制器可能表现出潜在的有害行为，例如反复撞入墙壁，这可能会损坏机器人。将仿真中演化的控制器转移到物理机器人上非常困难，这是使用ER方法的主要挑战。原因是进化可以自由地探索所有可能性以获得高适应性，包括模拟的任何不准确性。大量评估的需求，需要快速而准确的计算机模拟，是ER方法的限制因素之一。

在极少数情况下，除控制器外，进化计算还可用于设计机器人的物理结构。最著名的例子之一是Karl Sims为Thinking Machines Corporation进行的演示。

许多常用的机器学习算法需要一组训练示例，其中包括假设输入和所需答案。在许多机器人学习应用程序中，所需的答案是机器人要采取的行动。通常不会事先明确地知道这些动作。相反，机器人最多只能接收一个值，该值指示给定动作的成功或失败。进化算法是这类问题框架的自然解决方案，因为适应度函数只需要编码给定控制器的成功或失败，而不是控制器应该采取的精确动作。在机器人学习中使用进化计算的另一种方法是使用其他形式的强化学习，以学习任何特定动作的适应性，然后间接使用预测的适应性值来创建控制器。