集合平均法（机器学习）

在机器学习中，特别是在创建人工神经网络的过程中，集合平均法是创建多个模型并将其结合起来以产生所需的输出，而不是只创建一个模型。通常情况下，一个模型的组合比任何一个单独的模型表现得更好，因为模型的各种误差都被平均化了。

集合平均法是最简单的委员会机器类型之一。它与提升法一起，是静态委员会机器的两个主要类型之一。与标准网络设计不同的是，在标准网络设计中，许多网络被生成，但只保留一个，而集合平均法则将不太满意的网络保留下来，但权重较低。集合平均法的理论依赖于人工神经网络的两个特性。在任何网络中，偏差可以以增加方差为代价来减少。在一组网络中，方差可以在不影响偏差的情况下减少。集合平均法创建了一组网络，每个网络都具有低偏差和高方差，然后将它们组合成一个新的网络，（希望是）低偏差和低方差。因此，它是对偏差-方差困境的一种解决。组合专家的想法可以追溯到皮埃尔-西蒙-拉普拉斯。

上面提到的理论给出了一个明显的策略：创建一组具有低偏差和高方差的专家，然后对他们进行平均。一般来说，这意味着创建一组具有不同参数的专家；通常，这些参数是初始突触权重，尽管其他因素（如学习率、动力等）也可以变化。一些作者建议不要改变权重的衰减和早期停止。因此，其步骤是产生N个专家，每个专家都有自己的初始值。分别训练每个专家。合并专家并平均他们的值。或者，可以用领域知识来生成几类专家。每一类中的一个专家被训练，然后合并。

集合平均法的一个更复杂的版本认为最终结果不是所有专家的单纯平均，而是一个加权的总和。如果每个专家都是是一组权重。寻找α的优化问题很容易通过神经网络解决，因此可以训练一个元网络，其中每个神经元实际上是整个神经网络，而最终网络的突触权重是应用于每个专家的权重。这就是所谓的专家的线性组合。

所产生的委员会几乎总是比达到相同性能水平的单一网络更少的复杂性所产生的委员会可以更容易地在较小的输入集上进行训练所产生的委员会往往比任何单一网络的性能更强过度拟合的风险减少。