模式识别的先验知识

模式识别是一个非常活跃的研究领域，与机器学习紧密相连。模式识别也被称为分类或统计分类，其目的是建立一个分类器，以确定输入模式的类别。这个过程被称为训练，相当于只根据一组输入-输出对学习一个未知的决策函数构成训练数据（或训练集）。尽管如此，在现实世界的应用中，如字符识别，通常事先就知道一定数量的问题信息。将这些先验知识纳入训练是在许多应用中能够提高性能的关键因素。

先验知识指的是除了训练数据之外的所有关于问题的信息。然而，在这种最一般的形式下，在没有先验知识的情况下，从有限的样本集中确定一个模型是一个不理想的问题，即一个独特的模型可能不存在。许多分类器包含了一般的平稳性假设，即与训练样本之一相似的测试模式往往被分配到同一类别。先验知识在机器学习中的重要性是由其在搜索和优化中的作用提出的。宽泛地说，没有免费的午餐定理指出，所有的搜索算法在所有的问题上都有相同的平均性能，因此意味着要在某个应用上获得性能，必须使用一个专门的算法，其中包括一些关于该问题的先验知识。现在将模式识别中遇到的不同类型的先验知识重新归纳为两大类：类的不变性和关于数据的知识。

在模式识别中，一种非常常见的先验知识类型是类（或分类器的输出）对输入模式的转变的不变性。这种类型的知识被称为变换不变性。在图像识别中使用最多的变换是。纳入对变换的不变性{displaystyletheta=0}，所以局部不变性也可以考虑以θ=0为中心的变换。在这些方程中可以是分类器的决策函数，也可以是其实值输出。另一种方法是考虑相对于输入空间的一个域的类不变性，而不是一个转换。在这种情况下，问题变成了寻找在模式识别中发现的另一种类型的类不变性是变异不变性，即类对结构化输入中元素的变异的不变性。这种类型的先验知识的一个典型应用是分类器对矩阵输入的行的排列的不变性。

比类不变性更具体的其他形式的先验知识涉及到数据，因此对现实世界的应用特别感兴趣。在收集数据时最常发生的三种特殊情况是。未标记的样本可用于假定的类成员；由于某类样本的比例较高而导致训练集的不平衡；数据的质量可能因样本而异。如果在学习中包含这些先验知识，可以提高识别的质量。此外，不考虑一些数据的质量差或类别之间的巨大不平衡会误导分类器的决定。