决策边界

在有两个类别的统计分类问题中，决策边界或决策面是一个超曲面，它将基础向量空间划分为两个集合，每个类别一个。分类器将把决策边界一侧的所有点归为一类，把另一侧的所有点归为另一类。决策边界是一个问题空间的区域，在这个区域中，分类器的输出标签是模糊的。如果决策面是一个超平面，那么分类问题就是线性的，而且各类是线性可分离的。决策边界并不总是清晰的。也就是说，从特征空间的一个类过渡到另一个类不是不连续的，而是渐进的。这种效果在基于模糊逻辑的分类算法中很常见，在这种算法中，一个类或另一个类的成员资格是模糊的。在神经网络和支持向量模型中在基于反向传播的人工神经网络或感知器的情况下，网络可以学习的决策边界类型由网络的隐藏层数量决定。如果它没有隐藏层，那么它只能学习线性问题。

如果它有一个隐藏层，那么它可以学习Rn的紧凑子集上的任何连续函数，如通用近似定理所示，因此它可以有一个任意的决策边界。特别是，支持向量机找到一个超平面，以xxx的余量将特征空间分成两类。如果问题最初不是线性可分离的，可以用内核技巧将其变成线性可分离的问题，方法是增加维数。因此，一个小维空间中的一般超曲面被转化为一个大得多的空间中的超平面。神经网络试图学习使经验误差最小化的决策边界，而支持向量机则试图学习使决策边界和数据点之间的经验余量最大化的决策边界。