核正则化的贝叶斯解释

在机器学习的贝叶斯统计中，核方法产生于对输入的内积空间或相似性结构的假设。对于一些这样的方法，如支持向量机（SVMs），最初的表述及其正则化在本质上并不是贝叶斯的。从贝叶斯的角度来理解它们是有帮助的。因为核不一定是正半无限的，底层结构可能不是内积空间，而是更一般的再现核希尔伯特空间。在贝叶斯概率中，核方法是高斯过程的一个关键组成部分，其中核函数被称为协方差函数。核方法传统上被用于监督学习问题，其中输入空间通常是一个矢量空间，而输出空间是一个标量空间。最近，这些方法被扩展到处理多个输出的问题上，如多任务学习。在再现核希尔伯特空间为有限维的情况下，很容易证明正则化和贝叶斯观点之间的数学等价性。无限维的情况引起了微妙的数学问题；我们将在此考虑有限维的情况。我们首先简要回顾了标量学习的核方法的主要思想，并简要介绍了正则化和高斯过程的概念。然后，我们展示了这两种观点是如何得出本质上等价的估计值的，并展示了将它们联系在一起的联系。

经典的监督学习问题需要对一些新的输入点的输出进行估计{displaystylek(cdot,cdot)}，称为核。称为核，机器学习中最流行的估计器之一是由以下公式给出的{displaystyle{mathbf{Y}=[y_{1},ldots,y_{n}]{top}}。.我们将看到如何从正则化和贝叶斯的角度来推导这个估计器。正则化视角正则化视角的主要假设是，函数集的{displaystyle{mathcal{F}}的函数集合。｝被假定属于一个再现核希尔伯特空间{displaystyle{mathcal{H}}_{k}}是由函数定义的希尔伯特空间。

是一个由对称、正无限函数定义的函数的希尔伯特空间{displaystylek:{mathcal{X}}}times{mathcal{X}}rightarrow{mathbb{R}}被称为再现核，这样的函数被称为再现核。称为再现核，这样的函数{displaystyle{mathbf{x}}的所有x∈Xin{mathcal{X}}..有三个主要属性使RKHS具有吸引力。1.再现属性，它赋予空间以名称。{displaystyle|f|_{k}{2}=sum_{i,j}k(mathbf{x}_{i},mathbf{x}_{j})c_{i}c_{j}}。可以看作是衡量函数的复杂性。正则化函数估算器被导出为正则化函数的最小值{displaystylefin{mathcal{H}}_{k}}，而f∈Hk。{displaystyle||