核正则化的贝叶斯解释

编辑
本词条由“匿名用户” 建档。
在机器学习的贝叶斯统计中,核方法产生于对输入的内积空间或相似性结构的假设。对于一些这样的方法,如支持向量机(SVMs),最初的表述及其正则化在本质上并不是贝叶斯的。从贝叶斯的角度来理解它们是有帮助的。因为核不一定是正半无限的,底层结构可能不是内积空间,而是更一般的再现核希尔伯特空间。在贝叶斯概率中,核方法是高斯过程的一个关键组成部分,其中核函数被称为协方差函数。核方法传统上被用于监督学习问题,其中...

核正则化的贝叶斯解释

编辑

机器学习的贝叶斯统计中,核方法产生于对输入的内积空间或相似性结构的假设。对于一些这样的方法,如支持向量机(SVMs),最初的表述及其正则化在本质上并不是贝叶斯的。从贝叶斯的角度来理解它们是有帮助的。因为核不一定是正半无限的,底层结构可能不是内积空间,而是更一般的再现核希尔伯特空间。在贝叶斯概率中,核方法是高斯过程的一个关键组成部分,其中核函数被称为协方差函数。核方法传统上被用于监督学习问题,其中输入空间通常是一个矢量空间,而输出空间是一个标量空间。最近,这些方法被扩展到处理多个输出的问题上,如多任务学习。在再现核希尔伯特空间为有限维的情况下,很容易证明正则化和贝叶斯观点之间的数学等价性。无限维的情况引起了微妙的数学问题;我们将在此考虑有限维的情况。我们首先简要回顾了标量学习的核方法的主要思想,并简要介绍了正则化和高斯过程的概念。然后,我们展示了这两种观点是如何得出本质上等价的估计值的,并展示了将它们联系在一起的联系。

监督学习问题

编辑

经典的监督学习问题需要对一些新的输入点的输出进行估计{displaystylek(cdot,cdot)},称为核。称为核,机器学习中最流行的估计器之一是由以下公式给出的{displaystyle{mathbf{Y}=[y_{1},ldots,y_{n}]{top}}。.我们将看到如何从正则化和贝叶斯的角度来推导这个估计器。正则化视角正则化视角的主要假设是,函数集的{displaystyle{mathcal{F}}的函数集合。}被假定属于一个再现核希尔伯特空间{displaystyle{mathcal{H}}_{k}}是由函数定义的希尔伯特空间。

贝叶斯公式

是一个由对称、正无限函数定义的函数的希尔伯特空间{displaystylek:{mathcal{X}}}times{mathcal{X}}rightarrow{mathbb{R}}被称为再现核,这样的函数被称为再现核。称为再现核,这样的函数{displaystyle{mathbf{x}}的所有x∈Xin{mathcal{X}}..有三个主要属性使RKHS具有吸引力。1.再现属性,它赋予空间以名称。{displaystyle|f|_{k}{2}=sum_{i,j}k(mathbf{x}_{i},mathbf{x}_{j})c_{i}c_{j}}。可以看作是衡量函数的复杂性。正则化函数估算器被导出为正则化函数的最小值{displaystylefin{mathcal{H}}_{k}},而f∈Hk。{displaystyle||

内容由匿名用户提供,本内容不代表vibaike.com立场,内容投诉举报请联系vibaike.com客服。如若转载,请注明出处:https://vibaike.com/175487/

(1)
词条目录
  1. 核正则化的贝叶斯解释
  2. 监督学习问题

轻触这里

关闭目录

目录