生成模型

生成模型在统计分类中，有两种主要方法，即生成法和判别法。这些方法通过以不同方式计算分类器，在统计建模的程度上有所不同。

术语是不一致的，但根据Jebara（2004）的说法，可以区分出三种主要类型。

生成模型是一个联合概率分布P(X,Y)的统计模型。{displaystyleP(X,Y)}是一个联合概率分布的统计模型。在一个给定的可观察变量X和一个目标变量Y上。判别模型是条件概率P(Y∣X=x)的模型。{displaystyleP(YmidX=x)}。目标Y的条件概率模型，给定一个观察值x；以及不使用概率模型计算的分类器也被宽泛地称为判别性的。

这后两类的区分并不一致；Jebara（2004）将这三类称为生成性、条件性和判别性学习，但Ng&Jordan（2002）只区分了两类，称其为生成性分类器（联合分布）和判别性分类器（条件性或无分布），没有区分后两类。

同样，基于生成模型的分类器是生成型分类器，而基于判别模型的分类器是判别型分类器，尽管该术语也指不基于模型的分类器。

各自的标准例子，都是线性分类器，包括：

生成分类器：天真贝叶斯分类器和线性判别分析判别模型：逻辑回归当应用于分类时，人们希望从一个观察值x到一个标签y（或标签的概率分布）。

人们可以不使用概率分布而直接计算；人们可以估计给定一个观察值的标签的概率。(鉴别模型），并将其作为分类的基础；或者，人们可以估计联合分布{displaystyleP(X,Y)}（生成模型）并将其作为分类的基础(生成模型），我们从中计算出条件概率{displaystyleP(Y|X=x)}，然后在此基础上进行分类。

然后在此基础上进行分类。这些方法越来越间接，但也越来越概率化，允许更多的领域知识和概率理论被应用。

在实践中，根据特定的问题使用不同的方法，而混合方法可以结合多种方法的优点。

另一种划分是对称性地定义这些方法。生成模型是一个给定目标Y的可观测X的条件概率模型，符号为P(X∣Y=y){displaystyleP(XmidY=y)}。鉴别性模型是一个给定观察X的目标Y的条件概率模型，符号是P(Y∣X=x){displaystyleP(YmidX=x)}。

不管准确的定义是什么，这个术语是有章程的，因为生成模型可以用来生成随机实例（结果），包括观察和目标的随机实例而鉴别性模型或鉴别性分类器（没有模型）可以用来鉴别给定观察值x的目标变量Y的值。

鉴别（区分）和分类之间的区别是微妙的，这些区别并不一致。(当判别等同于分类时，判别性分类器这个术语就成了一种说法）。

生成式模型这个术语也被用来描述以一种与输入变量的潜在样本的概率分布没有明确关系的方式生成输出变量实例的模型。

生成式对抗网络就是这一类生成式模型的例子，主要通过特定输出与潜在输入的相似度来判断。此类模型不是分类器。

在分类应用中，可观察的X通常是一个连续变量，目标Y通常是一个由有限的标签集组成的离散变量，而条件概率为也可以解释为一个（非决定性的）目标函数{displaystylefcolonXtoY}，将X作为输入，Y作为输入。

给定一个有限的标签集，生成模型的两个定义是密切相关的。一个条件分布的模型{displaystyleP(XmidY=y)}是每个标签分布的一个模型。