自动编码器

自动编码器是一种监督式学习，它在三层神经网络中的输入层和输出层使用相同的数据。这是反向传播的特例。由于学习是通过反向传播进行的，因此成为非线性优化问题。中间层和输出层的激活功能可以任意选择。当教师数据是真实值且没有范围时，通常选择输出层的激活功能作为身份映射（即，什么都没有改变）。如果选择中间层的激活功能作为身份映射，则结果与主成分分析几乎相同。

稀疏自动编码器（sparse autoencoder）是一种自动编码器，它添加了正则化项，以提高学习前馈神经网络的泛化能力。但是，代替网络权重，中间层本身的值接近0。

神经网络中间层有两层或更多层深的神经网络（英文：深神经网络）并且被称为，在反向传播，在中间层是两层或更多层，通常是不适当的局部最小值收敛到它不会工作。因此，当堆叠两个或更多中间层时，首先仅创建一个中间层，然后删除输出层，将中间层视为输入层，然后再堆叠一层。2006年，Jeffrey Hinton等人。

Jeffrey Hinton等人在2006年发表的论文中介绍了一个示例，其中图像尺寸从2000→1000→500→30减小，恢复为30→500→1000→2000。

这是通过在输入层的数据中添加噪声来学习的。结果几乎与约束Boltzmann机相同。如果概率分布已知，则xxx遵循噪声，但如果未知，则噪声可能是均匀分布。