深度学习

深度学习是更广泛的机器学习方法系列的一部分，它基于人工神经网络与表征学习。学习可以是监督的、半监督的或无监督的。深度学习架构，如深度神经网络、深度信念网络、深度强化学习、递归神经网络、卷积神经网络和变形金刚，已被应用于包括计算机视觉、语音识别、自然语言处理、机器翻译、生物信息学、药物设计、医学图像分析、气候科学、材料检验和棋盘游戏程序等领域，它们产生的结果与人类专家的表现相当，在某些情况下甚至超过了人类专家。人工神经网络（ANNs）的灵感来自于生物系统的信息处理和分布式通信节点。人工神经网络与生物大脑有各种不同之处。具体来说，人工神经网络倾向于静态和符号化，而大多数生物体的生物脑是动态（可塑性）和模拟的。深度学习中的形容词deep指的是在网络中使用多个层。早期的工作表明，线性感知器不能成为一个通用的分类器，但一个具有非多项式激活函数的网络与一个宽度不受限制的隐藏层可以。深度学习是一个现代的变体，它关注的是大小不受限制的层数，它允许实际应用和优化实施，同时在温和条件下保留理论上的普遍性。在深度学习中，为了效率、可训练性和可理解性，层也被允许是异质的，并且广泛地偏离了生物学上的连接主义模型，因此有结构化的部分。

深度学习是一类机器学习算法，199-200使用多层来逐步从原始输入中提取更高层次的特征。例如，在图像处理中，低层可以识别边缘，而高层可以识别与人类相关的概念，如数字或字母或脸。

大多数现代深度学习模型都是基于人工神经网络，特别是卷积神经网络（CNN），尽管它们也可以包括命题公式或在深度生成模型中逐层组织的潜在变量，如深度信念网络和深度玻尔兹曼机的节点。在深度学习中，每一层都学习将其输入数据转化为稍微抽象的综合表示。在一个图像识别应用中，原始输入可能是一个像素矩阵；xxx个表示层可以抽象像素并编码边缘；第二层可以对边缘的排列进行合成和编码；第三层可以编码鼻子和眼睛；第四层可以识别图像包含一张脸。重要的是，深度学习过程可以自行学习哪些特征要最佳地放置在哪个层次。这并不排除手工调整的需要；例如，不同的层数和层大小可以提供不同程度的抽象。深度学习中的"深"指的是数据被转化的层数。更准确地说，深度学习系统有一个可观的信用分配路径（CAP）深度。CAP是指从输入到输出的转换链。CAP描述了输入和输出之间潜在的因果联系。对于前馈神经网络，CAP的深度是网络的深度，是隐藏层的数量加上一个（因为输出层也是参数化的）。对于递归神经网络来说，信号可以在一个层中传播一次以上，CAP的深度可能是无限的。

没有普遍认同的深度阈值来划分浅层学习和深度学习，但大多数研究者都认为深度学习涉及的CAP深度高于2。深度为2的CAP已被证明是一个通用的近似器，因为它可以模拟任何函数。除此之外，更多的层数并不能增加网络的函数近似能力。深度模型（CAP>2）能够比浅层模型提取更好的特征，因此，额外的层有助于有效地学习特征。深度学习架构可以用贪婪的逐层方法构建。深度学习有助于拆分这些抽象的东西，并挑选出哪些特征可以提高性能。对于有监督的学习任务，深度学习方法消除了特征工程，通过将数据转化为类似于主成分的紧凑中间表征，并得出分层结构，消除表征中的冗余。深度学习算法可以应用于无监督的学习任务。这是一个重要的好处，因为未标记的数据比标记的数据更丰富。