高速公路网络

在机器学习中，高速公路网络是xxx个工作的非常深的前馈神经网络，有数百个层，比以前的人工神经网络深得多。它使用由学习的门控机制调制的跳过连接来调节信息流，灵感来自长短期记忆（LSTM）递归神经网络。高速公路网络比普通深层神经网络的优势在于，它解决或部分防止梯度消失问题，从而导致神经网络更容易优化。门控机制有利于信息在许多层（信息高速公路）之间流动。高速公路网络已经被用作文本序列标签和语音识别任务的一部分。一个名为Residual神经网络的开放门控或无门控的高速公路网络变体被用来赢得ImageNet2015竞赛。这已经成为21世纪被引用最多的神经网络。

除了H(WH,x)门之外，该模型还有两个门：转换门T(WT,x)和携带门C(WC,x)。最后这两个门是非线性传递函数（按惯例是Sigmoid函数）。H(WH,x)函数可以是任何想要的传递函数。载波门被定义为C(WC,x)=1-T(WT,x)。而转换门只是一个具有sigmoid传递函数的门。

隐蔽层的结构遵循以下公式。{displaystyle{begin{aligned}y=H(x,W_{H})centerdotT(x,W_{T})+xcenterdotC(x,W_{C})=H(x,W_{H})centerdotT(x,W_{T})+xcenterdot（1-T(x,W_{T})）end{aligned}}.