核自适应滤波器

在信号处理中，核自适应滤波器是一种非线性自适应滤波器。自适应滤波器是一种通过最小化误差或损失函数使其传递函数适应信号属性随时间变化的滤波器，该误差或损失函数表征滤波器偏离理想行为的程度。适应过程是基于对信号样本序列的学习，因此是一种在线算法。非线性自适应滤波器是一个传递函数为非线性的滤波器。核自适应滤波器使用核方法实现非线性传递函数。在这些方法中，信号被映射到高维线性特征空间，非线性函数被近似为核的总和，其域是特征空间。如果这是在再现核希尔伯特空间中完成的，那么核方法可以成为非线性函数的通用近似器。核方法的优点是具有凸的损失函数，没有局部的最小值，而且实现起来只需适度复杂。因为高维特征空间是线性的，核自适应滤波器可以被认为是线性自适应滤波器的概括。与线性自适应滤波器一样，有两种适应滤波器的一般方法：最小均值滤波器（LMS）和递归最小二乘滤波器（RLS）。自组织核自适应滤波器使用迭代来实现凸LMS误差最小化，解决了非线性模型的一些统计和实际问题，而这些问题在线性情况下不会出现。正则化对于非线性模型来说是特别重要的特征，也经常被用于线性自适应滤波器以减少统计不确定性。然而，由于非线性滤波器通常具有比实际需要的子空间高得多的潜在结构复杂性，某种正则化必须处理欠确定的模型。尽管一些特定形式的参数正则化，如Vapink的SRM和SVM所规定的，在一定程度上解决了维度问题，但对于真正的自适应非线性滤波器来说，仍然存在进一步的统计和实践问题。自适应滤波器通常用于跟踪一个或多个时变系统的行为，这些系统无法从现有的数据和结构中完全建模，因此模型可能不仅需要调整参数，还需要调整结构。如果内核的结构参数直接来自于正在处理的数据，那么就有机会以分析性的稳健方法来实现过滤器可用的内核的自我组织。由核引起的线性化特征空间允许将新的样本线性地投射到模型的当前结构上，在这种情况下，新数据的新颖性可以很容易地与不应该导致模型结构变化的噪声产生的错误相区分。

结构分析的分析指标可用于在需要时解析性地增加模型的复杂性，或在达到处理器资源限制时优化修剪现有结构。当检测到系统变化时，结构更新也是相关的，模型的长期记忆应该被更新，就像线性滤波器中的卡尔曼滤波案例。通常用于自适应滤波器的迭代梯度下降在离线批处理模式的基于支持向量的机器学习中也得到了普及，因为它对大数据集的处理具有计算效率。据报道，时间序列和批处理数据的性能都能够使用仅有的10kBRAM轻松处理超过10万个训练实例。这么大的数据量对支持向量机和其他核方法的原始配方是一个挑战，例如，它依赖于使用线性或二次编程技术的约束性优化。