多任务优化

多任务优化是优化文献中的一个范式，侧重于同时解决多个自足的任务。该范式受到预测分析学中转移学习和多任务学习的成熟概念的启发。多任务优化背后的关键动机是，如果优化任务在其最优解或其函数景观的一般特征方面相互关联，那么搜索进度可以转移，以xxx加快另一个任务的搜索。该范式的成功不一定局限于从较简单的任务到较复杂的任务的单向知识转移。在实践中，一个尝试是有意解决一个更困难的任务，可能无意中解决了几个更小的问题。

有几种常见的多任务优化的方法。贝叶斯优化，进化计算，以及基于博弈论的方法。

多任务贝叶斯优化是一种基于模型的现代方法，利用知识转移的概念来加速机器学习算法的自动超参数优化过程。该方法在源自不同搜索的数据上建立了一个多任务高斯过程模型，并同步进行。此后，捕获的任务间依赖关系被用来更好地告知各自搜索空间中候选解决方案的后续采样。

进化的多任务已被探索为利用基于群体的搜索算法的隐含并行性的一种手段，以同时推进多个不同的优化任务。通过将所有任务映射到一个统一的搜索空间，候选解决方案的进化群体可以通过连续的遗传转移来利用它们之间的隐藏关系。这是在与不同任务相关的解决方案交叉时引起的。最近，人们探索了不同于直接解决方案交叉的知识转移模式。

多任务优化的博弈论方法建议将优化问题视为一个游戏，其中每个任务都是一个玩家。所有玩家通过游戏的奖励矩阵进行竞争，并试图达成一个满足所有玩家（所有任务）的解决方案。这种观点提供了关于如何建立基于梯度下降优化（GD）的高效算法的洞察力，这对训练深度神经网络尤为重要。在MTL的GD中，问题在于每个任务都提供了自己的损失，不清楚如何结合所有的损失并创建一个统一的梯度，导致了几种不同的聚合策略。这个聚合问题可以通过定义一个博弈矩阵来解决，其中每个玩家的奖励是其自身梯度与共同梯度的一致，然后将共同梯度设定为该系统的纳什合作议价。

多任务优化的算法跨越了广泛的现实世界的应用。最近的研究强调，通过以多任务的方式联合进行相关设计，有可能加快工程设计参数的优化。在机器学习中，优化的特征在相关数据集上的转移可以提高训练过程的效率，并改善所学模型的泛化能力。此外，多任务的概念导致了机器学习模型和集合学习的自动超参数优化方面的进展。在云计算中的应用也有报道，未来的发展方向是基于云的按需优化服务，可以同时满足多个客户。最近的工作还显示了在化学中的应用。