贝叶斯优化

贝叶斯优化是一种对黑箱函数进行全局优化的顺序设计策略，不承担任何函数形式。它通常被用于优化昂贵的评价函数。

该术语一般归功于JonasMockus，是他在20世纪70年代和80年代关于全局优化的一系列出版物中创造的。战略贝叶斯优化通常用于以下形式的问题{textstylemathbb{R}{d},dleq20}），其成员资格很容易评估。)，并且其成员资格可以很容易地被评估。贝叶斯优化对于以下问题特别有利由于其计算成本而难以评估。的目标函数。{textstylef}，是连续的，并采取一些未知的结构形式，被称为黑箱。是连续的，并采取一些未知结构的形式，被称为黑盒子。在其评估时，只有由于目标函数是未知的，贝叶斯的策略是将其作为一个随机函数，并在其上放置一个先验。先验捕捉了关于该函数行为的信念。在收集了被视为数据的函数评价后，先验被更新以形成目标函数的后验分布。反过来，后验分布被用来构建一个获取函数（通常也被称为填充采样标准），以确定下一个查询点。有几种方法可用于定义目标函数的先验/后验分布。最常见的两种方法是在一种叫做克里金的方法中使用高斯过程。另一种成本较低的方法使用Parzen-TreeEstimator为"高"和"低"点构建两个分布，然后找到使预期改进最大化的位置。标准贝叶斯优化依赖于每个是容易评估的，而偏离这一假设的问题被称为异质贝叶斯优化问题。如果已知存在噪声，评估是并行进行的，评估的质量依赖于难度和准确性之间的权衡，存在随机的环境条件，或者评估涉及导数，那么优化问题就会变得很奇怪。

获取函数的例子包括

预期改进贝叶斯预期损失信心上限（UCB）或信心下限汤普森采样和这些的混合体。它们都对探索和利用进行了权衡，以便使函数查询的数量最小化。因此，贝叶斯优化非常适用于评估成本较高的函数。

采集函数的xxx值通常是通过离散化或通过辅助优化器来找到的。采集函数通常是乖巧的，使用数值优化技术，如牛顿法或准牛顿法，如Broyden-Fletcher-Goldfarb-Shanno算法，可以实现xxx化。

该方法已被应用于解决广泛的问题，包括学习排名、计算机图形和视觉设计、机器人、传感器网络、自动算法配置、自动机器学习工具箱、强化学习、规划、视觉注意力、深度学习中的架构配置、静态程序分析、实验粒子物理学、化学、材料设计和药物开发。