影像拼接

影像拼接或照片拼接是将多个具有重叠视野的摄影图像组合起来以产生分段全景图或高分辨率图像的过程。 通常通过使用计算机软件执行，大多数图像拼接方法需要图像之间几乎精确的重叠和相同的曝光以产生无缝结果，尽管一些拼接算法实际上通过在重叠区域进行高动态范围成像来受益于不同曝光的图像 . 一些数码相机可以在内部拼接照片。

影像拼接在现代应用中被广泛使用，例如：

• 文档拼接
• 使用帧速率图像对齐的摄像机中的图像稳定功能
• 数字地图和卫星图像中的高分辨率照片马赛克
• 医学成像
• 多图像超分辨率成像
• 视频拼接
• 对象插入

图像拼接过程可分为三个主要部分：图像配准、校准和混合。

为了估计图像对齐，需要算法来确定将一幅图像中的像素坐标与另一幅图像中的像素坐标相关联的适当数学模型。 将直接像素到像素比较与梯度下降（和其他优化技术）相结合的算法可用于估计这些参数。

可以在每幅图像中找到独特的特征，然后进行有效匹配以快速建立图像对之间的对应关系。 当全景图中存在多个图像时，已经开发出一些技术来计算一组全局一致的对齐方式，并有效地发现哪些图像相互重叠。

需要一个最终的合成表面，用于扭曲或投影变换并放置所有对齐的图像，以及无缝混合重叠图像的算法，即使存在视差、镜头失真、场景运动和曝光差异。

由于不能保证两个视图中的照明完全相同，因此拼接两个图像可能会产生可见的接缝。 接缝的其他原因可能是同一连续前景的两个图像之间的背景变化。 其他需要处理的主要问题是存在视差、镜头失真、场景运动和曝光差异。 在非理想的现实情况下，整个场景的强度会发生变化，帧间的对比度和强度也会发生变化。 此外，需要考虑全景图像的纵横比以创建视觉上令人愉悦的合成。

对于全景拼接，理想的图像集将具有合理的重叠量（至少 15-30%）以克服镜头失真并具有足够的可检测特征。 这组图像将在帧之间具有一致的曝光，以xxx限度地减少出现接缝的可能性。

特征检测对于自动找到图像之间的对应关系是必要的。 需要稳健的对应关系来估计必要的变换以将图像与正在合成的图像对齐。 角点、斑点、哈里斯角点和哈里斯角点的高斯差异是很好的特征，因为它们是可重复的和不同的。

Hans P. Moravec 于 1977 年开发了最早的兴趣点检测算子之一，用于研究机器人在集群环境中的自动导航。 Moravec 还定义了图像中兴趣点的概念，并得出结论，这些兴趣点可用于在不同图像中寻找匹配区域。 Moravec 算子被认为是角点检测器，因为它将兴趣点定义为在所有方向上强度变化较大的点。 拐角处经常出现这种情况。 然而，Moravec 对寻找角点并不特别感兴趣，只是寻找图像中可用于配准连续图像帧的不同区域。

Harris 和 Stephens 通过直接考虑角点分数相对于方向的差异改进了 Moravec 的角点检测器。 他们需要它作为一个处理步骤，以根据图像序列构建对机器人环境的解释。

与 Moravec 一样，他们需要一种方法来匹配连续图像帧中的对应点，但对跟踪帧之间的角和边缘感兴趣。

SIFT 和 SURF 是最近的关键点或兴趣点检测算法，但需要注意的一点是 SURF 已获得专利且其商业用途受到限制。 一旦检测到特征，就可以应用像 SIFT 描述符这样的描述符方法来稍后匹配它们。

图像配准涉及匹配一组图像中的特征或使用直接对齐方法来搜索使和最小化的图像对齐。