从多幅图像进行三维重建

从多幅图像进行三维重建是指从一组图像中创建三维模型。它是从三维场景中获得二维图像的反向过程。图像的本质是一个从三维场景到二维平面的投影，在这个过程中，深度会丢失。对应于特定图像点的三维点被限制在视线上。

从一个单一的图像中，不可能确定这条线上的哪个点与图像点相对应。如果有两幅图像，那么三维点的位置就可以作为两条投影射线的交点来寻找。这个过程被称为三角测量。

这个过程的关键是多个视图之间的关系，它所传达的信息是相应的点集必须包含一些结构，而且这种结构与摄像机的姿势和校准有关。

近几十年来，计算机图形学、虚拟现实和通信对3D内容有重要的需求，引发了对需求重点的改变。许多现有的构建3D模型的系统都是围绕专门的硬件（如立体摄像机）建立的，导致成本很高，不能满足其新的应用要求。

这一差距刺激了数字成像设施（如照相机）的使用。一个早期的方法是由Tomasi和Kanade提出的。他们使用仿生因子化的方法从图像序列中提取三维。然而，正交投影的假设是这个系统的一个重要限制。

将多个二维图像转换为三维模型的任务包括一系列的处理步骤。相机校准由内在和外在的参数组成，没有这些参数，在某种程度上，任何安排的算法都无法工作。

校准和深度确定之间的虚线表示，通常需要对相机进行校准以确定深度。

深度确定是整个过程中最 具挑战性的部分，因为它计算了任何给定图像中缺少的三维成分--深度。对应问题，在两幅图像之间寻找匹配，以便匹配元素的位置可以在三维空间中进行三角测量，是这里的关键问题。

一旦你有了多个深度图，你就必须把它们结合起来，通过计算深度和投影出相机来创建一个最终的网格--注册。

相机校准将被用来识别由深度图创建的许多网格在哪里可以被组合成一个更大的网格，为观察提供一个以上的视角。

到了材料应用阶段，你有了一个完整的三维网格，这可能是最终目标，但通常你会想把原始照片的颜色应用到网格上。

这包括将图像随机地投射到网格上，通过结合纹理以获得超分辨率的方法，最后通过材料对网格进行分割，如镜面和漫反射特性。

给出一组由N个相机拍摄的三维点，其矩阵为{displaystyle{T{-1}w_{j}}}将满足（1），任何4×4非线性矩阵T。将满足(1)与任何4×4非辛格矩阵T。投射式重建可以只通过点的对应关系来计算，而不需要任何先验的信息。

在自动校准或自我校准中，首先利用刚度恢复相机的运动和参数。然后，结构就可以很容易地被计算出来。下面介绍两种实现这一想法的方法。

有了最小的三个位移，我们可以使用克鲁巴的多项式方程系统来获得摄像机的内部参数，这些方程是由刚性约束的几何解释得出的。

该矩阵{displaystyleK=AA{top}}在Kruppa中是未知的。是克虏伯方程中的未知数，名为克虏伯系数矩阵。有了K，通过Cholesky因子化的方法，可以很容易地得到本征参数。