空间点p经过相机成像，映射到图像上点(x,y)，其中Oc是相机光心，WCS、DCS、ICS分别是世界坐标系、设备(相机)坐标系、图像坐标系。空间点p到相机图像上点的几何变换可以用相机内参来描述，具体公式就不说了，可以简单地理解为相机拍照是对点的几何坐标变换，而相机内参就是决定这个变换的一些参数。

继续看之前的光学三角关系图，O1、O2分别是左右相机的光心，现在我们要做的就是确定这两个相机的相对位置关系：可以用旋转矩阵R和平移向量T来描述，确定了R和T，两个相机的位置关系就确定了，这个步骤叫做相机的外参标定。一般的做法是用三维重建的逆过程来做，即由一系列已知的p1、p2和p12来求解光学三角形，估计出最优的R、T。简而言之，外参标定确定相机之间的相对位置关系。

好了，现在我们只需要知道p1、p2的坐标，我们就能轻松算出p12的坐标，完成三维重建。我们把p1、p2称为一个点对(pair)，他们是同一个空间点在不同相机中的成像点。寻找这样的点对的过程称为立体匹配，它是三维重建最关键，也可以说是最难的一步。我们都玩过“大家来找茬”，找的是两幅图的不同点，而立体匹配则是找“相同点”。对人脑来说，这个问题太easy了，给你同一个物体的两幅图，你能轻松找出一副图像上的点在另一幅图像中的对应点，因为我们人脑的物体识别、分割、特征提取等等能力实在太强了，而且性能特别高，估计几岁的小孩就能秒杀现有的最好的算法。

常规的匹配算法一般通过特征点来做，即分别提取左右图像的特征点(常用sift算法)，然后基于特征点配合对极几何等约束条件进行匹配。不过这类匹配算法精度都不是太高，所以人们又想了其它一些方法来辅助匹配，结构光方法是目前用的比较多的，原理不难理解，就是向目标物体投射编码的光，然后对相机图像进行解码，从而得到点对，举个简单的例子，我们把一个小方块的图案用投影仪投到物体表面，然后识别左右相机图像中的小方块，如果这个小方块很小，看作一个点，那么我们就得到了一个点对。

贴个线结构光的示意图：

以上说的都是双目视觉三维重建，实际上还有其它一些重建方法，如早期的探针法，简单粗暴，直接拿探针在物体表面移动，一个点一个点测坐标；还有一类通过直接测距来进行三维重建，如超声波、TOF，即对物体表面逐点用声、光程差来测距，从而得到三维点云；光学方法分为主动和被动两大类，主动和被动指的是是否向物体表面投光，主动方法有激光扫描、相位测量以及我毕设的研究课题结构光方法等，被动方法有单目视觉(如阴影法)和上文所述的立体视差方法等等。

目前还有一类三维重建方法非常火：SFM(Structure from Motion)，这类方法的特点是不需要相机参数，仅仅根据一系列图像就能进行三维重建，也就是说，你随便拿个手机对着物体拍一些图片就能重建这个物体的三维模型，大家可以去体验下AutoDesk公司的Autodesk 123D Catch，除了近距离物体的三维重建，SFM还有更激动人心的应用：大型场景三维重建，感兴趣的可以看看这个Building Rome in a Day，他们在flickr上搜索两百万张罗马的照片，通过亚马逊提供的计算服务，最终得出整个城市的三维模型，是不是又有云计算、大数据的感觉。。。这波人貌似有几个是Google Earth团队的。