全景视频拼】接(Video Stitching)是一种通过实时视频采集&拼接&融合&显示实现实时全景空间漫游体验的技术，它将多路视频○拼接成一幅大尺度图像或360度全景图，视频拼接技术涉及到计算机视觉、计算机↓图形学、数字视频处理以及一些数学工具等技术。视频拼接其基本步骤主要包括以下几个方面：多路视频√的同步采集、摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取◤◤、全★景图像拼接融合，以及亮度与颜色的均衡处理。
由于安装■设计，以及摄相机之间的差异，会造成视频图像之间有缩放（镜头焦距不一ㄨ致造成）、倾斜（垂直旋转）、方位角差≡异（水平旋转），因此物理的差异需要预先校准，得到一致性好的图像，便于后续图像拼接。
在实际♂应用中，全景图像的获得往往需要摄像机以不同的位置排列和不同的倾角拍摄。例如由于机载或车载特◎性，相机的排列方式不尽相同，不能保证⊙相机在同一面上，如柱面投影不一定在同一个柱面上，平面投影不一定在同一平面上；另外为了避免出现盲＠区，相机拍摄的时候往往会向下倾斜一定角度。这些情况比较常见，而且容易被忽略，直接投影再拼接々效果较差。因而有必要在所有图像投影到＠ 某个柱面（或平面）之前，需要根据相机的位置信息和角度信息来获得坐标变换后的图像。
理论上只要满足静止三维图像或者平面场景的两个条♀件中的任何一个，两幅图像的对应关系就可以用投影变换矩阵表示，换句话≡说只要满足这其中任何一个条件，一个相机拍摄的图像可以通过坐标变换表示为另一个︻虚拟相机拍摄的图像。
由于制造、安装、工艺〇等原因，镜头存在着各种畸变。为了提高摄像机拼接的精度，在进行图像拼接的时候必须№考虑成像镜头的畸变。一般畸变分为内部畸变和外部▃畸变，内部畸变是以摄影器材本身的构造为起因的畸变，外部畸变为投影方式的几何▲因素起因的畸变。镜头畸变属于内部畸变，由镜头产生的畸变一般可分为径向畸变和切向畸变两类。径向畸变就是几』何光学中的畸变像差，主要是由于镜头的径向曲率不同而造成的，有桶形畸变和枕型畸变两种。切向畸变通常被认为是由于》镜头透镜组的光学中心不共线引起的，包括有各种生『成误差和装配误差等。一般认为，光学系统成像过程当中，径向畸变是导致图像畸变的主要因素。
由于︽每幅图像是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进〓行无缝拼接，会破坏实际景物的视觉一致性。所以需要先对图像进行投影变换，再进行拼接。一般有平面◥投影、柱面投影、立方体投影和球面◣投影等。
平面投影就是以序列图像中的一幅图像的坐标系为基准，将其图像都投影变换到这个基准坐标系中，使相邻图↑像的重叠区对齐，称由此形成的拼接为平面投影拼接；柱面投影是指采集到的图像数据重投影到一〒个以相机焦距为半径的柱面，在柱面上进→行全景图的投影拼接；球面投影是模拟人眼观察的特性，将图像信息通过透视变换投影到眼球部分，构造成一个观察的球面；立方体投影是为了解决球面影射卐中存在的数据不宜存储的缺点，而发展出来的一种投影拼接方式←，它适合于计算机◆生成图像，但对实景拍摄的图像则比较困难。如下图4所示，图像拼接处理流程示意↙图。
由于特征点的方法较⌒容易处理图像之间旋转、仿射、透视等变换关系，因而经常被使用，特征点包括图像的角点以及相对于其领域表Ψ 现出某种奇异性的兴趣点。Harris等提出了一种角㊣ 点检测算法，该算法是公认的比较好的角点检测算法，具有刚性变换不变性，并在一定程度上具有仿射变换不变性，但该算↓法不具有缩放变换不变性。针对这样的缺点，Lowe提出了具有缩放不变性的SIFT特征点。
如上图5所示，图像的拼接需要在图像序列中∞找到有效的特征匹配点。图像的特征点寻找直接影响图像①拼接的精度和效率。对于图像序列，如果特征点个☉数≥4个，则很容易自动标定图像匹配点；如果特征点很少，图像拼接往往不Ψ能取得较为理想的效果。
图像拼接的关键两步是：配准(registration)和融合(blending)。配准的目的是根据几何运动模型，将图像注册到〖同一个坐标系中；融合则是将配准后的图像合成为一张大的拼接图像。
在多幅图像配准的过程中，采用∩的几何运动模型主要有：平移模型、相似∑ 性模型、仿射模型和透视模型。
图像的平移模型是指图像仅在两维空间发生了水平方向和垂直方向的位移，如果摄像机仅仅发生了平☆移运动，则可以采用平移模型。图像的相似∑ 性模型是指摄像机本身除了平移运动外还可能ζ发生旋转运动，同时，在存在场景的缩放时，还可以利用缩放〖因子 多缩放运动进行描述，因此，当图像可能发生平移、旋转、缩放运ω 动时，可以采用相似性模型。图像的仿射模型是一个6参数的变换模型，即具有平※行线变换成平行线，有限点映射到有限点的一般特性，具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数【不一致的非均与尺度变换及剪切变换等，可以描述平移运动、旋转运动以及小范围的缩放和变形。图①像的透视模型是具有8个参数的变」换模型，可以完美地表述各种表换，是一种最为精确变换模型。
图像融合技术一般可分为非多分辨率技术和多分辨率技术两类。在非多分辨率技术中主▆要有平均值法、帽子函数法、加权平均法和中值滤波法等。多分辨率△技术主要有高斯金字塔、拉普拉斯金字塔、对比度金︾字塔，梯度金字塔和小波等。
因为相机和光照强度的差异，会造成一幅图像内部，以及图像之间亮度的不均匀，拼接后的图像会出现明暗◆交替，这样给观察造成极大的不便。
亮度与颜色均衡处理，通常的处理方式是通过相机的光照模型，校正一幅图像内部的光照不均匀性，然后通过相邻两幅图像重叠区¤域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体ω的映射变换，最终达到整体的亮卐度和颜色的一致性。
