主要研究内容是基于多目相机,利用图像拼接技术实现大尺寸图像的合成,然后在此基础上,利用多幅图像之间的空间关联,计算单应矩阵,通过图像融合的手段实现大尺寸视频的合成。
图像拼接是视频拼接的核心技术,目前图像拼接技术大体可以分为三个步骤:图像的预处理、图像配准、和图像融合。而图像拼接研究的难点就是图像配准和图像融合。详细步骤如下图: 因为我们设计的相机阵列中的所有的相机设备之间的相对位置是固定不变的,因此任意两幅有重叠区域的图像之间计算得出的透视变换矩阵也是一样的,至少是非常接近的。为了保证视频拼接的实时性和准确性,与一般的视频拼接的方法相比较,我们最终采取的视频拼接的方法如下四步:
我们只需要从四个视频图像中捕获比较合适的图像,保存下来。
根据第一步的图像进行配准操作,
计算出四个摄像头图像之间的单应性矩阵,并且并存储在一个Mat 里面。
在剩下的那些需要实时拼接的视频帧,就可以直接调用存储在Mat 中的单应性矩阵,从而完成配准过程。
这样剩下的那些需要实时拼接的视频帧在拼接的时候就可以省去每次的特征提取配准的时间。只需利用透视变换矩阵进行图像变换拼接和图像融合两个步骤。 整个视频拼接的步骤如下:
总结并归纳了图像拼接技术的国内外研究现状,总结并归纳了视频拼接技术的国内外研究现状。为了保证视频拼接的实时性和准确性,最终确定了采用 SURF 算法来作为视频的特征提取的主要算法,并且实现了整个拼接流程。
本文采用 OpenCV 开发平台来完成对实时视频流帧的分离拼接工作。对 OpenCV 视觉开 发平台进行了研究,并结合 Qt5.5 搭建了软件开发平台。