单相机全向立体视觉研究

折反射全向成像系统是由普通透视相机和反射镜面组成的全向成像装置，可实时获取360°无需拼接的全景图像，近年来已成为研究热点并在视频会议、三维重建和移动机器人导航等领域有着广泛的应用。 本文主要对单相机全向立体视觉系统的设计、标定、匹配以及三维重建展开研究。介绍了一种可实时获取全向三维信息的折反射全向立体视觉光学装置OSVOD（Omnidirectional Stereo Vision Optical Device），OSVOD由两个双曲面镜和一个普通透视相机组成。其中两个双曲镜面上下同轴、间隔一定距离固定在一个玻璃筒内，下镜面中间开有一孔，上镜面通过下镜面的孔在相机像平面上成像，这样空间一点经上下反射镜的反射在像平面上有两个像点，用一个相机实现了立体视觉。两镜面的共同轴和相机镜头的光轴共线，共同焦点和镜头的光心重合，该配置能保证系统满足单一视点约束SVP（Single View-Point）。本结构配置也使系统的外极线呈一系列的放射线，对应点匹配简单。此外两镜面的间隔安装也使得系统的等效基线较长，从而具有较高的精度。 本文第一部分对当前的各种全向成像方法进行了简单介绍，并对各方法的特点做了归纳。第二部分介绍折反射全向视觉的研究现状，就各种反射镜面的成像特点做了对比。 第三部分介绍OSVOD的设计方法，包括机构的设计和镜面的设计，并对设计的结果做了误差分析。 第四部分是OSVOD的标定研究。给出了一种包括OSVOD中相机和镜面位置关系在内的系统参数的标定方法。该方法利用空间坐标已知的标定点在像平面上成的像，结合系统成像模型反算出标定点的空间坐标，再利用标定点的已知空间坐标和反算出的空间坐标建立方程，运用基于Levenberg-Marquardt的反向传播算法(backpropagation)标定相机与反射镜面间的安装偏差。该标定方法可推广到所有的折反射成像系统。 第五部分是基于全向图像的匹配研究。针对系统获取的立体图像对之间成像比例存在较大的差异，首先将图像展开成柱面投影图像，然后就下镜面成像展开的柱面做Canny边缘检测，得到了图像的边缘点；就得到的边缘点在展开的两幅柱面图像上做直接相关匹配。最后将获取的匹配点做一致性校验，并对一致性校验通过的匹配点做三维计算，生产稀疏的三维图像。 最后是结论和将来的工作展望。