单相机全向立体视觉研究

折反射全向成像系统是由普通透视相机和反射镜面组成的全向成像装置，可实时获取360°无需拼接的全景图像，近年来已成为研究热点并在视频会议、三维重建和移动机器人导航等领域有着广泛的应用。 本文主要对单相机全向立体视觉系统的设计、标定、匹配以及三维重建展开研究。介绍了一种可实时获取全向三维信息的折反射全向立体视觉光学装置OSVOD（Omnidirectional Stereo Vision Optical Device），OSVOD由两个双曲面镜和一个普通透视相机组成。其中两个双曲镜面上下同轴、间隔一定距离固定在一个玻璃筒内，下镜面中间开有一孔，上镜面通过下镜面的孔在相机像平面上成像，这样空间一点经上下反射镜的反射在像平面上有两个像点，用一个相机实现了立体视觉。两镜面的共同轴和相机镜头的光轴共线，共同焦点和镜头的光心重合，该配置能保证系统满足单一视点约束SVP（Single View-Point）。本结构配置也使系统的外极线呈一系列的放射线，对应点匹配简单。此外两镜面的间隔安装也使得系统的等效基线较长，从而具有较高的精度。 本文第一部分对当前的各种全向成像方法进行了简单介绍，并对各方法的特点做了归纳。第二部分介绍折反射全向视觉的研究现状，就各种反射镜面的成像特点做了对比。 第三部分介绍OSVOD的设计方法，包括机构的设计和镜面的设计，并对设计的结果做了误差分析。 第四部分是OSVOD的标定研究。给出了一种包括OSVOD中相机和镜面位置关系在内的系统参数的标定方法。该方法利用空间坐标已知的标定点在像平面上成的像，结合系统成像模型反算出标定点的空间坐标，再利用标定点的已知空间坐标和反算出的空间坐标建立方程，运用基于Levenberg-Marquardt的反向传播算法(backpropagation)标定相机与反射镜面间的安装偏差。该标定方法可推广到所有的折反射成像系统。 第五部分是基于全向图像的匹配研究。针对系统获取的立体图像对之间成像比例存在较大的差异，首先将图像展开成柱面投影图像，然后就下镜面成像展开的柱面做Canny边缘检测，得到了图像的边缘点；就得到的边缘点在展开的两幅柱面图像上做直接相关匹配。最后将获取的匹配点做一致性校验，并对一致性校验通过的匹配点做三维计算，生产稀疏的三维图像。 最后是结论和将来的工作展望。

基于单相机的全向立体视觉关键技术研究

获取全向三维信息对移动机器人导航和行动规划具有重要意义。尽管有许多其他方法可以完成这一任务，如超声传感器和激光测距仪，但是折反射立体视觉系统在大多数情况下可以获得更高的精度和更大的视场，并且不消耗额外的能量。本文采用了一种新型的折反射全向立体视觉光学装置(OSVOD)进行立体视觉的研究，OSVOD是由两个双曲面镜和一个透视相机所组成的系统，能够由单幅图像实现立体视觉。 本文重点对单相机全向立体视觉系统的标定、单幅图像匹配、运动估计和多目匹配这三项最关键的技术进行了研究。在系统标定方面，给出了一种包括OSVOD中相机和镜面位置关系在内的系统参数的标定方法。该方法利用空间坐标已知的标定点在像平面上成的像，结合系统成像模型反算出标定点的空间坐标，再利用标定点的已知空间坐标和反算出的空间坐标建立方程，运用基于Levenberg-Marquardt的反向传播算法标定相机与反射镜面间的安装偏差。该标定方法可推广到所有的折反射成像系统。 在单幅图像匹配方面，针对系统获取的立体图像对之间成像比例存在较大的差异和畸变的问题，将图像展开成柱面投影图像和俯视投影图像，并提出了一种三步算法，首先匹配非歧义的点，从而将匹配划分为小的独立的子问题，并且每条极线只匹配到最远的特征点，从而避免在远端的不可靠匹配。在随后的动态规划算法中，设计了一个特定的能量函数，对不同的纹理强度和置信程度分别加权，得到了可靠的全向致密深度图。 在运动估计与多目匹配方面，以Harris角点做为待匹配的特征，由相关性得到初匹配结果。该结果中不可避免地存在误匹配，采用随机采样一致算法来得到运动估计。完成运动估计后，利用不同位置得到的图像进行了基于边缘检测的多目匹配，快速准确地获取了障碍物信息。

立体视觉中误匹配滤波方法的研究

从二维空间和三维空间2种角度研究误匹配滤波算法,提出在匹配前用于降低误匹配的灰度预处理算法和一种基于真实控制点的视差滤波算法。前者只针对2幅图像的重叠区域进行灰度均衡,可以减少计算量,后者在传统视差均值滤波的基础上可进一步提高误匹配的滤波效率。基于真实图像的实验结果表明,新算法可以有效滤除误匹配,提高三维重建精度,保证重建效果。

基于立体视觉的移动机器人楼梯识别

本文提出了一种结构化环境下,基于立体视觉的机器人楼梯识别算法,并将算法该应到自主移动机器人上。该算法首先利用二维图像分析的方法搜索楼梯的疑似区域;进而利用立体视觉对各个疑似区域进行精确三维重建,结合三维信息重构楼梯平面,排除虚假疑似楼梯区域;最后判定机器人和楼梯的相对位姿关系,引导机器人爬楼梯。最终我们将该算法应用到了自主移动机器人上,通过在各种光照条件下的实验,进一步验证了该算法的准确性和快速性。

基于视觉伺服的输电线巡检机器人抓线控制

巡检机器人在越障时,需要完成机器人手臂的准确抓线控制.结合输电线的几何特征和摄像机成像原理,提出了一种基于单摄像机的立体视觉方法来确定输电线的位置和姿态.基于该定位方法及视觉伺服理论,建立机械手抓线伺服控制模型.利用自行研制的巡检机器人进行了视觉伺服抓线实验;实验结果验证了该方法的有效性.

基于立体视觉的虚拟机械臂平面定位研究

结合星球探测的应用背景,对漫游车的工作方式进行了研究,针对车载机械臂开发了一套基于立体视觉的机械臂平面定位仿真系统。该系统依靠虚拟现实技术,通过虚拟机械臂对三维重建得到的平整物体表面的定位仿真得到机械臂的各关节参数,以此指导真实机械臂的运动。论述了基于立体视觉的机械臂定位机理和基于OpenGL的虚拟机械臂的实现过程。采用VC++构建了仿真实验平台,进行了定位实验,获得了较高的定位精度。

一种立体视觉系统高精度标定方法

本文介绍使用广角镜头成像的立体视觉系统的高精度标定方法,该方法利用平面单应矩阵约束估计像机内外参数的初值,优化过程中将三维重投影误差作为评价函数,结合遗传算法完成寻优过程,以保证估计出的像机参数是全局最优,避免陷入局部极小。实验结果表明:该方法的空间定位精度与传统方法相比有很大程度的提高。

虚拟现实辅助机器人遥操作技术研究

本文以水下机器人的遥操作作业为应用背景 ,提出并实现了虚拟现实技术和视觉感知信息辅助机器人遥操作实验系统 .该系统使用了 CAD模型和立体视觉信息完成遥操作机器人及其作业环境的几何建模和运动学建模 ,实现了虚拟作业环境的生成和实时动态图形显示 .采用了基于立体视觉的虚拟环境与真实环境的一致性校正、图形图像叠加、作业体与环境位姿关系建立、基于网络的监控通讯等关键技术 .在这个实验系统中 ,操作人员可利用所生成的虚拟环境 ,在多视点、多窗口作业状态图形和图像显示帮助下 ,实时动态地进行作业观测与机器人遥操作与运动规划 ,为先进遥操作机器人系统的实现提供了经验和关键技术 .

基于立体视觉的室外非结构化环境障碍物检测方法研究

随着智能机器人系统的发展，机器人的在线感知能力日益受到重视。障碍物检测能力是机器人在线感知能力的一个重要组成部分。因视觉传感器具有独特优势，基于视觉的障碍物检测方法成为目前关注的重点。 室外非结构化环境因结构复杂，机器人缺乏可有效利用的先验知识描述，导致众多障碍物检测系统在该环境中不能有效工作。本文采用全局-局部策略对场景进行由粗到精的分析，弥补室外非结构化环境先验知识不足的难题，提高机器人的在线感知能力。根据该策略，本文在基于视差图的障碍物检测系统框架中，引入视差投影图模块，提出了基于视差投影图的障碍物检测系统框架。该框架在视差投影图模块中全局分析场景视差分布水平，在立体匹配模块中局部分析场景前景目标的几何轮廓信息。依据该框架，针对实际应用中遇到的各种问题，提出了工作于室外非结构化环境的障碍物检测算法。该算法具有如下特点： 1、通过分析视差投影图的地面关联线信息，获得场景的视差分布水平。该信息一方面用来动态更改匹配算法的视差搜索范围，增强算法的实时性和鲁棒性；另一方面用来移除背景地表，简化障碍物分割过程； 2、采用双域滤波抑制噪声，获得清晰的边缘特征，降低立体匹配算法在深度不连续性区域的匹配难度； 3、借助逆向重投影的思想重采样扫描图像，在立体匹配前等效地实现了立体匹配过程中动态变更视差搜索范围的操作； 4、采用基于连通成分的扩散方法替代传统的SAD局部匹配算法，获得高质量的视差图，最终改善障碍物检测的精确性。 在室外非结构化环境中，本文对该算法进行了实验验证。通过设置不同的基线长度，验证了算法在不同的感知距离内的有效性。经实验证明，本算法在一定距离范围内能够有效的检测出障碍物。

基于模型的立体视觉的优化方法

针对 3D视觉检测中最典型的误差源图像中像素的量化误差 ,在已知模型的条件下 ,对双目立体视觉提出一种模型。利用该优化模型及改进的约束最小二乘法对未知模型的立体视觉解法做一些改进 ,可以明显减小系统的误差。仿真结果表明 ,与未知模型的立体视觉方法相比 ,在同样的量化误差条件下 ,该方法可将系统误差减小 50 %以上。

机器人插件作业的视觉导引方法研究

插件作业 (parts mating)是装配机器人的一项基本作业环节 .本文介绍了以双目立体视觉实现该作业的视觉导引方法 .该方法通过采用人机交互方式 ,借助于人的智慧 ,提高了图像特征提取和匹配的准确性和可靠性、可直观准确地给出插件作业的动作参数 ,克服了自动视觉计算复杂、鲁棒性差的缺点 ,适用于机器人遥操作作业 .实验表明 ,基于人机交互的机器人插件作业在立体视觉导引下是完全可行的

Parallel and Convergent Evolution of the Dim-Light Vision Gene RH1 in Bats (Order: Chiroptera)

Rhodopsin, encoded by the gene Rhodopsin (RH1), is extremely sensitive to light, and is responsible for dim-light vision. Bats are nocturnal mammals that inhabit poor light environments. Megabats (Old-World fruit bats) generally have well-developed eyes, while microbats (insectivorous bats) have developed echolocation and in general their eyes were degraded, however, dramatic differences in the eyes, and their reliance on vision, exist in this group. In this study, we examined the rod opsin gene (RH1), and compared its evolution to that of two cone opsin genes (SWS1 and M/LWS). While phylogenetic reconstruction with the cone opsin genes SWS1 and M/LWS generated a species tree in accord with expectations, the RH1 gene tree united Pteropodidae (Old-World fruit bats) and Yangochiroptera, with very high bootstrap values, suggesting the possibility of convergent evolution. The hypothesis of convergent evolution was further supported when nonsynonymous sites or amino acid sequences were used to construct phylogenies. Reconstructed RH1 sequences at internal nodes of the bat species phylogeny showed that: (1) Old-World fruit bats share an amino acid change (S270G) with the tomb bat; (2) Miniopterus share two amino acid changes (V104I, M183L) with Rhinolophoidea; (3) the amino acid replacement I123V occurred independently on four branches, and the replacements L99M, L266V and I286V occurred each on two branches. The multiple parallel amino acid replacements that occurred in the evolution of bat RH1 suggest the possibility of multiple convergences of their ecological specialization (i.e., various photic environments) during adaptation for the nocturnal lifestyle, and suggest that further attention is needed on the study of the ecology and behavior of bats.

Distinct Evolutionary Patterns Between Two Duplicated Color Vision Genes Within Cyprinid Fishes

We investigated the molecular evolution of duplicated color vision genes (LWS-1 and SWS2) within cyprinid fish, focusing on the most cavefish-rich genus-Sinocyclocheilus. Maximum likelihood-based codon substitution approaches were used to analyze the evolution of vision genes. We found that the duplicated color vision genes had unequal evolutionary rates, which may lead to a related function divergence. Divergence of LWS-1 was strongly influenced by positive selection causing an accelerated rate of substitution in the proportion of pocket-forming residues. The SWS2 pigment experienced divergent selection between lineages, and no positively selected site was found. A duplicate copy of LWS-1 of some cyprinine species had become a pseudogene, but all SWS2 sequences remained intact in the regions examined in the cyprinid fishes examined in this study. The pseudogenization events did not occur randomly in the two copies of LWS-1 within Sinocyclocheilus species. Some cave species of Sinocyclocheilus with numerous morphological specializations that seem to be highly adapted for caves, retain both intact copies of color vision genes in their genome. We found some novel amino acid substitutions at key sites, which might represent interesting target sites for future mutagenesis experiments. Our data add to the increasing evidence that duplicate genes experience lower selective constraints and in some cases positive selection following gene duplication. Some of these observations are unexpected and may provide insights into the effect of caves on the evolution of color vision genes in fishes.

Localization and tracking of phonating finless porpoises using towed stereo acoustic data-loggers

Cetaceans produce sound signals frequently. Usually, acoustic localization of cetaceans was made by cable hydrophone arrays and multichannel recording systems. In this study, a simple and relatively inexpensive towed acoustic system consisting of two miniature stereo acoustic data-loggers is described for localization and tracking of finless porpoises in a mobile survey. Among 204 porpoises detected acoustically, 34 individuals (similar to 17%) were localized, and 4 of the 34 localized individuals were tracked. The accuracy of the localization is considered to be fairly high, as the upper bounds of relative distance errors were less than 41% within 173 m. With the location information, source levels of finless porpoise clicks were estimated to range from 180 to 209 dB re 1 mu Pa pp at 1 m with an average of 197 dB (N=34), which is over 20 dB higher than that estimated previously from animals in enclosed waters. For the four tracked porpoises, two-dimensional swimming trajectories relative to the moving survey boat, absolute swimming speed, and absolute heading direction are deduced by assuming the animal movements are straight and at constant speed in the segment between two consecutive locations.

Off-axis sonar beam pattern of free-ranging finless porpoises measured by a stereo pulse event data logger

The off-axis sonar beam patterns of eight free-ranging finless porpoises were measured using attached data logger systems. The transmitted sound pressure level at each beam angle was calculated from the animal's body angle, the water surface echo level, and the swimming depth. The beam pattern of the off-axis signals between 45 and 115 (where 0 corresponds to the on-axis direction) was nearly constant. The sound pressure level of the off-axis signals reached 162 dB re 1 mPa peak-to-peak. The surface echo level received at the animal was over 140 dB, much higher than the auditory threshold level of small odontocetes. Finless porpoises are estimated to be able to receive the surface echoes of off-axis signals even at 50-m depth. Shallow water systems (less than 50-m depth) are the dominant habitat of both oceanic and freshwater populations of this species. Surface echoes may provide porpoises not only with diving depth information but also with information about surface direction and location of obstacles (including prey items) outside the on-axis sector of the sonar beam. 2005 Acoustical Society of America.