一种单目视觉里程计算装置制造方法
【专利摘要】本发明公开了一种单目视觉里程计算装置，包括：特征检测与关联模块1，用于在每一个时刻获取新的图像时，在图像中检测GFtT特征点，跟踪所述GFtT特征点在下一个时刻中图像的位置，从而获得一定时间内的GFtT特征点关联集合并输出给位姿估计模块；位姿估计模块2，用于根据所述特征检测与关联模块输出的GFtT特征点关联集合，利用基于车辆动力学模型约束的位姿估计算法进行建模从而得到相邻时刻之间的相对位姿变换；本发明具有较高的效率和精度，适合于智能车辆的实时定位导航需求；可用于存在大量运动障碍物的复杂环境，不受到静态场景假设的限制，能够满足智能车辆在复杂城市道路环境下的使用需求。
【专利说明】一种单目视觉里程计算装置
【技术领域】
[0001]本发明涉及智能车辆视觉定位导航领域，尤其涉及一种单目视觉里程计算装置。
【背景技术】
[0002]定位导航技术主要用于确定智能车辆行驶的位置和方向，是保证智能车辆完成自主行为的重要前提。在没有已知地图、GPS信号被遮挡等无法获取环境位置信息的情况下，智能车辆在运动过程中的自定位能力具有非常重要的意义。随着计算机视觉技术的发展，视觉定位方法广泛应用于地面、空中、水下及行星表面等各种工作环境下，同时也越来越多地被用来进行地面移动车辆的自定位和定向估计。
[0003]视觉方法仅仅依赖于车载相机采集到的图像信息，基于相机模型与视觉几何学模型等来计算车体本身的6自由度运动。这种基于图像信息的自定位定向方法类似于传统里程计的航迹推算，因此称为视觉里程计。首先，视觉传感器所提供的丰富的感知信息，既可以满足车辆的自主定位要求，又能够同时为其他重要的任务提供辅助信息，如目标检测、避障等。其次，视觉传感器相对其他传感器来说成本较低，且体积小，在布置上更为灵活。另夕卜，基于视觉的定位和定向估计还可以独立于地形以及地形-轮胎接触特性，如不受轮胎打滑的影响等。
[0004]视觉里程计应具有较高的精度和效率，满足智能车辆的实时定位需求，并且能够用于存在动态障碍物或是行驶条件恶劣的复杂场景。当前国内的视觉里程计研究仍然局限于小型地面移动机器人、仿真分析或者是较为简单的室内环境实验，试验距离局限在百米数量级，面向大范围复杂环境的陆地智能车辆实时应用还有待进一步的研究。此外纵观国内外的研究情况，车辆运动特性的约束在视觉里程计系统中的应用没有深入的研究，并且受到严格的平面场景假设的限制。然而在实际的车辆运动过程中，由于相机是固连于簧上质量，即使是在平坦道路上行驶，车体的俯仰与侧倾变化也是不可避免的。
【发明内容】
[0005]鉴于上述的分析，本发明旨在提供一种单目视觉里程计算装置，用以解决现有视觉里程计计算存在的局限性问题。
[0006]本发明的目的主要是通过以下技术方案实现的:
[0007]本发明提供了一种单目视觉里程计算装置，包括:
[0008]特征检测与关联模块1，用于在每一个时刻获取新的图像时，在图像中检测GFtT特征点，跟踪所述GFtT特征点在下一个时刻中图像的位置，从而获得一定时间内的GFtT特征点关联集合并输出给位姿估计模块；
[0009]位姿估计模块2，用于根据所述特征检测与关联模块输出的GFtT特征点关联集合，利用基于车辆动力学模型约束的位姿估计算法进行建模从而得到相邻时刻之间的相对位姿变换。
[0010]进一步地，所述特征检测与关联模块具体包括=GFtT特征点检测单元11和帧间LK跟踪单元12，其中，
[0011]GFtT特征点检测单元11，在每一个时刻获取新的图像时，在图像中检测GFtT特征点，并将检测到的GFtT特征点输出给帧间LK跟踪单元12 ；
[0012]帧间LK跟踪单元12，对于接收到的GFtT特征点，用LK跟踪方法跟踪其在下一个时刻中图像的位置，从而获得一定时间内的特征点关联集合并输出给位姿估计模块2。
[0013]进一步地，所述特征检测与关联模块还包括:
[0014]补充检测单元13，对于检测到GFtT特征点的图像，将图像划分为多个栅格，对每一个栅格，若其中已有GFtT特征点的数量超过预定阈值，则在本栅格不再进行特征点检测；反之在本栅格中进行补充检测。
[0015]进一步地，所述位姿估计模块2具体包括:
[0016]动力学模型预估单元21，利用根据车辆动力学微分方程计算质心侧偏角，将其表达为横摆角速率，侧向加速度以及横摆角加速度的线性组合；根据上述线性组合对视觉里程计相机模型的旋转矩阵与平移向量进行建模；用离线辨识获得的参数以及建模得到的结果，结合特征点关联集合中的二对特征关联对，求解用于数据关联中假设生成的内数据；
[0017]最大似然估计器22，根据内层计算得到的内数据以及运动参数的优胜解，对优胜解进行最大似然估计从而得到最终解。
[0018]进一步地，利用根据车辆动力学微分方程计算质心侧偏角，将其表达为横摆角速率，侧向加速度以及横摆角加速度的线性组合为:
[0019]
【权利要求】
1.一种单目视觉里程计算装置，其特征在于，包括: 特征检测与关联模块1，用于在每一个时刻获取新的图像时，在图像中检测GFtT特征点，跟踪所述GFtT特征点在下一个时刻中图像的位置，从而获得一定时间内的GFtT特征点关联集合并输出给位姿估计模块； 位姿估计模块2，用于根据所述特征检测与关联模块输出的GFtT特征点关联集合，利用基于车辆动力学模型约束的位姿估计算法进行建模从而得到相邻时刻之间的相对位姿变换。
2.根据权利要求1所述的装置，其特征在于，所述特征检测与关联模块I具体包括:GFtT特征点检测单元11和帧间LK跟踪单元12，其中， GFtT特征点检测单元11，在每一个时刻获取新的图像时，在图像中检测GFtT特征点，并将检测到的GFtT特征点输出给帧间LK跟踪单元12 ； 帧间LK跟踪单元12，对于接收到的GFtT特征点，用LK跟踪方法跟踪其在下一个时刻中图像的位置，从而获得一定时间内的特征点关联集合并输出给位姿估计模块2。
3.根据权利要求2所述的装置，其特征在于，所述特征检测与关联模块I还包括: 补充检测单元13，对于检测到GFtT特征点的图像，将图像划分为多个栅格，对每一个栅格，若其中已有GFtT特征点的数量超过预定阈值，则在本栅格不再进行特征点检测；反之在本栅格中进行补 充检测。
4.根据权利要求1到3中任意一项所述的装置，其特征在于，所述位姿估计模块2具体包括: 动力学模型预估单元21，利用根据车辆动力学微分方程计算质心侧偏角，将其表达为横摆角速率，侧向加速度以及横摆角加速度的线性组合；根据上述线性组合对视觉里程计相机模型的旋转矩阵与平移向量进行建模；用离线辨识获得的参数以及建模得到的结果，结合特征点关联集合中的二对特征关联对，求解用于数据关联中假设生成的内数据； 最大似然估计器22，根据内层计算得到的内数据以及运动参数的优胜解，对优胜解进行最大似然估计从而得到最终解。
5.根据权利要求4所述的装置，其特征在于，利用根据车辆动力学微分方程计算质心侧偏角，将其表达为横摆角速率，侧向加速度以及横摆角加速度的线性组合为:
其中 I = iR+iF 为车辆轴距，旦表不 质心侧偏角，1F，Ir分别表示前、后轴中心到质心的距离；kK为后轴侧偏刚度，m为整车质量，Iy为车体绕竖直y轴的转动惯量；vlmg代表纵向车速，代表横摆角速率，戎代表横摆角加速度，alat表示侧向加速度。
6.根据权利要求5所述的装置，其特征在于，根据上述线性组合对视觉里程计相机模型的旋转矩阵与平移向量进行建模的结果为
其中，c= C2 是2X2矩阵,满足C1 = [WykVdJyJWk UykWb0Lcl r I m /?表示一- + 7^--- v1ng.di，C2 表示t——ii—A ; b 是 2Χ I 向量， LvW kR 1 JAr / bt / /, 1满足 b(i) = 1Xk^1Vk-1Xk1 Yk-1+Vk-1b0-1Ykb0 ;Χη Jk-PXpyk 都是特社W、tf」归一化到球面坐标系的图像坐标，即满足Ki1if，H yk ι]τ，上标i表示特征关联的序号。
7.根据权利要求6所述的装置，其特征在于，求解用于数据关联中假设生成的内数据的过程包括: 为点关联gqk-v^qk}，i = 1:N-1, j = i+1:N,构建形如上的模型并求解模型参数横摆角变化量U ω及俯仰角变化量U Y ； 以一定的分辨率和范围构建二维直方图Hist，用离散化"ω的"Υ和进行直方图投票； 选择票数最高的模型解{ω*，= argmax{Hist}作为优胜解，其中，ω*表示最优横摆角变化量，Y*表示最优俯仰角变化量； 根据上述线性组合和辨识参数计算最优质心侧偏角β %并计算模型估计运动参数旋转矩阵和平移向量；
用模型估计Rm和tm对特征关联办}进行运动基线三角化，得到无尺度的三维坐标估计丨七丨，并计算重投影误差；重投影误差大于设定阈值的，判定为外数据，剩下的即为内数据。
8.根据权利要求7所述的装置，其特征在于，所述最大似然估计器22具体用于， 对单目位姿估计来说，通过假设图像点测量误差满足高斯白噪声模型，采用林温伯格-麦考特(L-M)迭代优化的最大似然估计器来优化已知基础矩阵F，其中已知基础矩阵 根据已有优胜解戶=K 1.[tl及K 'i和灸分别对应tm和Rm，计算最大似然的步骤如下: 选择已知相机矩阵Ph = [I I O]以及巧二 LLi, J户Iq]，其中极点ek是从初始估计中计算得到； 利用特征关联办和戶，三角化获得对三维位置的估计Q 获得与初始估计F一致的校正关联力《，=巧—ri，q =Pk:Q' 用L-M方法最小化代价函数
获得最优解F%用已知的分解和判定方法获得最优模型估计旋转矩阵R*和平移向量
t*。
【文档编号】G01C22/00GK104180818SQ201410394767
【公开日】2014年12月3日 申请日期:2014年8月12日 优先权日:2014年8月12日
【发明者】熊光明, 江燕华, 陈慧岩 申请人:北京理工大学