移动物体位置姿态角推定装置及移动物体位置姿态角推定方法
【技术领域】
[0001]本发明涉及一种推定移动物体的位置及姿态角的移动物体位置姿态角推定装置及其方法。
【背景技术】
[0002]当前，已经开发了通过对三维地图信息和鱼眼镜头摄像机的拍摄图像进行匹配而计算移动物体的自身位置的技术，专利文献I公开了该技术。
[0003]在该技术中，利用设置于车辆上的鱼眼镜头摄像机对信号机进行拍摄，根据拍摄得到的信号机图像计算相对于车辆的仰角和水平角，在此基础上根据信号机的发光位置坐标和高度，确定车辆的当前位置。
[0004]专利文献1:日本特开2006 - 10328号公报
【发明内容】
[0005]然而，在上述现有技术中，存在如下问题点，即，为了推定车辆的自身位置，需要信号机，在没有信号机的交叉路口、单行道等，无法对自身位置进行推定。
[0006]因此，本发明就是鉴于上述情况而提出的，其目的在于提供一种移动物体位置姿态角推定装置以及移动物体位置姿态角推定方法，其即使不存在像信号机这样的特定的装置也能够对移动物体的位置及姿态角进行推定。
[0007]为了解决上述课题，本发明获取利用鱼眼镜头拍摄移动物体的周围环境得到的鱼眼镜头图像，针对鱼眼镜头图像的规定区域获取畸变小的针孔图像。并且，对移动物体的行进方向上的行驶路的弯曲度进行检测，在检测出的弯曲度小于规定值的情况下，选择针孔图像，在弯曲度大于或等于规定值的情况下，选择鱼眼镜头图像。如果以上述方式选择图像，则进行选择出的图像的边缘信息和从三维地图数据提取出的虚拟图像的边缘信息之间的匹配，推定移动物体的位置及姿态角。
【附图说明】
[0008]图1是表示具备应用了本发明的第I实施方式所涉及的移动物体位置姿态角推定装置的移动物体位置姿态角推定系统的结构的框图。
[0009]图2是表示由应用了本发明的第I实施方式所涉及的移动物体位置姿态角推定装置进行的移动物体位置姿态角推定处理的处理顺序的流程图。
[0010]图3是用于说明鱼眼镜头摄像机的视场角和针孔图像的视场角的图。
[0011]图4是表示由应用了本发明的第I实施方式所涉及的移动物体位置姿态角推定装置进行的移动物体位置姿态角计算处理的处理顺序的流程图。
[0012]图5是表示由应用了本发明的第I实施方式所涉及的移动物体位置姿态角推定装置进行的移动物体位置姿态角计算处理的处理顺序的流程图。
[0013]图6是表示由应用了本发明的第2实施方式所涉及的移动物体位置姿态角推定装置进行的移动物体位置姿态角推定处理的处理顺序的流程图。
[0014]图7是表示由应用了本发明的第3实施方式所涉及的移动物体位置姿态角推定装置进行的移动物体位置姿态角推定处理的处理流顺序的流程图。
[0015]图8是表示由应用了本发明的第4实施方式所涉及的移动物体位置姿态角推定装置进行的移动物体位置姿态角推定处理的处理顺序的流程图。
[0016]图9是表示由应用了本发明的第5实施方式所涉及的移动物体位置姿态角推定装置进行的移动物体位置姿态角推定处理的处理顺序的流程图。
[0017]图10是表示由应用了本发明的第6实施方式所涉及的移动物体位置姿态角推定装置进行的移动物体位置姿态角推定处理的处理顺序的流程图。
[0018]图11是表示具备应用了本发明的第7实施方式所涉及的移动物体位置姿态角推定装置的移动物体位置姿态角推定系统的结构的框图。
【具体实施方式】
[0019]以下，参照附图对应用了本发明的第I?第7实施方式进行说明。
[0020][第I实施方式]
[0021][移动物体位置姿态角推定装置的结构]
[0022]图1是表示搭载有本实施方式所涉及的移动物体位置姿态角推定装置的移动物体位置姿态角推定系统的结构的框图。如图1所示，本实施方式所涉及的移动物体位置姿态角推定系统具备ECU1、鱼眼镜头摄像机2、三维地图数据库3、车辆传感器组4以及导航系统5。此外，在本实施方式中，对将移动物体位置姿态角推定装置应用于车辆上的情况进行说明。
[0023]这里，E⑶I是由ROM、RAM、运算电路等构成的电子控制单元，具备本实施方式所涉及的移动物体位置姿态角推定装置10。此外，ECUl也可以兼用作用于其他控制的ECU。
[0024]鱼眼镜头摄像机2例如是利用了 CCD等固体拍摄元件的摄像机，在本实施方式中，以光轴水平、且能够拍摄车辆前方的方式设置于车辆的前保险杠上。所拍摄的鱼眼镜头图像发送至E⑶I。另外，鱼眼镜头可以是视场角约为170[deg]且等距投影方式的通常的镜头O
[0025]三维地图数据库3例如存储有包含路面显示在内的周围环境的边缘等的三维位置信息。在本实施方式中，至少记录有表示道路端部的划分线、路缘石等的位置和其朝向的三维信息，此外除了白线、停止线、人行横道、路面标记等路面显示之外还包含建筑物等构造物的边缘信息。此外，作为三维地图数据库3的数据格式，道路端部等的各地图信息定义为边缘的集合体。在边缘为较长的直线的情况下，例如每隔Im分隔，因此不存在特别长的边缘。在直线的情况下，各边缘带有表示直线的两端点的三维位置信息。在曲线的情况下，各边缘带有表示曲线的两端点和中央点的三维位置信息。
[0026]车辆传感器组4具备GPS接收器41、加速传感器42、转向传感器43、制动传感器44、车速传感器45、加速度传感器46、车轮速度传感器47以及三轴陀螺仪传感器48。车辆传感器组4与E⑶I连接，将利用各传感器41?48检测到的各种检测值供给至E⑶I。E⑶I通过利用车辆传感器组4的输出值而计算车辆的大概位置，或者计算表示在单位时间内车辆行进的移动量的里程。
[0027]导航系统5可以是与搭载于通常的车辆上的导航系统相同的系统，具备数据库，该数据库储存有利用链路和节点记录的道路地图信息。并且，针对由车辆的驾驶者的操作所设定的目的地，计算将驾驶时间、距离等优化后的路线，计算出的路线向驾驶者通知，并发送至E⑶I。
[0028]移动物体位置姿态角推定装置10是进行拍摄移动物体的周围环境得到的图像和三维地图数据之间的匹配而推定移动物体的位置及姿态角的装置。移动物体位置姿态角推定装置10通过执行储存于ROM中的移动物体位置姿态角推定用的程序，而作为鱼眼镜头图像获取部12、针孔图像获取部14、图像选择部16以及位置姿态角推定部18进行动作。
[0029]鱼眼镜头图像获取部12从鱼眼镜头摄像机2获取鱼眼镜头图像，该鱼眼镜头图像是利用鱼眼镜头对移动物体的周围环境进行拍摄而得到的。在鱼眼镜头图像中，拍摄有移动物体的周围环境，作为用于推定本车辆的位置及姿态角所需的路面信息，至少拍摄有表示道路端部的划分线、路缘石。另外，除此之外，也可以拍摄有白线、停止线、人行横道、路面标记等的路面显不。
[0030]针孔图像获取部14针对鱼眼镜头图像的规定区域获取畸变较小的针孔图像。特别是，在本实施方式中，通过对利用鱼眼镜头摄像机2拍摄得到的鱼眼镜头图像的规定区域进行畸变校正，而获取畸变较小的针孔图像。在针孔图像中，与鱼眼镜头图像相同地，拍摄有移动物体的周围环境，作为用于推定本车辆的位置及姿态角所需的路面信息，至少拍摄有表示道路端部的划分线、路缘石。另外，除此之外，也可以拍摄有白线、停止线、人行横道、路面标记等的路面显不。
[0031]图像选择部16对移动物体的行进方向上的行驶路的弯曲度进行检测，在检测出的弯曲度小于规定值的情况下，选择针孔图像，在弯曲度大于或等于规定值的情况下，选择鱼眼镜头图像。这里，行驶路的弯曲度是表示行驶路以何种程度弯曲的指标，如果行驶路较大程度地弯曲，则弯曲度的值变大，如果行驶路未弯曲，则弯曲度的值变小。
[0032]特别是，在本实施方式中，对移动物体的行进方向上的转弯半径进行检测，在检测出的转弯半径大于或等于规定值的情况下，判定为弯曲度小于规定值而选择针孔图像。另一方面，在转弯半径小于规定值的情况下，判定为弯曲度大于或等于规定值而选择鱼眼镜头图像。
[0033]位置姿态角推定部18基于由图像选择部16选择的图像而进行与三维地图数据的匹配，推定移动物体的位置及姿态角。特别是，进行所选择的图像的边缘信息和从三维地图数据提取出的虚拟图像的边缘信息之间的匹配，推定移动物体的位置及姿态角。此时，在虚拟图像中包含有所推定的移动物体的虚拟位置和虚拟姿态角。另外，在与三维地图数据的匹配中，基于在所选择的图像中拍摄有的周围环境中的特别是表示道路端部的路面信息而进行匹配。
[0034]此外，在本实施方式中，对应用于车辆上的情况进行了说明，但只要是移动物体即可，也可以应用于飞机、船舶等。在应用于飞机、船舶的情况下，作为周围环境，可以取代与道路相关的路面信息而是通过对地形、建筑物进行匹配，推定移动物体的位置和姿态角。
[0035][移动物体的位置姿态角推定处理的顺序]
[0036]下面参照图2的流程图对本实施方式所涉及的移动物体的位置姿态角推定处理的顺序进行说明。此外，在本实施方式中，对作为车辆的位置信息的前后方向、横向、上下方向、作为姿态角信息的侧倾、俯仰、偏转合计6个自由度的位置和姿态角进行推定。另外，在以下所说明的移动物体的位置姿态角推定处理，例如以100msec左右的间隔连续地进行。
[0037]如图2所示，首先在步骤SlO中，利用鱼眼镜头摄像机2拍摄得到的影像发送至E⑶I，鱼眼镜头图像获取部12获取鱼眼镜头图像。
[0038]在步骤S20中，针孔图像获取部14对利用鱼眼镜头摄像机2拍摄得到的影像的规定区域进行畸变校正，由此计算并获得畸变较小的针孔图像。由于鱼眼镜头摄像机2的鱼眼镜头为等距投影方式，因此在本实施方式中，以鱼眼镜头的虚拟球面模型进行考虑，以在虚拟球面和光轴的交点处相接的平面屏幕像上再现的方式，校正畸变而计算针孔图像。另外，如图3所示，该针孔图像是在鱼眼镜头摄像机2的视场角170[deg]中，将视场角40[deg]的区域作为规定区域进行畸变校正而计算