专利名称：图像处理装置的利记博彩app
技术领域：
本发明涉及一种根据设定于图像中的窗口内的图像信息来计算光流的图像处理
直O
背景技术：
光流是指，从时间上连续的图像中求出图像内的各点(像素、区域)的速度场， 并用矢量表示图像内的物体的运动的量。光流的计算方法之一是利用梯度法的方法。在 梯度法中，作为约束条件，假定设定于图像中的窗口内的各点具有大小相同的光流，从 而导出亮度梯度和光流的关系式，并根据该关系式，以窗口为单位计算光流。然而，当在相同窗口内存在具有不同光流的物体(例如，不同的多个移动体、 移动体及其周边的背景)时，光流的误差将变大。因此，在专利文献1所述的装置中， 利用在不同时刻获取的多个图像，通过梯度法计算出各个区域(各个窗口)的光流和光流 误差，当目标区域的光流误差大于目标区域的周边区域的光流误差时，代入周边区域的 光流以作为目标区域的光流。在先技术文献专利文献专利文献1:日本特开2007-172554号公报专利文献2 日本特开2008-26999号公报
发明内容
本发明所要解决的课题由于在现有的方法中，用于计算光流的窗口被设定为统一的大小，因而无论是 存在于近处的物体，还是存在于远处的物体，均由大小相同的窗口来计算光流。另外， 存在于远处的物体与存在于近处的物体相比，在图像中的尺寸更小。因此，由于有时 会出现与针对存在于近处的物体的窗口相比，针对存在于远处的物体的窗口中包含了更 多的背景的像素，或者存在于远处的物体也进入到了针对存在于近处物体的窗口内的情 况，因而，由各个窗口计算的光流误差有可能会增大。因此，在采用上述装置的情况 下，周边区域的光流误差也可能会增大，当替换成这种误差增大了的周边区域的光流 时，误差有可能会被累积。因此，本发明的课题在于，提供一种在以窗口为单位计算光流时提高光流的计 算精度的图像处理装置。解决课题的方法本发明所涉及的图像处理装置为，其利用在不同时间拍摄的多个图像，并根据 窗口内的图像信息而针对处理对象计算光流，其特征在于，具有位置获取单元，其获 取处理对象的位置信息；设定单元，其根据由所述位置获取单元获取的位置信息，设定 用于计算光流的窗口的大小。
在该图像处理装置中，通过位置获取单元获取处理对象(通过光流而检测出运 动的对象)的位置信息(例如，距拍摄位置的相对距离或横向位置)。图像上的物体的大 小，按照该物体和拍摄位置之间的位置关系而变化。另外，有时光流的大小也会按照该 物体和拍摄位置之间的位置关系而变化。因此，在图像处理装置中，按照该处理对象的 位置信息，由设定单元设定用于计算光流的窗口的大小，并针对每个设定的窗口，根据 窗口内的图像信息来计算光流。以这种方式，在图像处理装置中，通过按照处理对象的 位置信息来设定大小适于处理对象的窗口，能够减少由窗口内所包含的除处理对象之外 的物体引起的误差的影响，并能够提高光流的计算精度。而且，由于不由统一大小的窗 口来计算光流，而由大小与处理对象的位置信息相对应的窗口来计算光流，因而还能够 减少计算量。在本发明的所述图像处理装置中，优选为，拍摄位置和处理对象在横向位置上 的差越大，设定单元将窗口的大小设定得越大。自拍摄位置的横向位置越远，光流越增大。由于在光流较大的情况下，当设定 较小的窗口时，光流将不收敛，或者需要通过使较小的窗口逐步移动来多次计算光流， 因而计算量将增大。因此，在该图像处理装置中，拍摄位置和处理对象在横向位置上的 差越大，设定单元将窗口的大小设定得越大，由此，能够设定适合于光流大小的窗口。 其结果是，能够进一步提高光流的计算精度。在本发明的所述处理装置中，位置获取单元为雷达，其结构也可以为，根据雷 达的检测结果来设定处理对象。在该图像处理装置中，通过雷达获取处理对象的位置信息，根据由雷达检测的 结果来设定处理对象。雷达能够高精度地获取位置信息。因此，在被雷达检测到时， 由于物体确实存在于该被检测出的位置上，因而，将在该位置上设定关于处理对象的窗 口。通过这种方式，在图像处理装置中，按照用雷达检测出的位置来设定处理对象的窗 口，并限定计算光流的处理区域，由此，能够进一步减少计算量。发明效果本发明通过按照处理对象的位置信息来设定大小适于处理对象的窗口，从而能 够提高光流的计算精度。
图1为本实施方式所涉及的周边监视装置的结构图。图2为表示相对于到特征点的距离和横向位置的、拍摄图像中的大小、光流大 小、窗口大小的表格。图3为从上空观察本车周边(前方一侧)时的俯视图的一个示例。图4为针对图3所示的本车周边的拍摄图像而由图1的ECU设定计算光流用的 窗口的图。图5为针对图3所示的本车周边的拍摄图像而通过现有的方法设定计算光流用的 窗口的图。图6为表示图1的ECU中的主处理流程的流程图。图7为表示图1的ECU中的窗口尺寸设定处理流程的流程图。
符号说明1……周边监视装置2……照相机3……毫米波传感器4......ECU
具体实施例方式下面，参照附图，对本发明所涉及的图像处理装置的实施方式进行说明。在本实施方式中，将本发明所涉及的图像处理装置应用在搭载于车辆的周边监 视装置上。本实施方式所涉及的周边监视装置检测本车前方的障碍物(例如，其它车 辆、自行车、行人等移动物体、坠落物等静止物体)，并将该检测到的障碍物信息输出到 驾驶支援装置(防止碰撞装置等)处，或者通过声音或显示的方式提供给驾驶员。并且， 检测方向被设为前方，但也可以设定为侧方、后方等其它方向。参照图1 图5，对本实施方式所涉及的周边监视装置1进行说明。图1为本 实施方式所涉及的周边监视装置的结构图。图2为表示相对于到特征点为止的距离和横 向位置的拍摄图像中的大小、光流大小、窗口大小的表格。图3为从上空观察本车周边 (前方一侧)时的俯视图的一个示例。图4为针对图3所示的本车周边的拍摄图像而由图 1的ECU设定计算光流用的窗口的图。图5为针对图3所示的本车周边的拍摄图像而通 过现有的方法设定计算光流用的窗口的图。周边监视装置1根据从时间上连续的帧之间的图像中检测到的光流来检测障碍 物信息。尤其，周边监视装置1为了提高光流的计算精度，针对每个处理对象(障碍 物)，按照图像上的位置来设定用于计算光流的窗口。周边监视装置1具有照相机2、毫 米波传感器3和ECU (Electronic Control Unit 电子控制模块)4。而且，在本实施方式中，毫米波传感器3相当于权利要求书所述的位置获取单 元，ECU4中的处理相当于权利要求书所述的设定单元。照相机2为拍摄本车前方的照相机。照相机2被安装在本车的前侧中央。照相 机2拍摄本车前方，并将该拍摄图像信息作为图像信号而发送给ECU4。该拍摄图像为每 隔一定时间(例如，三十分之一秒)的帧图像。毫米波传感器3为利用毫米波来检测物体的雷达传感器。毫米波传感器3被安 装在本车前侧中央的规定的高度位置(能够可靠地检测到作为检测对象的障碍物的高度 位置)上。毫米波传感器3沿左右方向扫描毫米波的同时从本车向前方发送毫米波，并 接收反射回来的毫米波。针对每个能够接收到反射回来的毫米波的检测点，在毫米波传感器3中，根据 毫米波从发送到接收的时间及毫米波的速度，计算出距前方物体的相对距离。而且，在 毫米波传感器3中，根据在当前时刻ω计算出的相对距离与在前一时刻(t-i)计算出的 相对距离的变化，而计算与前方物体的相对速度。另外，在毫米波传感器3中，对在反 射回来的毫米波中以最大强度反射回来的毫米波的方向进行检测，并根据该方向求出本 车的行驶方向和物体的方向所成的角度，且根据该角度计算出物体的横向位置。而且， 在毫米波传感器3中，将由该检测到的毫米波信息(针对每个检测物体的相对距离、相对速度、相对横向位置等)构成的毫米波信号发送给ECU4。此外，也可以由ECU4来执行 关于相对距离、相对速度、横向位置等的计算，此时，从毫米波传感器3，将由针对每个 检测点的发送时刻、接收时刻、扫描方向、接收强度等构成的毫米波信息发送给ECU4。ECU4 为由 CPU (Central Processing Unit 中央处理器)、ROM (Read OnlyMemory 只读存储器)、RAM (Random Access Memory 随机存取存储器)和图像 处理芯片等构成的电子控制单元，并统一控制周边监视装置1。在ECU4中，每隔一定时 间，读取来自照相机2的图像信号和来自毫米波传感器3的毫米波信号，并按时间序列存 储毫米波信息和拍摄图像信息。而且，在ECU4中，利用这些信息执行用于检测障碍物 信息的处理，并将检测出的障碍物信息(例如，相对距离、相对速度、相对横向位置、 移动方向、移动速度)输出到驾驶支援装置中、或者提供给驾驶员。在对由ECU4执行的具体处理进行说明之前，先对由ECU4处理的用于计算光流 的窗口的大小进行说明。障碍物离照相机2 (拍摄位置)的距离越近，图像上的物体的大 小越大，距离越远，图像上的物体的大小越小。因此，在按照障碍物的大小而使窗口的 大小最优化时，需要在障碍物离照相机2的距离较近时将窗口设定得较大，在距离较远 时将窗口设定得较小。另外，由于本车正在朝向存在障碍物的前方行驶，因而障碍物离照相机2的横 向位置越近，光流的大小越小，而横向位置越远，光流的大小越大。由于对较大的光流 设定较小的窗口时，光流将不收敛，或者需要通过使较小的窗口逐步偏移来多次计算光 流，因而计算量将增大。因此，在按照光流的大小来使窗口的大小最优化时，需要在障 碍物离照相机2的横向位置较近时将窗口设定得较小，在较远时将窗口设定得较大。在图2中，将上述的关系制成了表格。在从照相机2到障碍物(特征点)的距 离较远且横向位置较近时，图像中的大小变小，光流的大小也变小，因而，将窗口的大 小设为“小尺寸”。在距离较远且横向位置较远时，图像中的大小变小，光流的大小成 为中等程度，因而，将窗口的大小设为“中尺寸”。在距离较近且横向位置较近时，图 像中的大小变大，光流的大小成为中等程度，因而，将窗口的大小设为“中尺寸”。在 距离较近且横向位置较远时，图像中的大小变大，光流的大小变大，因而，将窗口的大 小设为“大尺寸”。并且，虽然在距离较远且横向位置较远时和在距离较近且横向位置 较近时，均将窗口设为了中尺寸，但是，也可以将窗口的大小设为相同程度的尺寸，或 者，还可以将在距离较近且横向位置较近时的窗口的大小设定得稍大。并且，本车的车速越高，光流的大小越大，车速越低，光流的大小越小。因 此，也可以考虑本车的车速，当车速较高时，将窗口设定得较大，当车速较低时，将窗 口设定得较小。接下来，对ECU4中的处理进行具体说明。在ECU4中，从当前时刻(t)的帧图 像中检测特征点(障碍物)。在该特征点的检测中，应用了现有的方法，例如，使用边缘 检测方法。在ECU4中，针对每个被检测出的特征点，获取与该特征点相对应的毫米波信 息(尤其是相对的距离和横向位置)。而且，在ECU4中，根据相对距离，判断距本车 (照相机2)的距离是否较近(相对距离是否在距离阈值以下)。距离阈值为，用于判断 到障碍物的距离是近还是远的阈值，其可以通过实验等预先进行设定，或者也可以通过考虑图像中的障碍物(例如行人)的大小等而进行设定。另外，在ECU4中，根据相对 横向位置，判断距本车(照相机2)的横向位置是否较近(相对横向位置是否在横向位置 阈值以下)。横向位置阈值为，用于判断障碍物的横向位置是近还是远的阈值，其可以通 过实验等预先进行设定，或者也可以通过考虑图像中的障碍物的大小等而进行设定。当判断为距离较远且横向位置较近时，在ECU4中，将用于计算光流的窗口设 定为小尺寸。当判断为距离较远且横向位置较远时，在ECU4中，将窗口设定为中尺 寸。当判断为距离较近且横向位置较近时，在ECU4中，将窗口设定为中尺寸。当判断 为距离较近且横向位置较远时，在ECU4中，将窗口设定为大尺寸。关于该窗口的大、 中、小尺寸，可以通过实验等预先进行设定，或者，也可以通过考虑图像中的障碍物的 大小等而进行设定。在ECU4中，针对每个设定的窗口，利用连续帧之间的图像，通过梯度法(作为 约束条件，假定窗口内的各点具有大小相同的光流)来计算窗口中的光流。通过梯度法 进行的光流的计算，应用了现有的方法。而且，在ECU4中，针对每个特征点(障碍物)，依据毫米波信息(相对距离、 相对速度、相对横向位置等)和光流(移动方向、移动速度、移动量等)等来设定障碍 物信息。而且，在ECU4中，将该障碍物信息输出到驾驶支援装置中，或者提供给驾驶 员。并且，作为障碍物的其它信息，也可以从图像中检测出障碍物的大小，而且，还可 以利用模型识别等方式检测出障碍物的类别。在图3所示的示例的情况下，在单侧一车道的道路中，本车正在沿箭头MD所示 的方向行驶，在本车前方，存在4个障碍物01、02、03、04(例如行人)。障碍物Ol 距本车的距离较近，横向位置较远。障碍物02距本车的距离较近，横向位置也较近。 障碍物03距本车的距离较远，横向位置较近。障碍物04距本车的距离较远，横向位置 也较远。在此，为了易于理解说明，障碍物01、02、03、04被设定为，正在以同样的 速度朝着本车的方向行进。图4中，图示了对图3所示的本车前方的周边景致进行拍摄而获得的图像，在该 图像中，图示了在ECU4中设定的针对各个障碍物(特征点)的窗口。并且，在图4、 图5中，用X记号表示了来自毫米波传感器3的位置检测结果，用箭头表示了光流(但 是，光流Fl、F2、F3、F4不是以窗口为单位计算出的光流，而是仅由障碍物01、02、 03、04求得的理想的光流(不包含误差))。用实线的长方形表示障碍物，用虚线的长 方形表示窗口。关于障碍物01，由于距离较近因而图像上的大小增大，且由于横向位置 较远因而光流Fl也增大，从而设定了与该图像上的大小和光流的大小相对应的大尺寸的 窗口 W1。关于障碍物02，由于距离较近因而图像上的大小增大，但由于横向位置较近 因而光流F2相比障碍物Ol的光流缩小了，因而设定了小于障碍物Ol的窗口尺寸的、中 尺寸的窗口 W2。关于障碍物03，由于距离较远因而图像上的大小缩小，且由于横向位 置较近因而光流F3也变小，而设定了与该图像上的大小和光流的大小相对应的小尺寸的 窗口 W3。关于障碍物04，由于距离较远因而图像上的大小缩小，且因横向位置较远因 而光流F4变得大于障碍物03的光流，因而设定了大于障碍物03的窗口尺寸的、中尺寸 的窗口 W4。图5中，图示了拍摄图3所示的本车前方的周边景致时的图像，在该图像中，也图示了用现有的方法设定的窗口。在现有的方法中，统一地设定了相同大小的窗口 Wl，、W2，、W4，，这些窗口 Wl，、W2，、W4，为能够充分包含障碍物的较大尺 寸的窗口。包含障碍物02的窗口 W2’相对于光流F2的大小的比例而言尺寸较大，其 还包含了障碍物03。因此，窗口 W2’的光流是根据两个障碍物02、03的图像信息和 背景的图像信息而计算出的，因而作为障碍物02的光流，其误差增大。另外，包含障碍 物04的窗口 W4’相对于图像上的障碍物04的大小或光流F4的大小而言尺寸过大，其 大部分为背景。因此，窗口 W4’的光流，是根据较小的障碍物04的图像信息和较大背 景的图像信息而计算出的，因此，作为障碍物04的光流，其误差增大。下面参照图1和图2，对周边监视装置1中的动作进行说明。尤其，按照图6和 图7的顺序对ECU4中的处理进行说明。图6为表示图1的ECU中的主处理流程的流程 图。图7为表示图1的ECU中的窗口尺寸设定处理的流程的流程图。在照相机2中，每隔一定时间对本车前方进行拍摄，并将由其图像信息构成的 图像信号发送至ECU4。在毫米波传感器3中，每隔一定时间进行毫米波扫描，并计算关 于各个检测点的相对距离、相对速度、相对横向位置等，且将由各个检测点的毫米波信 息构成的毫米波信号发送至ECU4。在ECU4中，每隔一定时间接收来自照相机2的图像信号，并获取当前时刻(t) 的帧图像(Si)。该各个帧图像按时间序列被暂时存储在ECU4内。而且，在ECU4中， 从当前时刻(0的帧图像中提取特征点(S2)。在ECU4中，针对每个提取的特征点，设定用于计算光流的窗口(S3)。在ECU4 中，每隔一定时间，接收来自毫米波传感器3的毫米波信号，从毫米波信息中获取有关 特征点的相对距离和相对横向位置(S30)。该毫米波信息按时间序列被暂时存储在ECU4 内。而且，在ECU4中，判断到特征点的距离是否较近(S31)。当在S31中判断为 距离较近时，在ECU4中，判断横向位置是否较远(S32)。另外，当在S31中判断为距 离较远时，在ECU4中，判断横向位置是否较远(S33)。当在S32中判断为横向位置较远时(即，到特征点的距离较近且横向位置较远 时)，将窗口尺寸设定为大尺寸(S34)。当在S32中判断为横向位置较近时(即，到特征 点的距离较近且横向位置较近时)，将窗口尺寸设定为中尺寸(S35)。当在S33中判断为 横向位置较远时(即，到特征点的距离较远且横向位置较远时)，将窗口尺寸设定为中尺 寸(S35)。当在S33中判断为横向位置较近时(即，到特征点的距离较远且横向位置较 近时)，将窗口尺寸设定为小尺寸(S36)。在ECU4中，针对每个设定的窗口，利用当前时刻(t)的帧图像和前一时刻(t_l) 的帧图像，通过梯度法计算光流(S4)。而且，在ECU4中，从各个特征点的毫米波信息和各个窗口的光流中提取每个 障碍物的信息，并将障碍物信息输出至驾驶支援装置，或者通过声音或显示的方式提供 给驾驶员。根据该周边监视装置1，通过按照到特征点(障碍物)的相对距离、相对横向位 置来设定用于计算光流的窗口尺寸，从而使窗口尺寸成为与图像上的障碍物的大小和光 流的大小相对应的尺寸。因此，能够减少因窗口内所包含的作为处理对象的障碍物之外的物体而引起的误差的影响，并能够提高光流的计算精度。另外，由于未使用统一大小 的窗口来计算光流，而使用针对每个障碍物的准确尺寸的窗口来计算光流，因而还能够 减少处理量。另外，根据周边监视装置1，由于仅针对被检测出的特征点设定窗口并计算光 流，因而能够进一步减少处理量。另外，根据周边监视装置1，由于能够通过毫米波传感 器3高精度地取得各个特征点的位置信息，因而能够依据该高精度的位置信息而设定准 确的窗口尺寸。上面，对本发明所涉及的实施方式进行了说明，但是本发明并不限于上述的实 施方式，其也可以通过各种各样的方式来实施。例如，在本实施方式中，本发明应用在了搭载于车辆上、并用于检测车辆周边 的障碍物的周边监视装置中，但是，其也可适用在具有计算光流的功能的各种各样的图 像处理装置中。另外，也可以搭载于机器人等其它移动体上，或者，还可以应用于如 下情况，即，被设置在非移动体的规定场所，并由图像处理装置一侧以静止状态计算光 流。另外，虽然在本实施方式中，作为位置获取单元应用了毫米波传感器，但是也 可以使用激光传感器等其它的雷达传感器，还可以使用雷达之外的位置获取单元。另外，在本实施方式中，为了计算光流而应用了梯度法，但也可应用模式匹配 等的其它方法来计算光流。另外，虽然在本实施方式中，采用了按照照相机(车辆)与各个特征点的相对距 离和横向位置来设定窗口大小的结构，但也可以采用，仅按照距离和横向位置中的某一 个来设定窗口的大小的结构，还可以采用，按照距离和横向位置之外的位置信息的参数 来设定窗口的大小的结构。另外，虽然在本实施方式中采用了如下结构，S卩，从图像中检测出特征点，并 利用针对特征点的毫米波传感器的检测结果，来设定针对处理对象的窗口，但是也可以 采用如下结构，即，以毫米波传感器所检测出的物体作为处理对象而直接设定窗口。另 外，还可以不采用对特征点进行限定并设定窗口的方式，而采用针对图像整体来设定窗 口的方式。另外，虽然在本实施方式中，将窗口的大小设为了三个等级(或者四个等级)， 但是，也可以按照相对距离或横向位置而设为两个等级或者五个等级以上。距离阈值、 横向位置阈值也可以与之对应地设定多个等级。工业上的可利用性本发明通过按照处理对象的位置信息来设定大小适于处理对象的窗口，从而能 够提高光流的计算精度。
权利要求
1.一种图像处理装置，其利用在不同时间拍摄的多个图像，并根据窗口内的图像信 息而针对处理对象计算光流，其特征在于，具有位置获取单元，其获取处理对象的位置信息；设定单元，其根据由所述位置获取单元获取的位置信息，设定用于计算光流的窗口 的大小。
2.如权利要求1所述的图像处理装置，其特征在于，拍摄位置与处理对象在横向位置上的差越大，所述设定单元将窗口的大小设定得越大。
3.如权利要求1或权利要求2所述的图像处理装置，其特征在于， 所述位置获取单元为雷达，根据由所述雷达获得的检测结果，来设定处理对象。
全文摘要
本发明的课题在于，提供一种在以窗口为单位计算光流时提高光流的计算精度的图像处理装置。本发明提供一种图像处理装置，其利用在不同时间拍摄的多个图像，并根据窗口内的图像信息而针对处理对象计算光流，其特征在于，具有位置获取单元，其获取处理对象的位置信息；设定单元，其根据由位置获取单元获取的位置信息，设定用于计算光流的窗口的大小。
文档编号G06T1/00GK102016921SQ20098010071
公开日2011年4月13日 申请日期2009年7月30日 优先权日2008年8月1日
发明者内田尚秀 申请人:丰田自动车株式会社