专利名称：车灯检测方法和装置、感兴趣区域分割方法和装置的利记博彩app
技术领域：
本发明涉及基于计算机视觉的车灯检测方法和装置以及感兴趣 区域分割方法和装置。
背景技术：
在基于计算机单目(monocular)视觉的摩托车检测系统中，通常基 于摩托车的车底阴影、垂直边缘、水平边缘等特征信息，从摄像机等 这样的摄像装置所摄取图像中分割可能包含有摩托车的感兴趣区域 (ROI:感兴趣区域)。
然而，当摩托车距离安装了该摄像装置的目标车辆很近、或者位 于隧道中以及在其它建筑物等投射的阴影中时，由于此时车底阴影特 征无法检测到，所以利用上述特征将可能无法分割出包含摩托车的感 兴趣区域，从而会导致摩托车的漏检。
发明内容
考虑到上述问题，本发明的目的在于提供一种感兴趣区域分割方 法和装置，其不需利用车辆的车底阴影就能从图像中分割出可能包含 车辆的感兴趣区域。
本发明的另一目的在于提供一种车灯检测方法和装置，以从图像 出检测出车灯图形。
为了实现本发明的目的，按照本发明的一种用于从图像中分割感
兴趣区域的方法，包括步骤
对所摄取图像进行边缘提取处理，以获取所述摄取图像的边缘；
以及
从所述获取的边缘中选取满足预定条件的边缘，其中，所述预定
9条件是所述选取的边缘所围成的区域与现实世界中的车灯在所述选 取的边缘的位置处所形成的图形相似；
将所述摄取图像中所述选取的边缘所围成的区域确定为车灯图 形；以及
根据所述确定的车灯图形从所述摄取图像中分割出可能包含车 辆的感兴趣区域。
为了实现本发明的目的，按照本发明的一种用于从图像检测车灯 图形的方法，包括步骤
对所摄取图像进行边缘提取处理，以获取所述摄取图像的边缘；
以及
从所述获取的边缘中选取满足预定条件的边缘，其中，所述预定 条件是所述选取的边缘所围成的区域与现实世界中的车灯在所述选 取的边缘的位置处所形成的图形相似；以及
将所述摄取图像中所述选取的边缘所围成的区域确定为车灯图形。
为了实现本发明的目的，按照本发明的一种用于从图像中分割感 兴趣区域的装置，包括
边缘提取模块，用于对所摄取图像进行边缘提取处理，以获取所 述摄取图像的边缘；以及
选取模块，用于从所述获取的边缘中选取满足预定条件的边缘， 其中，所述预定条件是所述选取的边缘所围成的区域与现实世界中的 车灯在所述选取的边缘的位置处所形成的图形相似；
确定模块，用于将所述摄取图像中所述选取的边缘所围成的区域 确定为车灯图形；以及
分割模块，用于根据所述确定的车灯图形从所述摄取图像中分割 出可能包含车辆的感兴趣区域。
为了实现本发明的目的，按照本发明的一种用于从图像检测车灯图形的装置，包括-
边缘提取模块，用于对所摄取图像进行边缘提取处理，以获取所
述摄取图像的边缘；以及
选取模块，用于从所述获取的边缘中选取满足预定条件的边缘， 其中，所述预定条件是所述选取的边缘所围成的区域与现实世界中的
车灯在所述选取的边缘的位置处所形成的图形相似；以及
确定模块，用于将所述摄取图像中所述选取的边缘所围成的区域 确定为车灯图形。
附图简述
图1示出了透视原理的示意图2示出了本发明一个实施例的用于从图像中分割感兴趣区域
的方法的流程图3a示出了本发明一个实施例的所摄取图像的例子；
图3b示出了本发明一个实施例的车灯候选区域的示意图4示出了本发明一个实施例的所提取的边缘的示意图5a示出了本发明一个实施例的执行填充操作之后的图像的示
意图5b示出了本发明一个实施例的执行腐蚀操作之后的图像的示 意图5c示出了本发明一个实施例的执行膨胀操作之后的图像的示 意图6a示出了本发明一个实施例的感兴趣区域的左右边候选区域 的示意图6b示出了本发明一个实施例的从感兴趣区域的左右边候选区 域中所提取的边缘的示意图6c是示出图6b的边缘图中每一个列所包含的边缘点的数目的
直方图。
图7a示出了本发明一个实施例的感兴趣区域的底边候选区域的
ii示意图7b示出了本发明一个实施例的从感兴趣区域的底边候选区域 中所提取的边缘的示意图7c是示出图7b的边缘图中每一个行所包含的边缘点的数目的 直方图7d示出了本发明一个实施例的感兴趣区域的底边的示意图。
具体实施例方式
按照本发明的一个方面，首先从所摄取图像中提取车辆的车灯图 形，然后基于所提取的车灯图形从所摄取图像中分割出可能包含车辆 的感兴趣区域。
在此，首先介绍下面本发明的一些实施例将要使用到的透视原理。
从图1可以看出，现实世界中的真实高度DE (Zv)与其在摄取 图像中所形成的像素高度AB (、)具有如下关系
Wx《一 OC Q) Z)五 一7
通过变换公式(1)，可以得到如下公式(2): 爿5 =-x — ——!"X—，艮卩/zp=^-——
(2)
其中，DE为车灯下边缘到地面的高度，AB为在所摄取图像中 车灯图形下边缘到该摄取图像的底边的像素高度，OC为摄像装置的 焦距/， ^为摄像装置的切向畸变，d为现实世界中目标车辆到摄像 装置的距离，在图像中表现为车辆下底边的深度^ (即车辆下底边到 图像下边的距离)。^与《具有以下关系
"~~^^ (3)
其中，//为摄像装置到地面的高度，2^"^^^/^为在所摄取图 像中道路消失线到该图像底边的像素距离。下面将结合图2，以摩托车作为车辆的例子，详细描述本发明一 个实施例的感兴趣区域分割方法。
如图2所示，首先，在步骤SIO，从诸如摄像机这样的摄像装置 所摄取图像中确定出车灯候选区域，即可能包含有车灯的图像区域。 通常情况下，当路面平坦时，车灯一般不出现在图像中道路消失线的 上方(如图3a所示)，因此可以将所摄取图像中道路消失线下方的图 像部分作为车灯候选区域(如图3b所示)。考虑到路面坡度的影响， 在本实施例中，将车灯候选区域的上边缘确定为从所摄取图像中道路 消失线向上扩展Ar-lO个象素的位置处。
然后，在步骤S20，使用诸如canny、 sobel或susan等这样的方 法对该确定出的车灯候选区域进行边缘提取处理。在本实施例中，优 选采用susan方法直接从该确定的车灯候选区域中(即基于该确定的 车灯候选区域的RGB彩色空间)提取边缘，如图4所示。
接着，在步骤S30，从所提取的边缘中去除干扰边缘，例如不具 有闭合轮廓的边缘和/或周长小于真实世界中最小车灯在所摄取图像 中所对应周长的闭合轮廓的边缘。在本实施例中，采用数学形态学 (Mathematical Morphology)中一些操作去掉不具有闭合轮廓的边缘 和/或周长小于真实世界中最小车灯在所摄取图像中所对应周长的闭 合轮廓的边缘。具体来说，首先对所摄取图像中具有闭合轮廓的边缘 进行填充(fill)操作(如图5a所示)，接着采用模板对该确定出的车 灯候选区域进行腐蚀(erode)操作(该模板小于在该确定出的车灯 候选区域中要识别的最小摩托车的像素大小，这里取5X5的圆形模 板)(如图5b所示)，之后再用该模板对该确定出的车灯候选区域进 行膨胀(dilate)操作(如图5c所示)，就去掉了不具有闭合轮廓的 边缘和/或周长小于真实世界中最小车灯在所摄取图像中所对应周长 的闭合轮廓的边缘。在步骤S40，从所得到的边缘中，选取其周长介于最大车灯与最
包围的区域作为车灯图形，如图5c中的区域1、。 、、
在步骤S50，从所确定的车灯图形的左边和右边分别向左、向右 各扩宽度R得到左扩展边和右扩展边，以及从所确定的车灯图形的底 边向下扩高度&得到下扩展边，从而获得由该车灯图形的底边、该左 扩展边、该右扩展边和该下扩展边所形成的可能包含摩托车的感兴趣 区域(以下称为摩托车感兴趣区域)的左边和右边的候选区域凡，如 图6a所示。其中，
% =Arx(2xi ) & 4x(2xi )
其中，i 为摩托车车灯的半径，^和,为根据经验所确定的常数， 需要结合摩托车车灯的半径来考虑。此外，候选区域&的坐标为
其中，其中(c;,c;i为摩托车车灯中心的坐标，i 为车灯的半径。 在步骤S60，以通过车灯图形中心的垂直线为分界线，把候选区
域A分成左右两个区域，分别作为摩托车感兴趣区域的左边候选区域 和右边候选区域。
在步骤S70，使用诸如canny、 sobel等边缘提取算子对摩托车感 兴趣区域的左边候选区域和右边候选区域进行边缘提取处理，以从这 两个候选区域(即候选区域&)中提取边缘，如图6b所示。
在步骤S80，计算左边候选区域和右边候选区域中每一个列所包 含的边缘点的数目。图6c是示出图6b的边缘图中每一个列所包含的 边缘点的数目的直方图，其中，该直方图的横坐标表示所摄取图像的 各个列的位置，纵坐标表示各个列的边缘点数目。
14在步骤S90，将左边候选区域中包含边缘点数目最多的列确定为 摩托车感兴趣区域的左边，以及将右边候选区域中包含边缘点数目最
如果左边候选区i和右边候选区域的其中一个没有边缘可提取， 则将该其中一个候选区域中以车灯图形的中心为对称中心而与另一 候选区域中所确定的摩托车感兴趣区域的边相对称的列，作为从该其 中一个候选区域确定得到的摩托车感兴趣区域的边。
如果左边候选区域和右边候选区域的每一个都没有边缘可提取， 则将候选区域&的左边和右边分别确定为摩托车感兴趣区域的左边 和右边。
在步骤SIOO，确定摩托车感兴趣区域的底边候选区域。 具体地，首先，计算所摄取图像中的每一行到该图像底边的距离， 即、。
然后，根据前面的公式(2)和(3)，计算所摄取图像中的每一 行到车灯图形底边的像素高度、所对应的在真实世界中的实际高度 &。
接着，找出其所对应的实际高度/v等于在现实世界中摩托车车灯 距离地面的最大高度&—_的第一特定行，以及，其所对应的实际高 度A等于在现实世界中摩托车车灯距离地面的最小高度、—_的第二 特定行。
最后，将所摄取图像中由所确定的摩托车感兴趣区域的左边和右 边、该第一特定行和该第二特定行所构成的图像区域作为摩托车感兴 趣区域的底边候选区域，如图7a所示。
在步骤SllO，使用诸如canny、 sobel等边缘提取算子对摩托车 感兴趣区域的底边候选区域进行边缘提取处理，以从这个底边候选区 域中提取边缘，如图7b所示。
在步骤S120，计算底边候选区域中每一个行所包含的边缘点的 数目。图7c是示出底边候选区域中每一行所包含的边缘点的数目的
15直方图，其中，该直方图的横坐标表示底边候选区域的各个行的位置， 纵坐标表示各个行的边缘点数目。
在步骤sia^ m边候选区^4^含边缘点IW^的行确定
为摩托车感兴趣区域的底边。图7d示出了摩托车感兴趣区域的底边 的一个例子。
在步骤S140，确定摩托车感兴趣区域的顶边。
具体地，在得到摩托车感兴趣区域的底边之后，首先根据该得到 的底边所在的行距离所摄取图像的底边的距离力，按照公式(3)计 算出摄像装置与摩托车的距离d，然后计算在真实世界中距离摄像装 置为d的摩托车在所摄取图像中的像素高度"，
其中，h麵。r为摩托车在真实世界中的高度，在这里，hm咖等于
1.5m。
最后，将摩托车感兴趣区域的底边之上距离该底边为d"的行作 为摩托车感兴趣区域的顶边。
本领域技术人员应当明白，虽然在上面的实施例中，以边缘具有 闭合轮廓、其周长介于最大车灯与最小车灯的周长之间且其外接矩形 的纵横比在预定范围之内作为条件，来确定该边缘所围成的区域与现 实世界中的车灯在该边缘的位置处所形成的图形相似，然而，本发明 并不局限于此。在本发明的其它实施例中，也可以通过判断边缘是否 具有闭合轮廓，以及边缘所围成的区域与在该边缘位置处所形成的车 灯图形的不变距、矩形度、圆形度或者傅立叶描述子的差异是否在预 定范围内，来确定该边缘所围成的区域与现实世界中的车灯在该边缘 的位置处所形成的图形是否相似。其中，这里所提到的利用不变距、 矩形度、圆形度和傅立叶描述子等来判断图形是否相似的方法，对于 图像处理领域的普通技术人员来说是公知的，在此不再赘述。本领域技术人员应当理解，虽然在上面的实施例中，以所摄取图 像中道路消失线下方的图像部分作为车灯候选区域，然而，本发明并
不局限于此。在本发明的^fe^M4^fe可以将所摄Mmi^11
作为车灯候选区域。
本领域技术人员应当理解，虽然上面以摩托车作为例子描述了本 发明，但是本发明并不仅局限于用于检测摩托车。事实上，在本发明
的其他实施例中，也可以用于检测除了摩托车之外的车辆。
本发明的车灯检测方法和感兴趣区域分割方法既可以用软件的 方式实现，也可以用硬件或软硬件结合的方式实现。
本领域技术人员应当理解，本发明所公开的车灯检测方法和装 置、感兴趣区域分割方法和装置，可以在不偏离本发明实质的基础上
做出各种变形和改变。因此;本发明的保护范围由所附的权利要求书
来限定。
权利要求
1、一种用于从图像中分割感兴趣区域的方法，包括步骤对所摄取图像进行边缘提取处理，以获取所述摄取图像的边缘；以及从所述获取的边缘中选取满足预定条件的边缘，其中，所述预定条件是所述选取的边缘所围成的区域与现实世界中的车灯在所述选取的边缘的位置处所形成的图形相似；将所述摄取图像中所述选取的边缘所围成的区域确定为车灯图形；以及根据所述确定的车灯图形从所述摄取图像中分割出可能包含车辆的感兴趣区域。
2、 如权利要求1所述的方法，其中，所述分割步骤进一步包括 步骤从所述确定的车灯图形的左右两边分别向外扩展预定宽度和从 所述确定的车灯图形的底边向下扩展预定高度，以得到左扩展边、右 扩展边和下扩展边；从由所述车灯图形的底边、所述左扩展边、所述右扩展边和所述 下扩展边所形成的左右边候选区域中提取边缘；计算所述左右边候选区域由通过所述车灯图形的中心的垂直线 所划分而成的左边候选区域和右边候选区域中的每一个列所包含的 边缘点数目；以及将所述左边候选区域和所述右边候选区域中各自包含边缘点数 目最多的列分别设置为所述感兴趣区域的左边和右边。
3、 如权利要求2所述的方法，其中，还包括步骤 如果所述左边候选区域和所述右边候选区域的其中一个候选区域没有边缘可提取，则将所述其中一个候选区域中以所述垂直线作为 对称中心线而与另一候选区域中所述边缘点数目最多的列相对称的列计算为所述其中一个候选区域的所述边缘点数目最多的列。
4、 如权利要求2所述的方法，其中，还包括步骤如果所述左边候选区域和所述右边候选区域都没有边缘可提取，则将所述左扩展边和所述右扩展边分别设置为所述感兴趣区域的左 边和右边。
5、 如权利要求2-4中任意一个权利要求所述的方法，其中，所 述分割步骤还包括步骤从所述摄取图像中确定所述感兴趣区域的底边候选区域； 从所述底边候选区域中提取边缘；计算所述底边候选区域的每一个行所包含的边缘点数目；以及 将所述底边候选区域中包含边缘点数目最多的行设置为所述感 兴趣区域的底边。
6、 如权利要求5所述的方法，其中，所述确定底边候选区域的 步骤还包括计算从所述摄取图像中的每一个行到所述车灯图形的底边的像 素高度所对应的在真实世界中的实际高度；找出其所对应的实际高度等于在真实世界中车灯距离地面的最 大高度的第一特定行和其所对应的实际高度等于在真实世界中车灯 距离地面的最小高度的第二特定行；以及将所述摄取图像中由所述第一特定行、第二特定行、所述感兴趣 区域的左边和右边所形成的区域设置为所述底边候选区域。
7、 如权利要求5所述的方法，其中，所述分割步骤还包括步骤 计算真实世界中的车辆在所述摄取图像中所述感兴趣区域的底边位置处所形成车辆图形的像素高度；以及根据所述感兴趣区域的底边和所述车辆图形的像素高度，确定所 述感兴趣区域的顶边。
8、 一种用于从图像检测车灯图形的方法，包括步骤 对所摄取图像进行边缘提取处理，以获取所述摄取图像的边缘；以及从所述获取的边缘中选取满足预定条件的边缘，其中，所述预定 条件是所述选取的边缘所围成的区域与现实世界中的车灯在所述选 取的边缘的位置处所形成的图形相似；以及将所述摄取图像中所述选取的边缘所围成的区域确定为车灯图形。
9、 如权利要求1或8所述的方法，其中，所述相似包括所述 选取的边缘具有闭合轮廓、所述选取的边缘的周长介于最大车灯与最 小车灯的周长之间、且所述选取的边缘的外接矩形的纵横比在预定范 围之内。
10、 如权利要求8所述的方法，其中，在所述选取步骤之前，还 包括步骤从所述获取的边缘中去除不具有闭合轮廓的边缘和/或周长小于 真实世界中最小车灯在所摄取图像中所对应周长的闭合轮廓的边缘。
11、 如权利要求8所述的方法，其中，所述去除步骤进一步包括 步骤对所述获取的边缘中具有闭合轮廓的边缘进行填充操作； 采用预定模板对所述摄取图像进行腐蚀操作；以及 采用所述预定模板对所述摄取图像进行膨胀操作。
12、 如权利要求1或8所述的方法，其中，所述边缘提取处理是 对所述摄取图像中从道路消失线附近到所述摄取图像的底边之间的 图像部分进行的。
13、 一种用于从图像中分割感兴趣区域的装置，包括 边缘提取模块，用于对所摄取图像进行边缘提取处理，以获取所述摄取图像的边缘；以及选取模块，用于从所述获取的边缘中选取满足预定条件的边缘， 其中，所述预定条件是所述选取的边缘所围成的区域与现实世界中的 车灯在所述选取的边缘的位置处所形成的图形相似；确定模块，用于将所述摄取图像中所述选取的边缘所围成的区域 确定为车灯图形；以及分割模块，用于根据所述确定的车灯图形从所述摄取图像中分割 出可能包含车辆的感兴趣区域。
14、 如权利要求13所述的装置，其中，所述分割模块进一步包括扩展单元，用于从所述确定的车灯图形的左右两边分别向外扩展 预定宽度和从所述确定的车灯图形的底边向下扩展预定高度，以得到 左扩展边、右扩展边和下扩展边；候选区域边缘提取单元，用于从由所述车灯图形的底边、所述左 扩展边、所述右扩展边和所述下扩展边所形成的左右边候选区域中提 取边缘；计算单元，用于计算所述左右边候选区域由通过所述车灯图形的 中心的垂直线所划分而成的左边候选区域和右边候选区域中的每一 个列所包含的边缘点数目；以及设置单元，用于将所述左边候选区域和所述右边候选区域中各自 包含边缘点数目最多的列分别设置为所述感兴趣区域的左边和右边。
15、 如权利要求14所述的装置，其中，还包括 如果所述左边候选区域和所述右边候选区域的其中一个候选区域没有边缘可提取，则所述计算单元将所述其中一个候选区域中以所 述垂直线作为对称中心线而与另一候选区域中所述边缘点数目最多 的列相对称的列计算为所述其中一个候选区域的所述边缘点数目最多的列。
16、 如权利要求14所述的装置，其中，还包括 如果所述左边候选区域和所述右边候选区域都没有边缘可提取，则所述设置单元将所述左扩展边和所述右扩展边分别设置为所述感 兴趣区域的左边和右边。
17、 如权利要求14-16中任意一个权利要求所述的装置，其中， 所述分割模块还包括底边候选区域确定单元，用于从所述摄取图像中 确定所述感兴趣区域的底边候选区域，其中，所述候选区域边缘提取单元从所述底边候选区域中提取边缘， 所述计算单元计算所述底边候选区域的每一个行所包含的边缘 点数目；以及所述设置单元将所述底边候选区域中包含边缘点数目最多的行 设置为所述感兴趣区域的底边。
18、 如权利要求17所述的装置，其中，所述底边候选区域确定 单元进一步包括实际高度计算单元，用于计算从所述摄取图像中的每一个行到所述车灯图形的底边的像素高度所对应的在真实世界中的实际高度；査找单元，用于找出其所对应的实际高度等于在真实世界中车灯距离地面的最大高度的第一特定行和其所对应的实际高度等于在真 实世界中车灯距离地面的最小高度的第二特定行；以及候选区域设置单元，用于将所述摄取图像中由所述第一特定行、 第二特定行、所述感兴趣区域的左边和右边所形成的区域设置为所述 底边候选区域。
19、 如权利要求17所述的装置，其中，所述分割模块还包括 像素高度计算单元，用于计算真实世界中的车辆在所述摄取图像中所述感兴趣区域的底边位置处所形成车辆图形的像素高度；以及顶边确定单元，用于根据所述感兴趣区域的底边和所述车辆图形 的像素高度，确定所述感兴趣区域的顶边。
20、 一种用于从图像检测车灯图形的装置，包括 边缘提取模块，用于对所摄取图像进行边缘提取处理，以获取所述摄取图像的边缘；以及选取模块，用于从所述获取的边缘中选取满足预定条件的边缘， 其中，所述预定条件是所述选取的边缘所围成的区域与现实世界中的车灯在所述选取的边缘的位置处所形成的图形相似；以及确定模块，用于将所述摄取图像中所述选取的边缘所围成的区域 确定为车灯图形。
21、 如权利要求13或20所述的装置，其中，所述相似包括所 述选取的边缘具有闭合轮廓、所述选取的边缘的周长介于最大车灯与 最小车灯的周长之间、且所述选取的边缘的外接矩形的纵横比在预定 范围之内。
22、 如权利要求20所述的装置，其中，还包括去除模块，用于从所述获取的边缘中去除不具有闭合轮廓的边缘 和/或周长小于真实世界中最小车灯在所摄取图像中所对应周长的闭 合轮廓的边缘。
23、 如权利要求20所述的装置，其中，所述去除模块进一步包括填充单元，用于对所述获取的边缘中具有闭合轮廓的边缘进行填 充操作；腐蚀单元，用于采用预定模板对所述摄取图像进行腐蚀操作；以及膨胀单元，用于采用所述预定模板对所述摄取图像进行膨胀操作。
24、如权利要求13或20所述的装置，其中，所述边缘提取处理是对所述摄取图像中从道路消失线附近到所述摄取图像的底边之间 的图像部分进行的。
全文摘要
本发明涉及一种车灯检测方法和装置以及感兴趣区域分割方法和装置，该感兴趣区域分割方法包括对所摄取图像进行边缘提取处理，以获取所述摄取图像的边缘；从所述获取的边缘中选取满足预定条件的边缘，其中，所述预定条件是所述选取的边缘所围成的区域与现实世界中的车灯在所述选取的边缘的位置处所形成的图形相似；将所述摄取图像中所述选取的边缘所围成的区域确定为车灯图形；以及，根据所述确定的车灯图形从所述摄取图像中分割出可能包含车辆的感兴趣区域。利用该方法和装置，不需利用车底阴影就能从图像中获取车辆感兴趣区域。
文档编号G06K9/34GK101470806SQ20071030143
公开日2009年7月1日 申请日期2007年12月27日 优先权日2007年12月27日
发明者威 刘, 宋春艳, 淮 袁 申请人:东软集团股份有限公司;阿尔派株式会社