基于时空关联的地面交通标志实时检测识别方法
【专利摘要】基于时空关联的地面交通标志实时检测识别方法属于交通信息检测领域。本发明以20-50帧/秒的帧率实时获取智能车辆前方道路的图像Src，结合空间关联信息，对获取的原始图像Src进行切割、灰度变换、高斯滤波、二值化处理、透视变换，得到透视图像Src_IP。通过面积过滤、长宽比过滤得到待检测的标志图案diff_j。同时，读入处理过的地面交通标志图像temp_i。通过图像匹配，计算diff_j与每一幅标准图像temp_i之间的相似度，找到一组最相似的图片。将temp_i与相对应diff_j的进行相减，统计新图像中的白色像素点个数Sum_i_r，Sum_i_r少于设定的阈值时，即认为存在对应的标准图像中的地面交通标志。结合时空关联信息，对于识别结果进行逻辑判断，提升准确率。本发明适用于复杂城市道路环境的智能驾驶。
【专利说明】基于时空关联的地面交通标志实时检测识别方法
【技术领域】
[0001]本发明是一种基于智能驾驶的地面交通标志实时检测的方法，属于智能交通行业的交通信息检测领域。
【背景技术】
[0002]自第一辆汽车面世以来，汽车的研究始终处于一个高速、向上的状态；随着科技水平的提升，对于汽车的研究已经由简单的机械领域扩展到集图像、通信、自动化等众多学科的领域。随着社会经济的发展，汽车保有量逐年增加，各种问题随之而来，智能驾驶系统应运而生。无人驾驶机车的研制，是智能驾驶系统的新的关键点所在。对地面交通标志的识另O，是智能驾驶中的一个重要领域。准确率和识别速率是该项研究的重点。通过判断车辆行驶的车道中，是否含有地面交通标志，以及地面交通标志的种类和类型，给予驾驶员和智能系统准确的指引信息，是地面交通标志识别的关键所在。通过对地面交通标志的准确识另IJ，减少因失误造成的事故数量，提高道路交通的安全系数。
[0003]地面交通标志的识别，首先需要从摄像头采集的视频图像中，将地面与天空区分开；其次，要准确选择本车行驶的车道；第三，通过时空关联将地面交通标志存在的区域筛选出来。目前，对于地面交通标志识别的研究，集中于通过逆透视变换结合Hu不变矩，对地面交通标志进行检测识别。该方法有一定的准确率，但是通过提取Hu不变矩，来进行判断地面交通标志的种类会产生误差。尤其是在地面交通标志有一定的污损或者是在强光照射等条件下，不能得出准确的结果。所以，需要结合时空关联信息进行识别判断。
【发明内容】
[0004]本发明的目的在于无人驾驶机车行驶过程中，通过车载摄像头，采集地面图像，实时处理图像，判断其中是否含有地面交通标志，并判断其中的标志种类及其信息，从而给予正确的引导信息；克服现有方法存在抗干扰性弱、检测率低、检测速度慢、成本高以及耗能大等缺点，提出了一种基于时空关联的地面交通标志实时检测识别方法。
[0005]为了实现上述目的，本发明采取了如下技术方案:
[0006]一、摄像机安装。本发明中将摄像头安置在汽车中央后视镜处。
[0007]二、图像预处理。通过车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像Src。结合先验知识与空间关联信息，得出当前车道的地面交通标志出现的区域范围。对获取的原始图像Src进行剪切，得到感兴趣区域Src_r0i ;对感兴趣区域进行灰度变化，得到新的图像SrC_gray，进行图像压缩，得到新的图像Src_gS ;图像二值化处理，得到新的图像Src_bw ;通过形态学处理、中值滤波和逆透视变换得到Src_IP。
[0008]三、设定地面交通标志模板。我国现阶段，城市公路、高速公路使用的地面交通标志主要包括如下六种:直行箭头、左转箭头、右转箭头、直行加左转箭头、直行加右转箭头、掉转箭头。本发明主要研究识别以上六种地面交通标志。根据《道路交通标志和标线》(GB_5768-1999)规定，行车速度< 40km/h、60km/h~80km/h和≤100km/h不同路段地面交通标志大小尺寸不一致，等比例缩放。本发明可用于检测识别不同行车速度的路段。通过摄像机采集地面图片，通过图像预处理，对含有完整地面交通标志的图片Src_IP进行剪切，从而获得地面交通标志图像 templ_i。templ_i 是一个 templ_i_widthX templ_i_height维图像矩阵。要求模板图像只含有地面交通标志，每一种地面交通标志对应一种模板，共得到六种地面交通标志模板。
[0009]四、图像匹配。通过边缘算子检测，对图像Src_IP进行边缘提取；在边缘提取的基础上，获得图像轮廓；对图像的轮廓，做外接矩形。通过面积过滤、长宽比过滤等方式，可以得到完整的地面交通标志的轮廓，进行轮廓填充。此时我们得到的是地面交通标志的图案，将该图案截取下来。与预先设定的模板进行匹配。通过计算图像之间的相似度，选取最相似的图像组。计算最相似的待检测图像和模板图像之间的相似度，若相似度数值在设定阈值范围以内，则认为此时图像中含有对应的地面交通标志，否则，认为不含有对应的地面交通标志。
[0010]五、时空关联增强识别准确率。本发明中，我们提出通过时空关联的信息来增强识别鲁棒性。智能车辆行驶过程中采集到的是完整的视频；对于同一个地面交通标志，多次检测结果，中间的某一次出现错误的时候，自动滤除错误的识别结果；车辆位于同一车道上，同一地面交通标志出现次数大于等于三次；多车道的情况下，调转箭头、左转、右转、左转直行箭头、右转直行箭头不会出现在中间车道。
[0011]与现有的检测方法相比，本发明具有如下优点:(1)该发明是应用于无人驾驶车之上，实时性较好，每帧的处理时间在40ms左右，有较强的实用价值。(2)本发明能够识别不同的地面交通标志。(3)本发明基于现有的图像匹配技术实现检测识别，提高了准确率，在实验场地的情况下，准确率能达到95%以上。
【专利附图】
【附图说明】
[0012]图1本发明的地面交通标志检测流程图；
[0013]图2直行模板；
[0014]图3右转模板；
[0015]图4左转模板；
[0016]图5右转加直行模板；
[0017]图6左转加直行模板；
[0018]图7掉转模板；
[0019]图8本发明检测实例所用到的一幅原始图像；
[0020]图9对图8进行压缩、剪切得到的感兴趣区域；
[0021 ]图10对图9进行灰度变换得到的图像；
[0022]图11对图10进行二值变换、形态学处理、滤波得到的图像；
[0023]图12对图11进行逆透视变换得到图像；
[0024]图13对图12进行边缘检测、轮廓提取；
[0025]图14对图13中的轮廓做外接矩形；
[0026]图15对图14进行面积过滤、宽高比过滤所得图像；
[0027]图16将图15中剩余部分截取得到新的图像；[0028]图17图16与准备的模板进行图像匹配、图像相减进行判断；
【具体实施方式】
[0029]下面结合附图和【具体实施方式】对本发明的技术方案作进一步详细的说明。
[0030]一、摄像机安装。本发明中将摄像头安置在汽车中央后视镜处，摄像机距离地面1-1.2 米。
[0031]二、通过车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像Src。结合先验知识与空间关联信息，我们可以得出当前车道的地面交通标志出现的区域范围。对获取的原始图像Src进行剪切，将图像上部2/3裁剪，取余下的1/3，得到新的图像Src_height ;继续对图像Src_height裁剪,从图像的左侧到右侧，图像左侧为O宽度，图像右侧为I宽度，从0.4宽度部分开始裁剪，到0.9宽度截止，得到感兴趣区域Src_roi ;对感兴趣区域进行灰度变化，计算R，G, B通道值的平均值，作为灰度图像的灰度值Gray，B, G, R代表图像的三通道颜色值，得到新的图像Src_r0i ；
[0032]
【权利要求】
1.一种基于时空关联的地面交通标志实时检测识别的方法，其特征在于，包括以下步骤: 1)将摄像机置于车内中央后视镜处，位置固定，距离地面1-1.2米。 2)通过车辆上固定的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像Src，结合先验知识与空间关联信息，得出当前车道的地面交通标志出现的区域范围。对获取的原始图像Src进行剪切，得到感兴趣区域Src_r0i ;对感兴趣区域进行灰度变化，得到新的图像SrC_gray，进行图像压缩，得到新的图像Src_gS ;图像二值化处理，得到新的图像Src_bw ;通过形态学处理、中值滤波和逆透视变换得到Src_IP ； 3)标准地面交通标志图案的选取；对于透视变换过后的含有完整地面交通标志的图像进行剪切，得到地面交通标志模板图像tempi」；tempi」是一个templ_i_widthXtempl_i_height维图像矩阵；每一种地面交通标志对应一种模板，共得到六种地面交通标志模板，分别为:直行箭头模板templ_l、左转箭头模板templ_2、右转箭头模板templ_3、直行加左转箭头模板templ_4、直行加右转箭头模板templ_5、掉转箭头模板templ_6 ； 4)地面交通标志识别；通过对逆透视变换过后的图像Src_IP进行边缘提取，轮廓提取，对每一个轮廓取外接矩形，通过面积过滤、长宽比过滤、尺寸归一化，得到尺寸一致的完整的地面交通标志图案diff_j ； 对于Src_IP中出现的地面交通标志，max_area为面积最大值，此处为3000, min_area为面积最小值，此处为500 ;经过面积过滤之后，对图像继续进行宽高比过滤；宽高比范围[β _min, β _max] ; β _min此处为2.5, β _max此处为8.5,外接矩形宽高比满足该范围的轮廊保留； 与预先设定的标准的地面交通标志模板图像temp」进行计算，计算二者之间的欧氏距离；D = XXV (dIffJJ x f - temPl - ?(x+、diff」」' y) - temP1」(y)):(I) 欧式距离最小，则认为此时的待检测的图像中可能含有相对应的地面交通标志；完整的图案diff_i与相同尺寸的地面交通标志模板图像temp_i相减,计算白色像素点个数Sum_i_r ；若白色像素点个数在阈值范围内，则认为此时的待检测的图像中含有相对应的地面交通标志； dst_i(X，y) = Idiff_i(x, y)_templ_i_bw (x，, y')(2) dst_i (x, y)表示图像dst_i中每个像素点，在二值图像dst_i中每个像素点的值为O或者255，黑色像素点值为0，dst_i(x，y)用O表示；白色像素点的值为255,dst_i (x, y)用I表示；统计dst」图像中白色像素点个数Sum_i_r ；
id th diffjkei ghtSum _ ? _ r = Z Σ dsl_i(xf y)(3)
ν = (7 将Sum_i_r与预先设定的阈值T相比较，若diff_i_sum小于或者等于阈值T，则图像Src_IP中含有相对应的模板temp」所代表的交通标志，就可以输出该模板所含有的指示信息；若Sum_i_r大于阈值T，则说明图像Src_IP中不含有相对应的交通标志图像temp_i ；阈值T的阈值范围(T_i_min，T_i_max);此处T_i_min为0，T_i_max为1300 ;每一个标准图像对应一组范围；将图像像素差值Sum_i_r与预先设定的阈值(T_i_min，T_i_max)相比较,若Sum_i_r在阈值(T_i_min, T_i_max)范围内，贝U图像Src_bw中含有相对应的标准图像tempi」所代表的交通标志，就可以输出此时待匹配图像所含有的指示信息；否则，不含有相对应的指示信息； 5)智能车辆行驶过程中采集到的是完整的视频；对于同一个地面交通标志，多次检测结果，中间的某一次出现错误的时候，自动滤除错误的识别结果；车辆位于同一车道上，同一地面交通标志出现次数大于等于三次；多车道的情况下，调转箭头、左转、右转、左转直行箭头、右转直行箭头不会出现在中间车道。
【文档编号】G06K9/00GK104008377SQ201410251412
【公开日】2014年8月27日 申请日期:2014年6月7日 优先权日:2014年6月7日
【发明者】袁家政, 刘宏哲, 王棚飞, 吴焰樟 申请人:北京联合大学