专利名称：一种基于图像传感器的辅助驾驶装置及其工作方法
技术领域：
本发明涉及一种基于图像传感器的辅助驾驶装置及其工作方法，属于汽车主动安全领域。
背景技术：
车道线检测和障碍物检测是实现智能车辆辅助驾驶和自主避障的前提，主要的传 感手段有雷达，激光等主动传感器和基于视觉的被动传感器。雷达和激光检测效果好，测距 准确，但不能检测车道线，并且由于价格等原因尚未实现推广。而视觉是人类观察和认识世 界的重要方式，驾驶员在驾驶车辆过程中所需信息的90%来自视觉。视觉图像传感器具有 较高的性价比，在很多场合得到了应用，如车道线识别，路标识别等，并且作为被动式传感 器，对环境几乎没有不利的影响。目前研究车辆辅助驾驶系统的国内外企业或者科研机构很多，但功能单一，成本 高，不能同时实现车道线检测与障碍物检测，如宝马公司的车道偏离报警系统；奔驰的夜视 系统；沃尔沃的辅助换道系统等，一般运用了雷达，红外等传感器，系统成本比较高，难以实 现市场推广。综合市场上存在的辅助驾驶方法与装置，利用图像处理技术和嵌入式系统，设计 一种低成本的图像处理与显示系统，给予驾驶员有关车道线与障碍物的信息，从而实现辅 助驾驶以及智能导航的目的。
发明内容
本发明的目的就是在前人研究的辅助驾驶方法与装置的基础上，克服其成本高， 功能单一等缺点，设计一种具有良好的移动性能、较强的车辆适应性、效果可靠、重量较轻 的图像辅助驾驶装置及其工作方法。本发明的技术解决方案是这样实现的—种基于图像传感器的辅助驾驶装置，包括机箱和内部装置，所述内部装置包括 图像传感器、电源、液晶驱动板及液晶屏、触摸屏、触摸屏驱动板、嵌入式处理系统，其中电 源分别输出电源至嵌入式处理系统、液晶驱动板，图像传感器与嵌入式处理系统的输入端 连接，嵌入式处理系统的第一输出端依次连接液晶驱动板、液晶屏，嵌入式处理系统的第二 输出端依次连接触摸屏驱动板、触摸屏。本发明的基于图像传感器的辅助驾驶装置在所述机箱的一侧设置有用于对所述 内部装置进行散热的风扇，电源给风扇供电。本发明的基于图像传感器的辅助驾驶装置的内部装置还包括扩展设备与嵌入式 处理系统相连接，扩展设备为一块PCB电路板，该PCB电路板包括外部电源接入口、嵌入式 处理系统电源端口、显示系统电源端口、冷却风扇电源端口、显示系统转接信号端口、显示 系统控制信号端口、电路保护电容以及通讯端口。本发明的辅助驾驶装置的工作方法，具体步骤为
Α、初始化程序，采用图像传感器进行图像采集；将采集到的图像信息缓存在嵌入式处理系统的存储器中；B、嵌入式处理系统读取步骤A所述图像信息的单帧图片；C、嵌入式处理系统将步骤B所述图像信息进行灰度变换，将该图像信息转换成灰 度图像；D、嵌入式处理系统进行车道线检测、障碍物检测处理，提取出车道线与障碍物信 息；E、在步骤B中读取的图像上标示出步骤D提取出的车道线及障碍物信息，一并在 液晶屏上显示出来，给予驾驶员提示，然后读取下一帧图像并进行处理。本发明的基于图像传感器的辅助驾驶装置的工作方法的步骤D中所述车道线检 测的方法具体为F、对步骤B所述转换后灰度图像进行边缘检测；G、设计一套3*3的模板，根据线段的方向性分别对左车道及右车道的灰度图像进 行模板匹配；H、对G步骤匹配后的图像进行Hough变换、滤波操作，滤除部分短线段；I、进行点的聚类处理，连接长线段，检测出车道线信息，继续进行下一帧图像的处理。本发明的基于图像传感器的辅助驾驶装置的工作方法的步骤D中所述车辆障碍 物检测的方法具体为J、对步骤B所述转换后灰度图像进行边缘检测；K、根据图像中的实际目标位置选择感兴趣区域；L、根据道路背景与车底阴影在灰度图象中的灰度区别，选择合适的灰度阈值，在 感兴趣区域内进行图像分割；车底阴影部分形成连通域，与图像的其余部分有明显的边界 差别，由此认为该连通域即为检测到的车底阴影，标出水平线段；M、利用车辆尾部的图像轮廓和灰度信息的垂直对称性，在感兴趣区域内检测车辆 的对称轴，结合步骤L的结果，确定障碍物目标的位置；N、读入下一帧图像信息，根据上一帧检测到的目标位置，利用均值平移算法进行 目标跟踪；0、每隔一定的帧数以后，重新对当前图像中的障碍物进行检测，再进行目标跟踪。 有益效果与现有技术相比，本发明提供的辅助驾驶装置以性价比较高的图像传感器作为图 像传感器，安装简单，对车体无破坏，并且可以实现触摸屏的操控；内置电源设计可以提高 系统的移动性能；外置电源可以使用车载的电子点烟器。算法部分采用了传统的灰度变换， 边缘检测，兴趣区域提取，曲线拟合等，计算量小，实时性好。因此，安装该系统的车辆能够 在复杂的道路环境下给予驾驶员危险提示，并可以给予无人驾驶系统环境信息。
图1是本发明实施例的硬件结构框架图。图2是图1所示的安装层次示意图。
图3是图1所示的软件系统示意图。图4是图3所述的车道线检测方法示意图。图5是图3所述的障碍物检测方法示意图。图中标号名称1.图像传感器，2.风扇，3.电源系统，4.液晶驱动板，5.液晶屏，6.触摸屏，7.触摸屏驱动板，8.嵌入式处理系统，9.扩展设备。
具体实施例方式结合图1 图3所示，本发明一种基于图像传感器的辅助驾驶装置及其工作方法 硬件结构如下—种基于图像传感器的辅助驾驶装置，由图像采集系统、图像处理系统、图像显示 系统等组成，其中图像传感器通过吸盘固定在车辆内部挡风玻璃上，或者将图像传感器固 定在车内顶部，采集前方道路信息，辅助驾驶系统机箱放置在驾驶员前方的仪表台上，两者 通过数据线连接。图像传感器通过一块半刚性金属角铁与吸盘固定在一起，可以通过调节 角铁的角度来改变图像传感器的俯仰角。嵌入式处理系统与电源系统固定在所述的机箱 内，液晶驱动板及液晶屏粘接在一起、整体通过螺栓连接在机箱上，所述的相关电源接口以 及通讯接口集成在PCB电路板上，电源开关固定在机箱上。上述的辅助驾驶装置构成为以机箱为载体，内部电源与嵌入式处理系统固定在 机箱上，其上端连接电路板，电路板上端通过螺栓固定显示系统，触摸屏粘结在显示屏上， 机箱预留下通讯接口，电源接口，开关接口，散热风扇口，以及一系列的散热口。上述的电路板包括开关端口，输入电源端口，以及嵌入式处理系统，显示系统，散 热系统的电源端口，以及与它们相对应的电路保护电容，显示系统需要的信号端口与显示 控制端口，以及触摸屏驱动板用螺栓固定在该电路板上。相关的通讯端口固定在电路板上， 可以实现与外接设备的通讯。图像传感器采集到的图像存储在缓存空间，通过软件读取缓存空间的图片帧，然 后通过车道线检测和障碍物检测，在原图上标记出来，显示到液晶屏上。图像传感器通过吸盘固定在挡风玻璃上，处理系统与显示系统放置在仪表盘上， 图像传感器采集车辆前方的道路图像，通过数据线传输到存储单元，用图像软件读取缓存， 进行图像处理，处理结束后将结果显示在液晶屏上，继续读取下一帧。电源系统有两部分组成，内置锂电池和外置电源，外置电源可以接点烟器电源，通 过三相开关的切换，实现不同环境下的使用。系统自上而下分为4层，第一层为触摸板和液晶屏部分，四线电阻式触摸板粘贴 在液晶屏的表面，通过四点定位来对触摸板进行触点校准。第二层为液晶屏和触摸板的驱 动电路板，第三层为图3所示的电路板，集成了相关电源端口与通讯端口，第四层为嵌入式 CPU系统以及电源系统，固定在盒子上，同时在盒子的左端有一个冷却风扇，从电路板供电， 给系统冷却。工作原理如下A、初始化程序，采用图像传感器进行图像采集；将采集到的图像信息缓存在嵌入 式处理系统的存储器中；
B、嵌入式处理系统读取步骤A所述图像信息的单帧图片；C、嵌入式处理系统步骤B所述图像信息进行灰度变换，将该图像信息转换成灰度图像；D、嵌入式处理系统进行车道线检测、障碍物检测处理，提取出车道线与障碍物信 息；E、在步骤B中读取的图像上标示出步骤D提取出的车道线及障碍物信息，一起在 液晶屏上显示出来，给予驾驶员提示，然后读取下一帧图像并进行处理。步骤D中所述车道线检测的方法具体为F、对步骤B所述转换后灰度图像进行边缘检测；G、设计一套3*3的模板，根据线段的方向性分别对左车道及右车道的灰度图像进 行模板匹配；H、对G步骤匹配后的图像进行Hough变换、滤波操作，滤除部分短线段；I、进行点的聚类处理，连接长线段，检测出车道线信息，继续进行下一帧图像的处理。步骤D中所述障碍物检测的方法具体为J、对步骤B所述转换后灰度图像进行边缘检测；K、根据图像中的实际目标位置选择感兴趣区域；L、根据道路背景与车底阴影在灰度图象中的灰度区别，选择合适的灰度阈值，在 感兴趣区域内进行图像分割；车底阴影部分形成连通域，与图像的其余部分有明显的边界 差别，由此认为该连通域即为检测到的车底阴影，标出水平线段；M、利用车辆尾部的图像轮廓和灰度信息的垂直对称性，在感兴趣区域内检测到车 辆的对称轴，结合步骤L的结果，确定障碍物目标的位置；N、读入下一帧图像信息，根据上一帧检测到的目标位置，利用均值平移算法进行 目标跟踪；0、每隔一定的帧数以后，重新对当前图像中的障碍物进行检测，再进行目标跟踪。
权利要求
一种基于图像传感器的辅助驾驶装置，包括机箱和内部装置，其特征在于所述内部装置包括图像传感器(1)、电源(3)、液晶驱动板(4)及液晶屏(5)、触摸屏(6)、触摸屏驱动板(7)、嵌入式处理系统(8)，其中电源(3)分别输出电源至嵌入式处理系统(8)、液晶驱动板(4)，图像传感器(1)与嵌入式处理系统(8)的输入端连接，嵌入式处理系统(8)的第一输出端依次连接液晶驱动板(4)、液晶屏(5)，嵌入式处理系统(8)的第二输出端依次连接触摸屏驱动板(7)、触摸屏(6)。
2.根据权利要求1所述的基于图像传感器的辅助驾驶装置，其特征在于在所述机箱 的一侧设置有用于对所述内部装置进行散热的风扇(2)，电源(3)给风扇(2)供电。
3.根据权利要求1所述的基于图像传感器的辅助驾驶装置，其特征在于所述内部装 置还包括扩展设备(9)与嵌入式处理系统(8)相连接，扩展设备(9)为一块PCB电路板，该 PCB电路板包括外部电源接入口、嵌入式处理系统电源端口、显示系统电源端口、冷却风扇 电源端口、显示系统转接信号端口、显示系统控制信号端口、电路保护电容以及通讯端口。
4.一种基于权利要求1所述的基于图像传感器的辅助驾驶装置的工作方法，其特征在 于具体步骤为A、初始化程序，采用图像传感器(1)进行图像采集；将采集到的图像信息缓存在嵌入 式处理系统(8)的存储器中；B、嵌入式处理系统(8)读取步骤A所述图像信息的单帧图片；C、嵌入式处理系统(8)将步骤B所述图像信息进行灰度变换，将该图像信息转换成灰 度图像；D、嵌入式处理系统(8)进行车道线检测、障碍物检测处理，提取出车道线与障碍物信息；E、在步骤B中读取的图像上标示出步骤D提取出的车道线及障碍物信息，一并在液晶 屏上显示出来，给予驾驶员提示，然后读取下一帧图像并进行处理。
5.根据权利要求4所述的基于图像传感器的辅助驾驶装置的工作方法，其特征在于 步骤D中所述车道线检测的方法具体为F、对步骤B所述转换后灰度图像进行边缘检测；G、设计一套3*3的模板，根据线段的方向性分别对左车道及右车道的灰度图像进行模 板匹配；H、对G步骤匹配后的图像进行Hough变换、滤波操作，滤除部分短线段；I、进行点的聚类处理，连接长线段，检测出车道线信息，继续进行下一帧图像的处理。
6.根据权利要求4所述的基于图像传感器的辅助驾驶装置的工作方法，其特征在于 步骤D中所述车辆障碍物检测的方法具体为J、对步骤B所述转换后灰度图像进行边缘检测；K、根据图像中的实际目标位置选择感兴趣区域；L、根据道路背景与车底阴影在灰度图象中的灰度区别，选择合适的灰度阈值，在感兴 趣区域内进行图像分割；车底阴影部分形成连通域，与图像的其余部分有明显的边界差别， 由此认为该连通域即为检测到的车底阴影，标出水平线段；M、利用车辆尾部的图像轮廓和灰度信息的垂直对称性，在感兴趣区域内检测车辆的对 称轴，结合步骤L的结果，确定障碍物目标的位置；N、读入下一帧图像信息，根据上一帧检测到的目标位置，利用均值平移算法进行目标足艮S宗；O、每隔一定的帧数以后，重新对当前图像中的障碍物进行检测，再进行目标跟踪。
全文摘要
本发明公开了一种基于图像传感器的辅助驾驶装置以及工作方法，属于汽车主动安全领域。本发明由图像传感器(1)、风扇(2)、电源(3)、液晶驱动板(4)及液晶屏(5)、触摸屏(6)及触摸屏驱动板(7)、嵌入式处理系统(8)、扩展设备(9)组成；该辅助驾驶系统直接采用图像传感器作为信息感知部分，通过嵌入式系统的图像处理算法，提取车道线和车辆障碍物信息，达到辅助驾驶的功能。该系统结构紧凑、重量轻、能耗低、易于操作，具有良好的移动性、并且检测效果好、实时性好，性价比高，适用于车辆辅助驾驶以及智能车辆视觉导航领域。
文档编号B60W30/095GK101804813SQ201019026038
公开日2010年8月18日 申请日期2010年2月4日 优先权日2010年2月4日
发明者李舜酩, 沈峘, 缪小冬 申请人:南京航空航天大学