一种融合多态信息的辅助驾驶方法
【专利摘要】本发明涉及一种融合多态信息的辅助驾驶方法。采集驾驶员的面部图像信息、生理信息和车辆前方道路图像信息；对采集到的驾驶员的面部图像信息和车辆前方图像信息进行图像预处理；对数据预处理后的面部图像信息和车辆前方图像信息进行特征提取；对特征提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得到驾驶员的眼部状态，判断驾驶员的眼睛为睁开/闭合；根据特征提取后得到的车道偏移量，判断当前车辆偏移状态；根据驾驶员的生理信息，判断驾驶员的生理特征状态；综合以上三种状态信息，综合判断驾驶员的状态；根据驾驶员的状态做出相应的预警提示。本发明通过将各分支特征进行融合，全面保障驾驶员的驾驶安全。
【专利说明】
一种融合多态信息的辅助驾驶方法
技术领域
[0001] 本发明涉及辅助驾驶领域，具体的说是一种融合多态信息的辅助驾驶方法。
【背景技术】
[0002] 随着汽车及互联网行业的快速发展，交通事故已成为现今社会的严重问题，据统 计，50%以上的交通事故源于驾驶员的疲劳驾驶。车内驾驶员疲劳监测显得尤为重要。目前 驾驶员的疲劳监测方法大致分为三类:基于驾驶员的生理信息的疲劳状态监测、基于驾驶 员行为的疲劳状态监测、基于车辆状态信息的疲劳监测方法。除了国外产品外，国内预防疲 劳驾驶的产品大多存在实用性较差、监测方法不合理、操作不便等问题。
【发明内容】
[0003] 针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种融合 多态信息的辅助驾驶方法，即根据多种条件融合综合判决驾驶员当前所处的状态。
[0004] 本发明为实现上述目的所采用的技术方案是：一种融合多态信息的辅助驾驶方 法，包括以下步骤：
[0005] 采集驾驶员的面部图像信息、生理信息和车辆前方道路图像信息；
[0006] 对采集到的驾驶员的面部图像信息和车辆前方图像信息进行图像预处理；
[0007] 对数据预处理后的面部图像信息和车辆前方图像信息进行特征提取；
[0008] 对特征提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得到驾 驶员的眼部状态，判断驾驶员的眼睛为睁开/闭合;根据特征提取后得到的车道偏移量，判 断当前车辆偏移状态;根据驾驶员的生理信息，判断驾驶员的生理特征状态；
[0009] 综合以上三种状态信息，综合判断驾驶员的状态；
[0010] 根据驾驶员的状态做出相应的预警提示。
[0011] 所述对采集到的驾驶员的面部图像信息进行图像预处理，包括以下步骤：
[0012] 截取采集到的驾驶员的面部图像的上半部分，对截取后的图像进行灰度化处理；
[0013] 对灰度化处理后的图像进行均值滤波，去除面部的干扰信息，突出眼球部分；
[0014] 对均值滤波后的图像进行直方图均衡化，增强图像的对比度。
[0015] 所述对采集到的车辆前方道路图像信息进行数据预处理，具体为：
[0016] 在车辆前方道路图像中选择车道线的四个边界点，作为已知标定点；
[0017] 根据标定的的四个边界点对车辆前方道路图像做透视变换，使车辆前方道路图像 变换为俯视视角的图像，得到平行的车道线；
[0018] 根据透视变换的结果选择包含车道线的感兴趣区域；
[0019] 通过双峰法对感兴趣区域的图像做二值化处理，将车道线从背景中提取出来；
[0020] 对二值化后的图像进行边缘检测，使车道线细化。
[0021 ]所述透视变换根据下列方程求解：
[0023] 其中，M为系数，包含m，...，m8八个系数，即标定的四个边界点的八个坐标值。Xl， yi为原始坐标，xi'，yi'为透视之后的坐标，i = l,. . .，4。
[0024] 所述对数据预处理后的面部图像信息进行特征提取，具体为:利用Gabor小波对预 处理后的面部图像进行图像变换，得到一组不同方向不同尺度的特征图像。
[0025] 所述对数据预处理后的车辆状态信息进行特征提取，包括以下步骤；
[0026] 将预处理得到的图像进行霍夫变换，检测出图像中的车道线；
[0027] 通过比例关系计算当前车辆行驶的偏移车道线距离，即根据霍夫变换的结果计算 车道偏移量：
[0028] n0ffset=(nRightSet-nLeftSet)/(nRightSet+nLeftSet)/nPara
[0029]其中，nRightSet是右侧车道线最下面交点的列坐标，nLeftSet是左侧的列坐标， nPara是一个提示量级的参数，为预设值。
[0030] 所述根据驾驶员的生理信息，判断驾驶员的生理特征状态，具体为：
[0031] 对驾驶员的心率、血压信息求取均值，综合衡量驾驶员的当前生理状态：
[0032] c = (h+b)/2
[0033] 式中，c表示取心率和血压的均值，h表示驾驶员的心率，b表示驾驶员的血压值； [0034] 若cSiTh，则认为驾驶员处于正常状态，适宜驾驶;gc>iTh，则认为驾驶员处于 疲劳状态，不适宜驾驶，iTh为预设阈值。
[0035] 所述对特征提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得 到驾驶员的眼部状态，判断驾驶员的眼睛为睁开/闭合，根据相邻帧时间间隔计算闭眼的连 续帧数，进而得到连续闭眼时间，当驾驶员闭眼时间持续超过预设阈值时，则驾驶员被视为 疲劳驾驶。
[0036] 所述根据特征提取后得到的车道偏移量，判断当前车辆偏移状态，具体为：
[0037] 将车道左右两侧各等分为n个区域，车辆每偏移一个区域视为偏离车道线一次；当 车辆行驶连续偏离车道线次数超过预设阈值时，视为疲劳驾驶。
[0038]所述综合以上三种状态信息，综合判断驾驶员的状态，具体为：
[0039] 如果有两种或两种以上判定驾驶员为疲劳状态，则确认当前驾驶员处于疲劳状 态;反之，则认为驾驶员未处于疲劳状态，可以正常驾驶。
[0040] 本发明具有以下优点及有益效果：
[0041] 1.本发明提供一种安全的辅助驾驶方式，通过将各分支特征进行融合，全面保障 驾驶员的驾驶安全；
[0042] 2.本发明提供一种安全的辅助驾驶方式，各特征分别进行匹配与判决；
[0043] 3.本发明将诊断结果向驾驶员本人及其家人朋友进行及时的预警，增加了驾驶员 听取和执行建议的可能性，保障了行车的安全性。
[0044] 4.将小波Gabor特征用于面部图像信息，进而识别人眼睁闭情况，计算驾驶员持续 闭眼的时间，以此评价驾驶员当前是否适宜驾驶的状态。
【附图说明】
[0045] 图1为本发明方法流程图；
[0046] 图2为本发明方法中的特征提取示意图。
【具体实施方式】
[0047] 下面结合附图及实施例对本发明做进一步的详细说明。
[0048] 如图1所示，一种融合多态信息的辅助驾驶方法，包括:采集驾驶员的面部图像信 息、生理信息和车辆前方道路图像信息;对采集到的驾驶员的面部图像信息和车辆前方图 像信息进行图像预处理;对数据预处理后的面部图像信息和车辆状态信息进行特征提取； 对待测面部图像信息进行特征模板匹配，驾驶员处于正常状态时，眼睛睁得很开;疲劳时， 眼睛睁得很小;睡眠时，眼睛会完全合上。据此判断驾驶员的疲劳状态;计算车辆处于当前 车道线的偏移量，判断当前车辆偏移状态信息;根据驾驶员自身心率和血压的状况，确定驾 驶员的生理特征状态;综合以上三种数据特征，最终判断驾驶员的状态;如果有两种或两种 以上判定驾驶员为疲劳状态，则确认当前驾驶员处于疲劳状态，发出预警;也可以在三种判 断均得出疲劳状态时，认定当前驾驶员处于疲劳状态；反之，则认为驾驶员未处于疲劳状 态，可以正常驾驶。
[0049] 根据驾驶员的当前状态做出相应的预警提示。
[0050] 对采集到的驾驶员的面部图像信息进行图像预处理，具体为:针对采集的人脸面 部图像信息，进行必要的预处理。首先截取采集图像的上1/2部分，对图像进行灰度化，在灰 度空间对图像进行操作;其次，对区域图像进行均值滤波，去除面部其他干扰信息，如面部 的斑点或伤痕，突出眼球的有用信息；最后对区域图像进行直方图均衡化，通过均衡化可以 使图像获得较好的视觉效果，增强图像的对比度，使图像变得更加清楚，突出图像的细节。
[0051] 对采集到的车辆前方道路图像信息进行数据预处理，具体为:针对车辆前方摄像 头采集的车辆行驶车道信息，对图像进行预处理。首先需要对目标进行标定，即选择图像中 车道线的四个边界点，作为已知标定点，为下一步透视变换做准备;其次，根据标定的四个 点对图像做透视变换，即，将由摄像头直接采集视角方向的图像，变换为俯视视角的图像， 获得到平行的车道线;第三，根据透视变换的结果选择我们感兴趣区域，将要利用的车道信 息包含进来;第四，针对感兴趣的区域，通过双峰法对图像做二值化处理，将车道线从背景 中提取出来，即车道线的有用信息;最后，对二值化后的图像进行边缘检测，使车道线细化。 透视变换根据下列方程求解透视系数：
[0053]其中M为系数，包含mi,...，m8八个系数，即标定的四个点的八个坐标值。Xi，yi为原 始坐标，xi'，yi'为透视之后的坐标，i = l，. . .，4。
[0054]如图2所示，对数据预处理后的面部图像信息进行特征提取;选取Gabor小波特征 对采集到的面部图像信息进行特征提取，Gabor小波对于图像的边缘敏感，能够提供良好的 方向选择和尺度选择特性，而且对于光照变化不敏感，能够提供对光照变化良好的适应性。 采用多通道滤波技术，将一组具有不同时频域特性的Gabor小波应用于图像变换，每个通道 都能够得到输入图像的某种局部特性，这样可以根据需要在不同粗细粒度上分析图像。使 用Gabor小波特征，可以将人脸的一些关键功能区域，如眼睛等的局部特征被强化，从而有 利于区分不同的人眼睁闭情况。使用Gabor小波特征，获取不同尺度，不同方向的特征，每一 个尺度和方向的特征与模板进行匹配，求出综合的匹配系数，检测眼睛的位置。这样从多个 尺度，多个方向进行模板匹配，能够有效地区分出眼睛和眉毛，提高计算眨眼频率和闭眼时 间准确性。
[0055] 根据提取的特征，识别待测出图像中人眼的睁闭情况，并计算闭眼的连续帧数及 眨眼频率，以此衡量驾驶员是否存在疲劳驾驶。计算闭眼时间，首先计算相邻帧时间：
[0056] tNext = l/fps
[0057]其中，tNext为视频图像相邻帧的时间，fps为视频帧率。
[0058] 基于经验统计，这里设定当驾驶员闭眼时间持续超过3秒，则驾驶员将被视为疲劳 驾驶。
[0059] 驾驶员面部特征信息模板为预先生成的，包含了多个尺度、多个方向的眼部特征 图像。
[0060] 对数据预处理后的车辆状态信息进行特征提取;车辆状态信息即车在行驶过程中 偏离车道的距离。将预处理得到的图像进行霍夫变换，检测出图像中的车道线。再通过比例 关系计算当前车辆行驶的偏移车道线距离。根据霍夫变换的结果计算最终的车道偏移量： [0061 ] n0ffset = (nRightSet-nLeftSet)/(nRightSet+nLeftSet)/nPara
[0062]其中nRightSet是右侧车道线最下面交点的列坐标，nLeftSet是左侧的列坐标， nPara是一个提示量级的参数。例如，把偏移设定为3个偏移量级，即将车道左侧等分4个区 域，则nPara = l/4,作为区域区分，衡量车辆偏移车道情况。
[0063]设定疲劳驾驶条件:车辆每偏移一个区域的距离，视为偏离车道线一次;当车辆行 驶连续偏离车道线5次及以上，视为疲劳驾驶等相关情况，不适宜驾驶情况。
[0064]驾驶员的生理信息包括驾驶员的心率、血压信息，对两种数据信息求取均值，综合 衡量驾驶员的当前生理状态。
[0065] c = (h+b)/2
[0066] 式中，c表示取心率和血压的均值，h表示驾驶员的心率，b表示驾驶员的血压值。 [0067]将心率和血压的均值作为衡量驾驶员当前生理状况的特征依据，采集驾驶员在各 种状态下的两种指标，根据大量统计，基于驾驶员自身体质，设定合适的特征阈值iTh，用于 驾驶员状态区分。即若cSiTh，则认为驾驶员处于正常状态，适宜驾驶;gc>iTh，则认为驾 驶员处于疲劳状态，不适宜驾驶。
[0068]建立驾驶员面部信息、生理信息、车辆前方道路信息的数据库，包含家人、医院及 工作单位的联系方式，在驾驶员处于疲劳状态时，能够及时通知家人，进行预警提示;及时 通知医院，做必要的准备;及时通知单位，如若因驾驶员疲劳驾驶问题引发工作耽搁，可以 追溯缘由。
[0069] 根据对驾驶员频繁的监测，定期诊断驾驶员的健康状态，提出建议是否需要去医 院进行进一步的检查，是否需要注意休息；
[0070] 根据每次对驾驶员状态判决结果，将数据重新返回存储至数据库，更新数据，更新 面部信息匹配、生理信息，这样更符合实际情况。
【主权项】
1. 一种融合多态信息的辅助驾驶方法，其特征在于，包括W下步骤： 采集驾驶员的面部图像信息、生理信息和车辆前方道路图像信息； 对采集到的驾驶员的面部图像信息和车辆前方图像信息进行图像预处理； 对数据预处理后的面部图像信息和车辆前方图像信息进行特征提取； 对特征提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得到驾驶员 的眼部状态，判断驾驶员的眼睛为睁开/闭合;根据特征提取后得到的车道偏移量，判断当 前车辆偏移状态;根据驾驶员的生理信息，判断驾驶员的生理特征状态； 综合W上=种状态信息，综合判断驾驶员的状态； 根据驾驶员的状态做出相应的预警提示。2. 根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对采集 到的驾驶员的面部图像信息进行图像预处理，包括W下步骤： 截取采集到的驾驶员的面部图像的上半部分，对截取后的图像进行灰度化处理； 对灰度化处理后的图像进行均值滤波，去除面部的干扰信息，突出眼球部分； 对均值滤波后的图像进行直方图均衡化，增强图像的对比度。3. 根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对采集 到的车辆前方道路图像信息进行数据预处理，具体为： 在车辆前方道路图像中选择车道线的四个边界点，作为已知标定点； 根据标定的的四个边界点对车辆前方道路图像做透视变换，使车辆前方道路图像变换 为俯视视角的图像，得到平行的车道线； 根据透视变换的结果选择包含车道线的感兴趣区域； 通过双峰法对感兴趣区域的图像做二值化处理，将车道线从背景中提取出来； 对二值化后的图像进行边缘检测，使车道线细化。4. 根据权利要求3所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述透视变 换根据下列方程求解：其中，M为系数，包含mi，...，ms八个系数，即标定的四个边界点的八个坐标值。xi，yi为原 始坐标，xi'，yi'为透视之后的坐标，i = l，. . .，4。5. 根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对数据 预处理后的面部图像信息进行特征提取，具体为:利用Gabor小波对预处理后的面部图像进 行图像变换，得到一组不同方向不同尺度的特征图像。6. 根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对数据 预处理后的车辆状态信息进行特征提取，包括W下步骤； 将预处理得到的图像进行霍夫变换，检测出图像中的车道线； 通过比例关系计算当前车辆行驶的偏移车道线距离，即根据霍夫变换的结果计算车道 偏移量： nOffset=(nRightSet-nLeftSet)/(nRightSet+nLeftSetVnPara 其中，nRi曲tSet是右侧车道线最下面交点的列坐标，nLeftSet是左侧的列坐标，n化ra 是一个提示量级的参数，为预设值。7. 根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述根据驾 驶员的生理信息，判断驾驶员的生理特征状态，具体为： 对驾驶员的屯、率、血压信息求取均值，综合衡量驾驶员的当前生理状态： C=化+b)/2 式中，C表示取屯、率和血压的均值，h表示驾驶员的屯、率，b表示驾驶员的血压值； 若c《iTh，则认为驾驶员处于正常状态，适宜驾驶;若(3<1化，则认为驾驶员处于疲劳 状态，不适宜驾驶，i化为预设阔值。8. 根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对特征 提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得到驾驶员的眼部状 态，判断驾驶员的眼睛为睁开/闭合，根据相邻帖时间间隔计算闭眼的连续帖数，进而得到 连续闭眼时间，当驾驶员闭眼时间持续超过预设阔值时，则驾驶员被视为疲劳驾驶。9. 根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述根据特 征提取后得到的车道偏移量，判断当前车辆偏移状态，具体为： 将车道左右两侧各等分为n个区域，车辆每偏移一个区域视为偏离车道线一次；当车辆 行驶连续偏离车道线次数超过预设阔值时，视为疲劳驾驶。10. 根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述综合 W上=种状态信息，综合判断驾驶员的状态，具体为： 如果有两种或两种W上判定驾驶员为疲劳状态，则确认当前驾驶员处于疲劳状态;反 之，则认为驾驶员未处于疲劳状态，可W正常驾驶。
【文档编号】G06K9/00GK105912984SQ201610202713
【公开日】2016年8月31日
【申请日】2016年3月31日
【发明人】田雨农, 林琳, 周秀田, 于维双, 陆振波
【申请人】大连楼兰科技股份有限公司