基于图像识别和毫米波雷达融合的自动刹车方法和系统与流程
本发明涉及自动刹车控制技术，特别是涉及一种基于图像识别和毫米波雷达融合的自动刹车方法和系统。
背景技术：
自动刹车系统主要由信息采集系统、数据分析系统和执行机构3大模块构成，自动刹车系统通过信息采集系统收集到车辆外部环境数据，然后利用数据分析系统将采集到的数据做进一步处理，得出本车与前方目标的距离、与前方目标的预计碰撞时间。执行机构系统将数据分析系统的输出结果与警示距离、安全距离进行比较，当距离小于警示距离时进行警报提示，而当小于安全距离时即使在驾驶员没有来得及踩制动踏板的情况下，自动刹车系统系统也会启动，对汽车进行自动制动，即执行机构会自动在刹车系统上加力，以帮助驾驶员在做出动作前缩短刹车距离，最大限度避免碰撞事故的发生。
在实际行车中，由于驾驶员的疲劳，雨天雾天等恶劣天气导致视线受阻等，很容易发生交通事故。通过对交通事故分析发现，配备自动刹车系统可以降低17％以上的追尾事故。在最新的美国保险协会与欧洲新车碰撞测试中心(e-ncap)的车辆安全评价标准中，均将自动刹车系统作为重要的评价对象。由此可见，自动刹车系统对行车安全以具有很大的帮助。
目前自动刹车系统的数据采集模块，或使用雷达系统，或使用视频系统。
雷达系统的主要问题是只能对纵向距离进行准确检测，但是对于横向距离以及垂直向信息无法识别，即对物体尺寸、运动等不能进行良好的估计。由于雷达的发射角度小，距离过于近的物体可能测不到或者不准(如波束从对方车正面穿过去、对方不是正好在正前方等等情况)。基于图像的测距系统容易受到光照、天气、等的影响，尤其在夜间以及极端天气(如雾天，雪天)条件下，检测性能大打折扣。
技术实现要素：
基于此，有必要提供一种安全性能高的基于图像识别和毫米波雷达融合的自动刹车方法和系统。
一种基于图像识别和毫米波雷达融合的自动刹车方法，包括以下步骤：
采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；
采用车载摄像头获取本车前方的环境图像及目标图像；
采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；
将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；
根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；
在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。
在其中一个实施例中，所述采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理的步骤包括：
采用fcn深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
采用cfr图像语义分割进一步确定每个像素所属类标。
在其中一个实施例中，所述将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合的步骤包括：
动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
在其中一个实施例中，所述动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重的步骤包括：
在距离阈值范围内，调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
在其中一个实施例中，还包括以下步骤：
在碰撞预计时间超过安全时间临界时间点时，向本车的驾驶人员发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，控制本车的安全带预紧张。
一种基于图像识别和毫米波雷达融合的自动刹车系统，包括毫米波雷达模块、车载摄像头模块、语义分割处理模块、加权融合模块、计算模块及控制模块；
所述毫米波雷达模块用于采集本车前方的目标雷达图像及目标距离本车的距离；
所述车载摄像头模块用于获取本车前方的环境图像及目标图像；
所述语义分割处理模块用于采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；
所述加权融合模块用于将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；
所述计算模块用于根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；
在碰撞预计时间达到碰撞制动临界时间点时，所述控制模块用于控制本车进行自动刹车。
在其中一个实施例中，所述语义分割处理模块还用于采用fcn深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
所述语义分割处理模块还用于采用cfr图像语义分割进一步确定每个像素所属类标。
在其中一个实施例中，所述加权融合模块还用于动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
在其中一个实施例中，在距离阈值范围内，所述加权融合模块还用于调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，所述加权融合模块还用于降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
在其中一个实施例中，在碰撞预计时间超过安全时间临界时间点时，所述控制模块还用于向本车的驾驶人员发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，所述控制模块还用于向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，所述控制模块还用于控制本车的安全带预紧张。
上述基于图像识别和毫米波雷达融合的自动刹车方法和系统通过采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。由于将目标雷达图像、环境图像及目标图像进行了加权融合，进而根据加权融合的图像信息进行刹车控制，使得自动刹车的准确度更高，提高了驾驶的安全度。
附图说明
图1为基于图像识别和毫米波雷达融合的自动刹车方法的流程图；
图2为条件随机场图像语义分割的类标示意图；
图3为基于图像识别和毫米波雷达融合的自动刹车系统的模块图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，为基于图像识别和毫米波雷达融合的自动刹车方法的流程图。
一种基于图像识别和毫米波雷达融合的自动刹车方法，包括以下步骤：
步骤s110，采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离。
毫米波雷达是指工作在毫米波波段的雷达。其特点是波长短，穿透能力强，几乎不受外部气象的条件影响，探测性能稳定，实时性强。
步骤s120，采用车载摄像头获取本车前方的环境图像及目标图像。
在本实施例中，车载摄像头采用6层全玻璃镜头，水平视角(hfov)52°、垂直视角(vfov)38.4°，感光芯片为cmos数字图像传感器ar0132at。该系统具有集成度高、功耗低、成本低的优点。当然，车载摄像头并限于上述镜头，拍摄视角也可根据实际需要进行调节。
由于雷达的发射角度小，近距离物体可能测不到或者不准。针对波束从对方车正面穿过去，目标不是正好在正前方等一些很难检测的情况。结合之前的雷达信息作出一个综合判断(因为近车不是凭空出现，肯定是前车拉近或者旁边车切入造成。之前的雷达肯定有记录到一辆远车慢慢拉近，或者前方侧面有个车)，因此，综合车载摄像头的图像采集结果，可以检测到这些特殊情况下的车辆。
步骤s130，采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理。
具体的，步骤s130包括：
采用fcn(fullyconvolutionalnetworks全卷积网络)深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
采用cfr(conditionalrandomfields条件随机场)图像语义分割进一步确定每个像素所属类标。
在本实施例中，利用fcn深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域概率，得出每个像素的类标概率后，使用cfr进一步确定出每个像素所属类标，其中全连接条件随机场crf的能量函数是：
通过优化求解可得该能量函数的解为：
crf图像语义分割的目标就是：通过观测变量yi，推理出潜变量xi的对应类别标签。具体如图2所示。
在深度学习语义分割出可行驶区域基础上，再利用图像和毫米波雷达系融合系统进行信息采集，极大地提高了检测性能，避免了一些可能的误判，提高了系统的鲁棒性。
步骤s140，将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度。
具体的，步骤s140包括：动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
在本实施例中，通过毫米波雷达检测出本车前方的目标及目标距离本车的距离(如目标1距离200m)。
通过车载摄像头，获取到外部环境的图像信息，使用ldcf(localdecorrelationchannelfeatures，物体检测算法)算法检测出本车前方的物体(如检测到的目标有人、车辆)。再结合相机成像原理，计算出物体距离本车的距离。
加权融合并非简单的对目标雷达图像、环境图像及目标图像进行加和，而是通过动态调整雷达系统和图像采集系统的权重，使得两种信息得到相互验证或者纠正，最终获得更可靠的外部信息。
通常，对于较近物体的检测，由雷达系统获取的信息较为可靠。而对于较远的物体，视觉系统传递的信息相对更为可靠。
在本实施例中，所述动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重的步骤包括：
在距离阈值范围内，调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
具体的，设定一个距离阈值d，在d以内，认为毫米波雷达的可靠性更高，即调整毫米波雷达的权重高于车载摄像头。根据毫米波雷达所检测到的目标去匹配车载摄像头所检测到的目标，如果车载摄像头检测出某位置某个物体，而毫米波雷达也检测到了此距离的某个目标，此时毫米波雷达与车载摄像头实现了相互验证，此信息的可靠度得到提升；如果车载摄像头检测到的目标没有与毫米波雷达检测的目标相匹配，此时，认为车载摄像头未匹配到的目标是误检，纠正了车载摄像头检测的误检。
当超出设定阈值d时，交换两个毫米波雷达与车载摄像头的权重，再次进行信息的验证与纠正。获得更为可靠的信息。
步骤s150，根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间。
依据本车与目标的距离、速度及加速度等信息，计算本车与前方目标的碰撞预计时间。
步骤s160，在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。
在本实施例中，基于图像识别和毫米波雷达融合的自动刹车方法，还包括以下步骤：
在碰撞预计时间超过安全时间临界时间点时，向本车的驾驶人员发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，控制本车的安全带预紧张。
具体的，如果本车与目标之间的距离处在安全距离(未超过安全时间临界时间点)以内，则不做响应；如果本车与目标车之间从安全距离进入到较危险距离，或者前方碰撞预计时间超过安全时间临界时间点，会发出视觉警报以提醒驾驶员注意安全。当处于较危险距离(超过安全时间临界时间点、而没有达到碰撞制动临界时间点时)，会通过声音报警、震动等方式预警，并启动制动器，开始预压。当处于危险距离，即碰撞预计时间达到碰撞制动临界时间点时，制动器完全施压即控制自动刹车。如果车处于避免碰撞距离以内(超过不可避免碰撞制动临界时间点时)，碰撞不可避免，执行提前给予安全带预紧张。
上述方法利用深度学习语义分割从背景图中把可行驶区域分离出来，然后结合基于车载摄像头获取的图像和毫米波雷达获取的图像进行加权融合，避免了一些可能的误检，提高了系统的鲁棒性，基于图像识别和毫米波雷达融合的自动刹车方法又很好的将两种互补的信息进行融合，根据距离阈值动态设定毫米波雷达和车载摄像头的权重，使得信息的融合更为灵活合理，获得了更详细、更可靠、精度更高的环境信息；从而使自动刹车更加的敏锐和可靠，实现了更好的驾驶安全性、舒适性和燃油经济性。
如图3所示，为基于图像识别和毫米波雷达融合的自动刹车系统的模块图。
一种基于图像识别和毫米波雷达融合的自动刹车系统，包括毫米波雷达模块101、车载摄像头模块102、语义分割处理模块103、加权融合模块104、计算模块105及控制模块106；
所述毫米波雷达模块101用于采集本车前方的目标雷达图像及目标距离本车的距离；
所述车载摄像头模块102用于获取本车前方的环境图像及目标图像；
所述语义分割处理模块103用于采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；
所述加权融合模块104用于将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；
所述计算模块105用于根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；
在碰撞预计时间达到碰撞制动临界时间点时，所述控制模块106用于控制本车进行自动刹车。
所述语义分割处理模块103还用于采用fcn深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
所述语义分割处理模块103还用于采用cfr图像语义分割进一步确定每个像素所属类标。
所述加权融合模块104还用于动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
在距离阈值范围内，所述加权融合模块104还用于调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，所述加权融合模块104还用于降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
在碰撞预计时间超过安全时间临界时间点时，所述控制模块106还用于向本车的驾驶人员发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，所述控制模块106还用于向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，所述控制模块106还用于控制本车的安全带预紧张。
上述基于图像识别和毫米波雷达融合的自动刹车方法和系统通过采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。由于将目标雷达图像、环境图像及目标图像进行了加权融合，进而根据加权融合的图像信息进行刹车控制，使得自动刹车的准确度更高，提高了驾驶的安全度。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
- 还没有人留言评论。精彩留言会获得点赞！