车载环境识别装置的制造方法
【技术领域】
[0001]本发明涉及使用车载相机的本车辆的车载环境识别装置。
【背景技术】
[0002]近年来，进行图像识别的车载相机中，同时执行多个应用程序的多应用正在成为主流。车载相机中，使用图像识别专用的相机的系统以往是主流，但近年来兼用对用户提示影像用的相机和图像识别用的相机的系统正在增加。专利文献I是其一例。
[0003]作为同时执行多个应用程序的多应用的车载相机，有时将安装在车室外的相机用于图像识别，因此，检测脏污和雨滴等、判断当前的相机的状态是否为能够用于图像识别的状态的技术是必要的。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:日本特开2008-282067号公报
【发明内容】
[0007]发明要解决的技术问题
[0008]以往，通过判别车载相机的镜头上的脏污，来判别单体的图像识别应用程序的放弃状态。但是，该现有方法中，虽然能够判别镜头状态对图像识别而言在多应用中同为不适合的状态，但难以进行考虑了多应用的因各应用而异的耐污性能的应对。
[0009]于是，本发明的目的在于提供一种车载环境识别装置，其能够在对各应用程序而言最佳的时刻，对于是否执行参数调整、使用硬件进行的除污、故障的判断，根据图像进行自诊断。
[0010]用于解决问题的方法
[0011]为了解决上述问题，本发明的车载环境识别装置，特征在于，包括:拍摄部，其取得由拍摄装置所拍摄的图像；图像自诊断部，其对由所述拍摄部所取得的图像进行所述拍摄装置的镜头的脏污诊断；应用执行部，其执行选自规定的应用程序组中的应用程序；和故障判断部，其基于所述图像自诊断部的诊断结果，判断镜头的脏污状态是否在所述应用程序的容错范围内，如果在所述容错范围内，则将所述应用执行部执行的应用程序的动作设定为抑制模式，如果在所述容错范围外，则进行除污控制，或者进行所述应用程序的故障判断。
[0012]发明的效果
[0013]能够提供一种车载环境识别装置，在对各应用程序而言最佳的时刻，对于是否执行参数调整、使用硬件进行的除污、故障的判断，根据图像进行自诊断。
[0014]本说明书包括作为本申请优先权的基础的日本特许出愿2012-148977号说明书和/或附图中记载的内容。
【附图说明】
[0015]图1是表示本发明的实施方式的车载环境识别装置的结构的说明图。
[0016]图2是表示本发明的实施方式的图像自诊断部的结构的说明图。
[0017]图3是用模块表示各应用故障判断部300的结构的图。
[0018]图4是应用执行部的结构图。
[0019]图5表示本发明的车载环境识别装置的整体处理流程。
[0020]图6是镜头状态映射图和评分的说明图。
[0021]图7是图像自诊断输出表的说明图。
[0022]图8是车道识别的映射图评分使用方法的说明图。
[0023]图9是车辆检测的映射图评分使用方法的说明图。
[0024]图10是行人检测的映射图评分使用方法的说明图。
[0025]图11是标志检测的映射图评分使用方法的说明图。
[0026]图12表示车道识别故障判断表的一例。
[0027]图13表示车辆检测故障判断表的一例。
[0028]图14表示行人检测故障判断表的一例。
[0029]图15表示标志检测故障判断表的一例。
【具体实施方式】
[0030]对于本发明的实施方式的一例，参考附图在以下说明。
[0031]图1用模块表示了本发明的实施方式的车载环境识别装置10的结构。拍摄部100从车载相机(省略图示)取得图像，在图像自诊断部200中使用该图像，检测镜头水滴、镜头白浊、镜头反射、低能见度区域、脏污检测、路面反射、路面水膜、路面污泥、光源环境、天气等。这些结果在执行多应用时，用于判断是否易于发生误检测、未检测等的状况，决定之后的应对方法。图像自诊断部200也可以取得由CAN通信得到的本车辆行驶信息(车速、舵角、横摆角速度、雨刷、外部气温等)、和从车辆导航系统得到的本车辆的GPS位置和公路地图等信息作为判断材料。此外，也可以从服务器取得天气信息和气温信息，或者使用毫米波雷达、车间通信、路车间通信等，用作提高图像诊断精度的信息。
[0032]各应用故障判断部300根据由图像自诊断部200检测到的镜头水滴、镜头白浊、镜头反射、低能见度区域、脏污检测、路面反射、路面水膜、路面污泥、光源环境、天气等信息，按各应用判断作为系统要如何应对。例如，镜头上附着了水滴的情况下，根据图像上的哪个区域附着了何种程度的水滴，变更其应对方法。
[0033]首先，在多应用的车道识别和车辆检测中，因为处理区域不同，所以取决于何处附着了水滴，受到影响与否会变化。通过按各应用分别考虑受到何种程度的影响，能够仅对影响大的应用程序判断停止识别处理等，不一定需要使影响小的应用程序的工作停止。
[0034]此外，在某个应用程序的识别精度显著降低这样的情况下，也可以考虑实施除去水滴的硬件的起动。在当前处于实时工作状况下的应用程序中，通过与识别性能最早降低的应用程序相应地实施除去水滴的硬件的起动，能够不必提早实施硬件起动，而是在维持识别性能所必需的时刻实施硬件起动。
[0035]此外，因为能够按各应用分别考虑受到何种程度的影响，也能够动态地变更软件处理的参数，或者进入使误检测抑制处理追加工作等的用于抑制误检测的抑制模式，这是也容易用于在起动硬件或判断故障之前强化应用侧的容错性的结构。
[0036]多应用执行部400接收各应用故障判断部300的结果，按各应用分别执行参数调整、因脏污而停止工作等适当的应对，或者在判断为通常镜头状态的情况下执行通常执行等的多应用程序。
[0037]图2是表示本发明的实施方式的图像自诊断部200及其具备的检测部的整体结构的一例的说明图。此处，判断是否便于对由多应用执行部400执行的车道识别和车辆检测等进行图像识别的镜头状况、行驶道路环境、光源环境、天气等。此处，首先，作为前置处理，不考虑各应用程序地检测镜头整体的状态处于何种脏污状况、处于何种环境中等。
[0038]因为与镜头的脏污种类、环境的种类相应地，之后的系统的应对会变化，应用容错性也会变化，所以对于镜头状况和环境也存在各种检测部。例如，因路面积雪产生的雪车辙等，在道路上大量存在白色噪声主因，所以对于车道识别而言是容易误检测的状况，容错性低，但是对于车辆检测而言不是识别性能会大幅降低的状况，容错性高。
[0039]相反，因为镜头附着水滴等而使图像紊乱这样的状况的情况下，如果是检测车辆在图像上移动的车辆检测方法，则水滴起到检测车辆的特征点移动时的噪声主因的作用，所以容错性低，但对于车道识别而言，即使出现一部分白线特征量、也不会成为直线状的作为噪声主因的水滴，不会成为性能大幅降低的主因，容错性高。因此，通过与各种类相应地把握脏污状况，作为系统，能够在适当的时刻执行抑制模式、除污硬件的控制、故障判断等。
[0040]图像自诊断部200中的各检测部，设定了与其性质相应的处理周期。例如，考虑时时刻刻都在变化的相邻车辆的头灯等，关于反射检测部206，如果不是与多应用执行部400的应用相同或者与应用执行部中处理周期最快的应用相等的处理周期，则会提供时间延迟的反射位置等，难以用于抑制误检测，所以反射检测部206设为与应用执行部周期相等。关于路面水膜检测部207也同样设为与应用执行部周期相等的100msec。
[0041]另一方面，关于镜头水滴检测部201、镜头白浊检测部202、低能见度检测部204、行驶道路环境检测部208、光源环境检测部209和天气检测部210，因为状态并不是立刻变化，所以不需要每个周期处理。因此，为了减轻处理负荷，将处理周期设为500msec，在不进行处理的期间中使用过去的判断结果，从而效率良好地把握镜头状况。
[0042]各应用程序并不是在500msec中的某个10msec的期间内全部工作，利用多应用执行部400的剩余时间，多应用执行部按每10msec轮转地在剩余时间中起动能够起动的自诊断部中的检测部，例如在最初的100msec周期中，调用反射检测部、路面水膜检测部、镜头水滴检测部、镜头白浊检测部，在下一个100msec周期内，在反射检测部、路面水膜检测部之外，还调用低能见度检测部，这样在剩余时间中良好地实施图像自诊断。
[0043]镜头水滴检测部201检测包括镜头上附着的水滴、雨天时的雨滴、从潮湿路面因轮胎弹跳而附着在相机镜头上的水滴、雾、露等镜头上附着的水滴的状况。成为镜头上有水滴附着的状态时，难以在与通常相同的性能下执行多应用，所以根据水滴检测的状态，执行抑制模式、除污硬件、故障的判断。
[0044]水滴检测方法是，如果是车载相机，则在发现与背景向远方移动无关地在几乎同一位置上持续一定时间以上比周围亮度高的场所时，认为其为镜头上附着的白色发光的水滴的可能性高而抽出。
[0045]作为图像自诊断部200中的输出，生成如图6所示将图像上划分为格子状的映射图，在该映射图上，示出发现了比周围亮度高的场所的位置，和对于每个该位置通过表示水滴附着的可能性的大小的评分而表示镜头的水滴附着程度的评分。利用该映射图上示出的水滴评分，按各应用分别在各应用故障判断部中判断水滴附着时的应对方法。
[0046]车载相机例如在长时间行驶之后，其镜头上因为轻微附着的脏污而白浊化，拍摄的图像变得模糊，成为不能够清晰拍摄的状况。镜头白浊检测部202推测这样的白浊的程度和可靠度，也对是均匀地白浊还是斑点、白浊水平等进行检测。
[0047]镜头白浊状态下，难以在与通常相同的性能下执行多应用。因此，根据镜头白浊检测的状态，用于已知模式、除污硬件、故障的判断。
[0048]白浊检测方法有两种方法，有以整体地检测画面为前提，检测镜头的起雾状态的方法，在白天以地平线上的边缘强度、在夜间以后方车辆的头灯的亮度变化的锐度为指标使镜头白浊状态的程度数值化，并且使用时间方向的数据计算可靠度。
[0049]用于车道识别应用程序单体的方法，是通过在时间方向上分析作为检测对象的车道的边缘强度，而确定用于车道识别的车道标记特征量抽出量的边缘阈值，从而通过与路面状态、镜头状态相应的阈值调整抑制误识别，同时成功地确保高识别率。
[0050]但是，用车辆和行人作为检测对象的情况下，不能够如白线一般以总是存在为前提，难以分析画面上的车辆和行人以何种边缘强度存在。于是，着眼于画面上总是存在的边缘是地平线，通过分析地平线附近的边缘强度能够用于稳定地推测画面上的检测对象物的边缘强度。
[0051]关于白天，对于画面上的地平线附近，划分为左右、中央3个区域实施边缘强度分析。这是为了大幅