一种基于深度学习的交通图像多类型车辆检测方法
【专利摘要】本发明公开了一种基于深度学习的交通图像多类型车辆检测方法，首先将神经网络的特征与区域生成算法结合起来，使用神经网络的卷积层同时实现了区域生成与区域判定两个过程，然后使用背景模型进行针对特定场景的离散序列图像的运动区域判定为区域生成提供了额外的参考依据，并结合车辆检测结果对背景模型进行了分情况的更新修正，此外，还提出了网络模型压缩方案进行模型参数与计算时间的缩减，并提出了新的基于分组误差计算的检测结果优化手段替换常规的非极大值抑制方案，提高总体的检测精度。
【专利说明】
一种基于深度学习的交通图像多类型车辆检测方法
技术领域
[0001] 本发明涉及车辆检测技术领域，具体是一种基于深度学习的交通图像多类型车辆 检测方法。
【背景技术】
[0002] 随着社会的发展，人们的生活水平在"衣食住行"各个方面都有了较大提高，体现 在"行"上就是各地的道路基础设施建设愈加完善与社会的汽车总数量也快速增加。但是道 路建设是一个长期的过程，需要长时间的积累才能达到成效，因此往往跟不上各地机动车 辆的增长速度，难题的解决方案是采用更加科学的技术手段来管理道路交通，这就是智能 交通系统。智能交通系统可以统计道路上车辆的流量、识别车辆的行驶路线，然后通过调整 路线上的红绿灯时间、设置专门的单行道、限制道路的可通行车辆类型等手段来改善道路 的通行状况。而在这之中，车辆检测技术是智能交通最重要的组成部分，它是后续相关处理 的基础。在检测车辆的同时，将直观反映路线上的人员与货物运输量的车辆类型与车辆检 测结合起来，形成一个多类型车辆的检测系统，可以完成基本的道路交通的管理任务，为后 续处理提供更加丰富的数据信息。
[0003] 现有的车辆检测技术的处理对象主要有两个，即视频与图像。针对视频，一般通过 使用背景建模算法实现实时的运动车辆检测，得到图像中的车辆运动区域，然后利用阴影 信息、车灯信息或者车窗信息得到最终的车辆部分图像，完成基于视频的车辆检测过程。相 关背景建模算法主要有混合高斯模型、ViBe算法或者直接设定背景图像，这些方案处理对 象为连续的视频图像序列，存在的主要问题是模型容易受到光照、天气等各种外部条件的 影响而导致准确度降低，并且系统的持续执行将带来大量的数据与能耗。
[0004] 针对图像的车辆检测工作，主要涉及特征设计与分类器选择两个方面。车辆的特 征用于描述车辆的外观信息，使用合适特征可以得到车辆区别于其他类型物体的特有外观 信息。现在经常使用的特征主要是人工设计的，有Haar-1 ike特征、SIFT特征、H0G特征、LBP 特征、Gabor特征以及他们的改进等等。而车辆分类器则实现对于车辆区域与背景区域的判 断，后续还可以实现具体车辆类型的判断。现在常用的分类器主要有SVM、AdaB 〇〇st、KNN等 等。还有一类基于匹配的算法实现车辆的检测，主要利用图像区域与模板之间特征的匹配 程度进行判断，而实际上匹配与分类两者是相似度判断的不同实现方式，所以可以看作是 相类似的处理方法。近年来深度神经网络的使用促进了计算机视觉领域各种应用的快速发 展，其在车辆检测上的应用方式大多与目标检测的算法相同，即通过基于图像底层信息的 区域生成加上基于卷积神经网络的类别判断实现基于深度学习的车辆检测。
[0005]总之，现有的基于图像的车辆检测技术手段或者需要使用手工设计的复杂特征提 供判断依据，或者需要基于图像底层信息的区域生成技术提供数据源，不足以应对大规模 图像数据的处理要求，所以需要一种针对多场景的大规模图像数据的准确而又快速的车辆 检测方法。
【发明内容】
[0006] 本发明要解决的技术问题是提供一种基于深度学习的交通图像多类型车辆检测 方法。
[0007] 本发明的技术方案为：
[0008] 一种基于深度学习的交通图像多类型车辆检测方法，包括有训练过程和测试过 程：
[0009] 所述的训练过程具有包括有以下步骤：
[0010] (1)、车辆信息标注:收集不同图像采集终端得到的所有原始图像进行处理，标注 出图像中车辆的位置坐标信息，并添加车辆类型的简单判断结果与车头的大致方向信息， 并将所有图像和上述所有标注信息存储于数据库中；
[0011] (2)、背景模型建立:针对不同的图像采集终端，分别收集训练数据形成相邻帧之 间非连续变化的图像序列，然后根据图像整体明暗程度的差异，将其划分为白天与黑夜两 种情况，分别使用高斯混合模型建立背景模型；
[0012] (3)、训练区域生成初始模型：使用深度学习算法对所有训练图像进行图像的分 害J，得到图像中出现的所有物体的分割数据，利用得到的分割数据对传统的区域生成的LP0 算法进行在步骤(1)中数据库上的调整，得到区域生成初始模型；
[0013] (4)、训练车辆判定网络:利用卷积神经网络与区域生成初始模型的结果，以车辆 位置坐标、车辆类型信息与车头角度信息作为网络的输出，进行车辆判定网络的多任务联 合学习，得到多类型的车辆判定网络；
[0014] (5)、训练区域生成网络:利用车辆判定网络的卷积层作为特征，进行基于滑动窗 口的有车无车二分类判定与坐标优化网络的训练，得到适用于区域生成的卷积神经网络， 即区域生成网络，将其与车辆判定网络结合得到多类型的车辆检测网络；
[0015] (6)、网络结构压缩:利用矩阵分解手段对多类型的车辆检测网络的区域生成部分 与区域判定部分的结构进行优化压缩，具体是对卷积层进行卷积核的低维分解、对全联接 层则使用SVD算法减少参数数量，最终降低模型的复杂程度，减少测试过程中的计算量；
[0016] (7)、训练检测结果优化模型:通过将所有的检测结果分组，形成各自对应于真实 检测结果的组合，然后计算得到各组的基于权重的相对偏差均值与真实的偏差值，利用输 入节点数量为4、隐含层节点数量为6、输出节点数量为4的神经网络建立两者之间的联系作 为检测结果优化模型；
[0017] 所述的测试过程具有包括有以下步骤：
[0018] (8)、背景模型应用:通过图像采集信息和图像明暗度的判断确定图像采集的时间 段，然后根据场景信息选择相应的背景模型，对当前测试图像进行前景分析，确定出现运动 物体的区域，通过形态学处理得到闭合的连通域作为当前图像中车辆出现位置的运动检测 结果，为区域生成部分提供外部约束信息；
[0019] (9)、车辆检测网络区域生成部分测试:利用背景模型应用得到的运动检测结果， 在运动区域使用特定的滑动窗口模式生成大量的方框区域，然后使用步骤(5)得到的区域 生成网络得到这些方框区域的车辆存在与否判断的二分类得分与位置优化结果，选择其中 得分较高的区域作为包含有车辆的候选区域，接着使用非极大值抑制方法降低生成的候选 区域的数量；
[0020] (10)、车辆检测网络区域判定部分测试:利用步骤(5)得到的区域生成网络输出的 卷积层的特征，通过车辆检测网络的区域判定部分对所有包含有车辆的候选区域进行处 理，确定区域是否为车辆并得到具体的车辆位置坐标、车辆类型结果与车头角度信息；
[0021] (11)、检测结果优化:针对多个检测结果之间出现相互交叉的情况，使用基于神经 网络的位置偏差估计模型进行处理，得到最优的判断结果，提高检测方法的准确性；
[0022] (12)、背景模型在线更新:利用判断结果对步骤(2)得到的背景模型的正确性进行 判断，然后对其进行选择性的更新，提高模型对背景描述的准确性。
[0023] 所述的步骤（1)中的车辆类型是根据车辆的车头大小、车辆轴数以及整体结构信 息的差异，将车辆划分为轿车、巴士、轻卡、中型卡车、重型卡车、商务车、运动型多用途汽车 和工程车八个类别;所述的车头的大致方向信息包括有左侧、左前、正前、右前和右侧五个 方向信息;所述的步骤(3)中的区域生成初始模型，首先使用全卷积网络模型对训练图像进 行分割，得到图像中出现的所有物体的轮廓位置信息，作为LP0算法在训练过程中物体的分 割标注，且在区域生成初始模型训练完成之后，使用部分训练图像作为验证数据库，进行 LP0算法相关参数的调整，降低区域生成过程所需要的资源占用量与时间花费。
[0024] 所述的步骤(4)中训练车辆判定网络的具体步骤是，利用已有的卷积神经网络架 构，在车辆类型与车头方向两个输出中各自添加了一个背景类别，即设置车辆类型信息判 断的输出数目为车辆类型数八加一即九、角度信息判断的输出数目设置为车辆角度类型数 五加一即六，训练时将与真实车辆区域的I0U小于0.3的区域生成结果当成非车区域，其相 应的车辆类型与车头方向都设置为各自的背景类别，在步骤（1)所建立的车辆数据库上进 行多任务的联合学习，得到车辆判定网络，使得网络能够在获取车辆位置的同时得出相应 的类型信息、角度信息；其中，在具体训练过程中，注意以下几点：将LP0算法得到的对所有 训练数据的区域生成结果作为网络的候选区域输入;使用在大规模互联网图像数据库上的 分类训练得到的模型进行车辆判定网络模型的初始化;通过降低卷积层之前网络层的学习 速率为后接几层的十分之一实现模型的微调学习，着重调整后续网络层的参数，充分利用 网络已经学到的初步抽象能力，使得模型的表达能力更加强大。
[0025] 所述的步骤(5)训练区域生成网络具体包括以下步骤：
[0026] a、确定使用的基于卷积层的滑动窗口模型的相关参数，确定滑动窗口具有64、 128、256像素三类大小，1: 2、1:1、2:1三种长宽比例，在原始图像上的移动步长为16个像素；
[0027] b、针对输入的训练图像，将设计的滑动窗口映射到卷积层中，获取最终的卷积特 征，同时通过与真实值的I0U判断给与相应的车与背景标签，在这个过程中可以设计卷积层 与全联接层对针对图像的特征图进行处理，模拟这种滑动窗口处理方式的卷积特征提取与 优化；
[0028] c、设计训练网络:使用与车辆判定网络相同的卷积层结构，添加一个类似与分类 与位置优化的分类层与回归层，执行区域生成结果的判断与优化；
[0029] d、利用设计的训练网络结构与车辆判定网络的卷积特征进行车与背景的分类与 坐标优化的回归训练，得到包含车辆区域位置的区域生成网络；
[0030] e、将区域生成网络与车辆判定网络进行合并，得到车辆检测网络，然后利用车辆 检测网络的区域生成结果，对后续的车辆判定网络的全连接层、分类层与回归层部分进行 调整优化，使其中的区域判定部分适应区域生成网络的输出。
[0031] 所述的步骤(6)中的网络结构压缩具体包括以下步骤：
[0032] a、利用SVD算法压缩减少网络中全联接层的数量;针对全联接层，实际的神经元响 为y，具体见公式(1):
[0033] y = f (ff*a) (1)，
[0034] 其中，f表示激活函数;假定W的大小为u X v，其中u、v分别对应输入与输出节点的 数量，对其进行SVD近似分解，得到结果W，具体见公式(2):
[0035] ff^UEtVT (2)，
[0036] 其中，U、Σ t、V的大小分别为u X t、t X t、v X t，并且Σ t为对角阵，相对来说权重的 总数量变化为t X (u+ν+Ι )，其中，t为一个截断参数，用于控制压缩程度，即全联接层拆分之 后中间节点的数量，u、v分别对应了一个全联接层输入与输出节点的数量;通过设计t的值 小于u与v的最小值，有以下的不等式(3)成立：
[0037] t X (u+v+1) <u X v (3),
[0038] 所以，通过SVD分解降低了总体的参数数量，实际上也降低了全联接层的处理时 间;对卷积层进行卷积核的低维分解
[0039] b、利用马克斯.耶德贝里的算法对网络的卷积层结构进行压缩:假定当前层的卷 积核个数为N，即输出节点有N个，卷积核的大小为d*d，得到的特征图大小为把XW'，输入通 道数为C，那么该卷积层的计算量为(KCNfhU;将卷积核用= 表示， 可以考虑将其拆分为两个一维卷积核的合成结果:第一类一维卷积核使用Ivk e Rdxlxe; k = [1...K]}来表示，得到的特征图为￥，￥(1!^)￡妒，第二类一维卷积核使用{111^1?1><< 1><1(;11 =
[1. . .N]}来表示，那么可以得到 总体的计算量为(ΚΚΚ+ΝΜΗ' ， W');两个一维卷积核通过计算卷积核的重构误差最小化使用共辄梯度下降法进行求取，具 体优化目标;如下
最终，当K(C+N) <NCd时，可以 保证mc+WdiT W'〈CNd2^ W\实际上，实现的卷积层优化倍数近似等于卷积核的大小。
[0040] 所述的步骤(7)中的训练检测结果优化模型具体包括以下内容：
[0041] a、首先进行检测结果的划分，确定哪些检测结果判断的是同一个物体;处理的方 法为每次选择最高得分的结果，然后通过计算他与剩余检测方框的I0U进行划分:假定N个 检测结果使用8={1^=^11；，7111；^1^，7^1 ))，：[￡[12...幻}来表示，每次选择具有当前最 大得分的方框记为bk，计算它与剩余方框的I0U值并分类：当I0U大于0.5时表明他们预测同 一个物体，将这些方框组成一个一类方框集合Bki = {bi|loU(bi，bk)彡0.5，bieB}，其中的方 框不参加再次划分，bk作为其中的一个元素；当I0U大于0.3而小于0.5时，认为他们共用了 部分区域，得到一个二类方框集合81 52={匕|0.3<101](1^沁1〇<0.5，1^￡8}，其中的方框参 加再次划分;重复整个过程直到所有的检测结果最终划分为K个组，得到和物体数量与对应 的一类方框与二类方框记为{(81 51，8152)^￡[12...1(]};
[0042] b、针对所有的一类方框Bkl，计算均值方框1^；以及所有方框与均值方框地四元误
[0043] c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值
，然后将平均差异值与真实差异值都转化为基于均值方框 大小的相对表示为|^与^，利用神经网络建立一个四元关系实现两者 之间隐含关系的建立，作为检测结果优化模型的第一部分；
[0044] d、对于二类标签的数据，使用上述同样的坐标均值进行相同的处理，得到相
应的1?。然后建1类似的另外一个四元关系 作为检测结果优化模型的第二 部分。
[0045] 所述的步骤(8)中的背景模型应用具体包括以下内容：
[0046] a、通过数据库中的数据项信息，获取待处理图像的名称、存储位置以及相应的采 集ig息；
[0047] b、根据采集信息，确定对应的图像采集终端的编号，通过整体明暗度确定使用白 天还是夜晚，选择合适的高斯混合模型；
[0048] c、根据图像总体明暗度与模型平均明暗度的对比，进行图像明暗度的调整，将图 像明暗度的变化范围与模型的变化范围形成对应，降低整体光照的差异对于检测结果的影 响；
[0049] d、使用模型对当前图像进行前景检测，然后进行形态学处理，得到大致的运动区 块，并划分为多个连通域；
[0050] e、获取运动区域外接矩形的图像坐标，确定其在图像中所占比例，判断算法结果 的准确程度，当超过80%的区域或者少于10%的区域都被判断为前景时，说明运动检测的 结果不准确，不能作为区域生成网络测试的参考信息。
[0051] 所述的步骤(9)中车辆检测网络区域生成部分测试，使用区域生成网络结合运动 检测结果得到有可能包含车辆的候选区域:首先根据背景模型应用得到的结果，获取可能 的运动车辆区域及其外接矩形框的位置，若运动检测结果不准确，即运动区域小于整幅图 像的10%或者大于整幅图像的70%，则将整幅图像设置为一个矩形框;然后与训练过程类 似，在这些矩形框的内部以16像素为步长，设置拥有64、128、256像素的大小与1:2、1:1、2:1 的长宽比例的滑动窗口，将图像区域作为感受野映射到卷积层conv5_3上获取对应的卷积 特征，进行后续卷积层PR_conv、全联接层RP_FC的处理获取分类层RP_cls_score、回归层 RP_bbox_pred的输出，得到窗口区域车辆出现可能性的判断结果与坐标的优化结果，最后 进行非极大值抑制处理进一步减少候选区域的数量，形成检测神经网络的区域生成输入。
[0052] 所述的步骤(11)检测结果优化具体包括以下内容：
[0053] a、与训练过程相似，首先进行检测结果的划分，将不同的检测结果进行组合，获取 最终的检测结果数量。假定~个检测结果使用8={13 1=(^^110恤，71^，$[12...幻} 来表示所有的检测结果，实际处理的方法为每次选择最高得分的检测结果并计算他与剩余 检测方框的IOU，记前最大得分的方框为bk，：取IOU大于0.5的部分组成一个一类方框集合 Bkl，bk作为其中的一个元素;取IOU大于0.3而小于0.5的部分到一个二类方框集合Bk2，其中 的方框可以参加再次划分。重复整个过程直到所有的检测结果最终划分为K个组，得到和物 体数量与对应的一类方框与二类方框记为{(8 1{1及2)，1^[12...1(]};
[0054] b、针对所有的一类方框Bkl，计算均值方框以及所有方框与均值方框地四元误 差数组{ Δ Bklj -（ Δ Xkljit，Aykljlt，Δ Xkljrb，Δ ykljrb )，bklj G Bkl}，记录对应丫守分；
[0055] c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值
然后将平均差异值转化为基于均值方框大小的相对表 示为S^，使用检测结果优化网络的第一部分进行处?得到预测的坐标偏差
[0056] d、对于二类标签的数据，使用上述同样的坐标均值^^进行相同的处理，得到类似 的另外坐标偏差
[0057] e:进行两部分偏差的合并，分别使用0.8与0.2的权值进行差异值的求和
，然后基于一类方框的均值得到实际的偏差长度，然后 进行真实方框位置的输出。
[0058]所述的步骤(12)背景模型在线更新具体包括以下内容：
[0059] a、根据车辆检测的结果，可以得到图像中出现车辆的区域，对应到高斯混合模型 的检测结果中，通过车辆区域与运动区域的I0U判断运动检测模型的准确度，当所有运动区 域都出现车辆并且两种区域的I0U大于0.5时认为模型检测结果较为准确，此时不需要进行 背景模型的更新；
[0060] b、当检测结果中出现不包含车辆的区域时，认为背景模型中出现了误判，该区域 的背景描述与实际差异较大，可以认为对应区域的背景模型中将本来应该判断为前景的区 域判断为了背景，使用模型对原始图像序列进行检测，得到针对当前区域检测结果类似的 部分图像形成新的序列作为数据源，对当前对应区域的背景模型进行重新建立；
[0061] c、当区域的I0U小于0.5时，说明对于运动区域的判断不太准确，可能出现的原因 主要为阴影的影响，需要用非车运动区域对模型的参数进行更新，降低模型可能将背景判 断为前景的概率；
[0062] d、当在背景模型应用部分出现运动区域小于图像大小的10%时，若车辆检测同样 没有结果，真不对模型进行更新，否则说明区域模型不准确，需要利用当前图像对检测模型 中对应于车辆出现的区域进行更新；
[0063] e、当在背景模型应用部分出现运动区域大于图像大小的70%时，说明当前图像与 背景模型相差较大，背景模型对于当前图像的作用不大，需要利用当前图像对所有非车区 域的背景进行更新。
[0064]本发明的优点：
[0065]本发明能够同时处理车辆的位置、类型与角度信息，提供更加精细的车辆检测结 果，充分利用了神经网络强大的抽象能力实现对于目标的描述，得到了更加准确的判断结 果，同时基于这些描述实现了候选区域的生成，提高了神经网络的通用程度，减少了整个处 理流程的计算量。同时实现了运动目标检测与静态图像中的车辆检测的结合，在使用运动 信息指导车辆检测、提高处理效率的同时，也通过车辆检测的结果对于运动检测模型进行 了修正，提高了模型的准确度。此外，还是用基于神经网络的累计偏差预测处理替换常规的 非极大值抑制，充分利用了检测网络的所有输出结果。
【附图说明】
[0066]图1是本发明的训练过程的流程图。
[0067]图2是本发明测试过程的流程图。
[0068] 图3是本发明车辆判定网络的结构示意图。其中，使用虚线方框表明为已知的结 构，VGG16convl_l-ReLU5_3为VGG16网络convl_l到ReLU5_3部分的结构，Rol pooling层、 FC6层、FC7层对应了 FCN算法中的网络层，而最后的cls_score、ori_score、bbox_pred分别 为车辆类型分类层、车头角度分类结果、车辆位置预测结果。
[0069] 图4是本发明区域生成网络的结构示意图。其中，虚线方框对应了VGG16网络的 convl_]^ljReLU5_3部分的结构，RP-conv、RP-FC分别为一个卷积层与全联接层，而RP_cls_ score表示对车辆与背景进行判别的分类层、RP_bb〇x_pred为得到坐标预测结果的回归层。
[0070] 图5是本发明多类型的车辆检测网络的结构示意图。其中，VGG16convl_l-ReLU5_3 部分、Ro I poo 1 ing与图 3相同，PR-conv、RP-FC、RP_c 1 s_score与RP_bbox_pred对应了图 3的 结果，RP_data层则对区域生成结果进行筛选处理，剩余的FC6'层、FC7'层、cls_score'层、 ori_score'层、bbox_pred'层结构与图3相同，但是为网络中的参数为调整之后的结果。
【具体实施方式】
[0071] -种基于深度学习的交通图像多类型车辆检测方法，包括有训练过程和测试过 程：
[0072] 训练过程具有包括有以下步骤：
[0073] (1)、车辆信息标注:收集不同图像采集终端得到的所有原始图像进行处理，标注 出图像中车辆的位置坐标信息，并添加车辆类型的简单判断结果与车头的大致方向信息， 并将所有图像和上述所有标注信息存储于数据库中；其中，车辆类型是根据车辆的车头大 小、车辆轴数以及整体结构信息的差异，将车辆划分为轿车、巴士、轻卡、中型卡车、重型卡 车、商务车、运动型多用途汽车和工程车八个类别，其中，轻卡主要指皮卡以及具有小型的 客货两用面包车，中型卡车区别于重型卡车是由于其车轴数不大于二;车头的大致方向信 息包括有左侧、左前、正前、右前和右侧五个方向信息，其大致的角度范围分别有-90°到_ 60°，-60° 到-15°，-15° 到 15°，15° 到60°，60° 到90° ;
[0074] (2)、背景模型建立:针对不同的图像采集终端，分别收集训练数据形成相邻帧之 间非连续变化的图像序列，然后根据图像整体明暗程度的差异，将其划分为白天与黑夜两 种情况，分别使用高斯混合模型建立背景模型；
[0075] (3)、训练区域生成初始模型：使用深度学习算法对所有训练图像进行图像的分 害J，得到图像中出现的所有物体的分割数据，利用得到的分割数据对传统的区域生成的LP0 算法进行在步骤(1)中数据库上的调整，得到区域生成初始模型;具体是首先使用全卷积网 络模型对训练图像进行分割，得到图像中出现的所有物体的轮廓位置信息，作为LPO算法在 训练过程中物体的分割标注，且在区域生成初始模型训练完成之后，使用部分训练图像作 为验证数据库，进行LP0算法相关参数的调整，降低区域生成过程所需要的资源占用量与时 间花费；
[0076] (4)、训练车辆判定网络:利用卷积神经网络与区域生成初始模型的结果，以车辆 位置坐标、车辆类型信息与车头角度信息作为网络的输出，进行车辆判定网络的多任务联 合学习，得到多类型的车辆判定网络;具体步骤是:建立结构如图2所示的检测神经网络，其 中虚线方框部分表示利用已有的卷积神经网络架构，在车辆类型与车头方向两个输出中各 自添加了一个背景类别，即设置车辆类型信息判断的输出数目为车辆类型数八加一即九、 角度信息判断的输出数目设置为车辆角度类型数五加一即六，训练时将与真实车辆区域的 I0U小于0.3的区域生成结果当成非车区域，其相应的车辆类型与车头方向都设置为各自的 背景类别，在步骤（1)所建立的车辆数据库上进行多任务的联合学习，得到车辆判定网络， 使得网络能够在获取车辆位置的同时得出相应的类型信息、角度信息;其中，在具体训练过 程中，注意以下几点:将将传统区域生成的LP0算法得到的对所有训练数据的区域生成结果 作为网络的候选区域输入;使用在大规模互联网图像数据库上的分类训练得到的模型进行 车辆判定网络模型的初始化;通过降低卷积层ReLU5_3之前网络层的学习速率为后接几层 的十分之一实现模型的微调学习，着重调整后续网络层的参数，充分利用网络已经学到的 初步抽象能力，使得模型的表达能力更加强大。
[0077] (5)、训练区域生成网络:利用车辆判定网络的卷积层C〇nVl_l-ReLU5_3层作为特 征，进行基于滑动窗口的有车无车二分类判定与坐标优化网络的训练，得到适用于区域生 成的卷积神经网络，即区域生成网络，将其与车辆判定网络结合得到如图4所示的多类型的 车辆检测网络;在图4中RP_conv层进行卷积特征的快速处理，直接得到对应于64*64大小感 受野的卷积特征表示，而RP_FC层则进行各特征通道的有效组合；
[0078]训练区域生成网络具体包括以下步骤：
[0079] a、确定使用的基于卷积层的滑动窗口模型的相关参数，确定滑动窗口具有64、 128、256像素三类大小，1: 2、1:1、2:1三种长宽比例，在原始图像上的移动步长为16个像素；
[0080] b、针对输入的训练图像，将设计的滑动窗口映射到卷积层中，获取最终的卷积特 征，同时通过与真实值的I0U判断给与相应的车与背景标签，在这个过程中可以设计卷积层 与全联接层对针对图像的特征图进行处理，模拟这种滑动窗口处理方式的卷积特征提取与 优化；
[0081] c、设计训练网络:使用与车辆判定网络相同的卷积层结构，添加一个类似与分类 与位置优化的分类层与回归层，执行区域生成结果的判断与优化；
[0082] d、利用设计的训练网络结构与车辆判定网络的卷积特征进行车与背景的分类与 坐标优化的回归训练，得到包含车辆区域位置的区域生成网络；
[0083] e、将区域生成网络与车辆判定网络进行合并，得到车辆检测网络，然后利用车辆 检测网络的区域生成结果，对后续的车辆判定网络的全连接层、分类层与回归层部分进行 调整优化，使其中的区域判定部分适应区域生成网络的输出。
[0084] (6)、网络结构压缩:利用矩阵分解手段对多类型的车辆检测网络的区域生成部分 与区域判定部分的结构进行优化压缩，具体是对卷积层进行卷积核的低维分解、对全联接 层则使用SVD算法减少参数数量，最终降低模型的复杂程度，减少测试过程中的计算量；
[0085] 网络结构压缩具体包括以下步骤：
[0086] a、利用SVD算法压缩减少网络中全联接层的数量;针对全联接层，实际的神经元响 为y，具体见公式(1):
[0087] y = f (ff*a) (1)，
[0088] 其中，f表示激活函数;假定W的大小为u X v，其中u、v分别对应输入与输出节点的 数量，对其进行SVD近似分解，得到结果W，具体见公式(2):
[0089] ff^UEtVT (2),
[0090] 其中，U、Σ t、V的大小分别为u X t、t X t、v X t，并且Σ *为对角阵，相对来说权重的 总数量变化为t X (u+ν+Ι )，其中，t为一个截断参数，用于控制压缩程度，即全联接层拆分之 后中间节点的数量，u、v分别对应了一个全联接层输入与输出节点的数量;通过设计t的值 小于u与v的最小值，有以下的不等式(3)成立：
[0091] tX(u+v+l)<uXv (3)，
[0092] 所以，通过SVD分解降低了总体的参数数量，实际上也降低了全联接层的处理时 间;对卷积层进行卷积核的低维分解
[0093] b、利用Jaderberg(人名，马克斯.耶德贝里）的算法对网络的卷积层结构进行压 缩:假定当前层的卷积核个数为N，即输出节点有N个，卷积核的大小为d*d，得到的特征图大 小为矿XW'，输入通道数为C，那么该卷积层的计算量为(KCNf^W');将卷积核用{WieR d xd，i = [ 1... N]}表示，可以考虑将其拆分为两个一维卷积核的合成结果:第一类一维卷积 核使用{%￡#><1>^1^=[1...1(]}来表示，得到的特征图为￥，￥(1 1^)￡妒，第二类一维卷积核 使用{hneRlxdxK;n=[l...N]}来表示，那么可以得到
总体的计算 量为(ΚΚΚ+ΝΜ?Τ W');两个一维卷积核通过计算卷积核的重构误差最小化使用共辄梯度下 降法进行求取，具体优化目标;如下
最终，当K(C+ N) <NCd时，可以保证K(C+N)d!T，<CNd2!T W\实际上，实现的卷积层优化倍数近似等于卷 积核的大小；
[0094] (7)、训练检测结果优化模型:通过将所有的检测结果分组，形成各自对应于真实 检测结果的组合，然后计算得到各组的基于权重的相对偏差均值与真实的偏差值，利用输 入节点数量为4、隐含层节点数量为6、输出节点数量为4的神经网络建立两者之间的联系作 为检测结果优化模型；
[0095] 训练检测结果优化模型具体包括以下内容：
[0096] a、首先进行检测结果的划分，确定哪些检测结果判断的是同一个物体;处理的方 法为每次选择最高得分的结果，然后通过计算他与剩余检测方框的I0U进行划分:假定N个 检测结果使用B= {bi = (xiit，yiit，xirb，yirb)，ie [1 2. . .N]}来表示，每次选择具有当前最 大得分的方框记为bk，计算它与剩余方框的I0U值并分类：当I0U大于0.5时表明他们预测同 一个物体，将这些方框组成一个一类方框集合Bki = {bi|loU(bi，bk)彡0.5，bieB}，其中的方 框不参加再次划分，bk作为其中的一个元素；当IOU大于0.3而小于0.5时，认为他们共用了 部分区域，得到一个二类方框集合81 52={匕|〇.3<1〇1](1^沁1〇<0.5，1^￡8}，其中的方框参 加再次划分;重复整个过程直到所有的检测结果最终划分为K个组，得到和物体数量与对应 的一类方框与二类方框记为{(81 51，8152)^￡[12...1(]};
[0097] b、针对所有的一类方框Bkl，计算均值方框1^；以及所有方框与均值方框地四元误
[0098] c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值
，然后将平均差异值与真实差异值都转化为基于均值方框 大小的相对表示为|^与^^利用神经网络建立一个四元关实现两者 之间隐含关系的建立，作为检测结果优化模型的第一部分；
[0099] d、对于二类标签的数据，使用上述同样的坐标均值1^进行相同的处理，得到相应 的然后建立类似的另外一个四元关系作为检测结果优化模型的第二部 分；
[0100] 测试过程具有包括有以下步骤：
[0101] (8)、背景模型应用:通过图像采集信息和图像明暗度的判断确定图像采集的时间 段，然后根据场景信息选择相应的背景模型，对当前测试图像进行前景分析，确定出现运动 物体的区域，通过形态学处理得到闭合的连通域作为当前图像中车辆出现位置的检测结 果，为区域生成部分提供外部约束信息；
[0102]背景模型应用具体包括以下内容：
[0103] a、通过数据库中的数据项信息，获取待处理图像的名称、存储位置以及相应的采 集ig息；
[0104] b、根据采集信息，确定对应的图像采集终端的编号，通过整体明暗度确定使用白 天还是夜晚，选择合适的高斯混合模型；
[0105] c、根据图像总体明暗度与模型平均明暗度的对比，进行图像明暗度的调整，将图 像明暗度的变化范围与模型的变化范围形成对应，降低整体光照的差异对于检测结果的影 响；
[0106] d、使用模型对当前图像进行前景检测，然后进行形态学处理，得到大致的运动区 块，并划分为多个连通域；
[0107] e、获取运动区域外接矩形的图像坐标，确定其在图像中所占比例，判断算法结果 的准确程度，当超过80%的区域或者少于10%的区域都被判断为前景时，说明运动检测的 结果不准确，不能作为区域生成网络测试的参考信息；
[0108] (9)、车辆检测网络区域生成部分测试:使用区域生成网络结合运动检测结果得到 有可能包含车辆的候选区域:首先根据背景模型应用得到的结果，获取可能的运动车辆区 域及其外接矩形框的位置，若运动检测结果不准确，即运动区域小于整幅图像的10%或者 大于整幅图像的70%，则将整幅图像设置为一个矩形框;然后与训练过程类似，在这些矩形 框的内部以16像素为步长，设置拥有64、128、256像素的大小与1:2、1:1、2:1的长宽比例的 滑动窗口，将图像区域作为感受野映射到卷积层 conv5_3上获取对应的卷积特征，进行后续 卷积层PR_conv、全联接层RP_FC的处理获取分类层RP_c 1 s_score、回归层RP_bbox_pred的 输出，得到窗口区域车辆出现可能性的判断结果与坐标的优化结果，最后进行非极大值抑 制处理进一步减少候选区域的数量，形成检测神经网络的区域生成输入；
[0109] (10)、车辆检测网络区域判定部分测试:利用步骤(5)得到的区域生成网络输出的 卷积层 C〇nv5_3的特征，通过车辆检测网络的区域判定部分对所有包含有车辆的候选区域 FC6'层、FC7'层、cls_score'、ori_score'与bbox_pred'进行处理，确定区域是否为车辆并 得到具体的车辆位置坐标、车辆类型结果与车头角度信息；
[0110] (11)、检测结果优化:针对多个检测结果之间出现相互交叉的情况，使用基于神经 网络的位置偏差估计模型进行处理，得到最优的判断结果，提高检测方法的准确性；
[0111] 检测结果优化具体包括以下内容：
[0112] a、与训练过程相似，首先进行检测结果的划分，将不同的检测结果进行组合，获取 最终的检测结果数量。假定~个检测结果使用8={13 1=(^^110恤，71^，$[12...幻} 来表示所有的检测结果，实际处理的方法为每次选择最高得分的检测结果并计算他与剩余 检测方框的I0U，记前最大得分的方框为bk，：取I0U大于0.5的部分组成一个一类方框集合 Bkl，bk作为其中的一个元素;取I0U大于0.3而小于0.5的部分到一个二类方框集合Bk2，其中 的方框可以参加再次划分。重复整个过程直到所有的检测结果最终划分为K个组，得到和物 体数量与对应的一类方框与二类方框记为KB kl，Bk2)，ke[l 2
[0113] b、针对所有的一类方框Bkl，计算均值方框1^；以及所有方框与均值方框地四元误 差数组{ Δ Bklj -（ Δ Xkljit，Aykljlt，Δ Xkljrb，Δ ykljrb )，bklj G Bkl}，记录对应丫守分；
[0114] c、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值
然后将平均差异值转化为基于均值方框大小的相对表 示为使用检测结果优化网络的第一部分进行处?得到预测的坐标偏差蠢轻％;
[0115] d、对于二类标签的数据，使用上述同样的坐标均值^!进行相同的处理，得到类 似的另外坐标偏差&
[0116] e:进行两部分偏差的合并，分别使用0.8与0.2的权值进行差异值的求和 = 0.8* d!3ki + (Ο* ，然后基于一类方框的均值得到实际的偏差长度，然后 进行真实方框位置的输出；
[0117] (12)、背景模型在线更新:利用判断结果对步骤(2)得到的背景模型的正确性进行 判断，然后对其进行选择性的更新，提高模型对背景描述的准确性；
[0118] 背景模型在线更新具体包括以下内容：
[0119] a、根据车辆检测的结果，可以得到图像中出现车辆的区域，对应到高斯混合模型 的检测结果中，通过车辆区域与运动区域的I0U判断运动检测模型的准确度，当所有运动区 域都出现车辆并且两种区域的?ου大于0.5时认为模型检测结果较为准确，此时不需要进行 背景模型的更新；
[0120] b、当检测结果中出现不包含车辆的区域时，认为背景模型中出现了误判，该区域 的背景描述与实际差异较大，可以认为对应区域的背景模型中将本来应该判断为前景的区 域判断为了背景，使用模型对原始图像序列进行检测，得到针对当前区域检测结果类似的 部分图像形成新的序列作为数据源，对当前对应区域的背景模型进行重新建立；
[0121] c、当区域的I0U小于0.5时，说明对于运动区域的判断不太准确，可能出现的原因 主要为阴影的影响，需要用非车运动区域对模型的参数进行更新，降低模型可能将背景判 断为前景的概率；
[0122] d、当在背景模型应用部分出现运动区域小于图像大小的10%时，若车辆检测同样 没有结果，真不对模型进行更新，否则说明区域模型不准确，需要利用当前图像对检测模型 中对应于车辆出现的区域进行更新；
[0123] e、当在背景模型应用部分出现运动区域大于图像大小的70%时，说明当前图像与 背景模型相差较大，背景模型对于当前图像的作用不大，需要利用当前图像对所有非车区 域的背景进行更新。
【主权项】
1. 一种基于深度学习的交通图像多类型车辆检测方法，其特征在于:包括有训练过程 和测试过程： 所述的训练过程具有包括有W下步骤： (1) 、车辆信息标注：收集不同图像采集终端得到的所有原始图像进行处理，标注出图 像中车辆的位置坐标信息，并添加车辆类型的简单判断结果与车头的大致方向信息，并将 所有图像和上述所有标注信息存储于数据库中； (2) 、背景模型建立:针对不同的图像采集终端，分别收集训练数据形成相邻帖之间非 连续变化的图像序列，然后根据图像整体明暗程度的差异，将其划分为白天与黑夜两种情 况，分别使用高斯混合模型建立背景模型； (3) 、训练区域生成初始模型：使用深度学习算法对所有训练图像进行图像的分割，得 到图像中出现的所有物体的分割数据，利用得到的分割数据对传统的区域生成的LPO算法 进行在步骤(1)中数据库上的调整，得到区域生成初始模型； (4) 、训练车辆判定网络:利用卷积神经网络与区域生成初始模型的结果，W车辆位置 坐标、车辆类型信息与车头角度信息作为网络的输出，进行车辆判定网络的多任务联合学 习，得到多类型的车辆判定网络； (5) 、训练区域生成网络:利用车辆判定网络的卷积层作为特征，进行基于滑动窗口的 有车无车二分类判定与坐标优化网络的训练，得到适用于区域生成的卷积神经网络，即区 域生成网络，将其与车辆判定网络结合得到多类型的车辆检测网络； (6) 、网络结构压缩:利用矩阵分解手段对多类型的车辆检测网络的区域生成部分与区 域判定部分的结构进行优化压缩，具体是对卷积层进行卷积核的低维分解、对全联接层则 使用SVD算法减少参数数量，最终降低模型的复杂程度，减少测试过程中的计算量； (7 )、训练检测结果优化模型：通过将所有的检测结果分组，形成各自对应于真实检测 结果的组合，然后计算得到各组的基于权重的相对偏差均值与真实的偏差值，利用输入节 点数量为4、隐含层节点数量为6、输出节点数量为4的神经网络建立两者之间的联系作为检 测结果优化模型； 所述的测试过程具有包括有W下步骤： (8) 、背景模型应用:通过图像采集信息和图像明暗度的判断确定图像采集的时间段， 然后根据场景信息选择相应的背景模型，对当前测试图像进行前景分析，确定出现运动物 体的区域，通过形态学处理得到闭合的连通域作为当前图像中车辆出现位置的运动检测结 果，为区域生成部分提供外部约束信息； (9) 、车辆检测网络区域生成部分测试:利用背景模型应用得到的运动检测结果，在运 动区域使用特定的滑动窗口模式生成大量的方框区域，然后使用步骤(5)得到的区域生成 网络得到运些方框区域的车辆存在与否判断的二分类得分与位置优化结果，选择其中得分 较高的区域作为包含有车辆的候选区域，接着使用非极大值抑制方法降低生成的候选区域 的数量； (10) 、车辆检测网络区域判定部分测试:利用步骤(5)得到的区域生成网络输出的卷积 层的特征，通过车辆检测网络的区域判定部分对所有包含有车辆的候选区域进行处理，确 定区域是否为车辆并得到具体的车辆位置坐标、车辆类型结果与车头角度信息； (11) 、检测结果优化:针对多个检测结果之间出现相互交叉的情况，使用基于神经网络 的位置偏差估计模型进行处理，得到最优的判断结果，提高检测方法的准确性； (12)、背景模型在线更新：利用判断结果对步骤（2)得到的背景模型的正确性进行判 断，然后对其进行选择性的更新，提高模型对背景描述的准确性。2. 根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征 在于:所述的步骤(1)中的车辆类型是根据车辆的车头大小、车辆轴数W及整体结构信息的 差异，将车辆划分为轿车、己±、轻卡、中型卡车、重型卡车、商务车、运动型多用途汽车和工 程车八个类别;所述的车头的大致方向信息包括有左侧、左前、正前、右前和右侧五个方向 信息;所述的步骤(3)中的区域生成初始模型，首先使用全卷积网络模型对训练图像进行分 割，得到图像中出现的所有物体的轮廓位置信息，作为LK)算法在训练过程中物体的分割标 注，且在区域生成初始模型训练完成之后，使用部分训练图像作为验证数据库，进行LPO算 法相关参数的调整，降低区域生成过程所需要的资源占用量与时间花费。3. 根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征 在于:所述的步骤(4)中训练车辆判定网络的具体步骤是，利用已有的卷积神经网络架构， 在车辆类型与车头方向两个输出中各自添加了一个背景类别，即设置车辆类型信息判断的 输出数目为车辆类型数八加一即九、角度信息判断的输出数目设置为车辆角度类型数五加 一即六，训练时将与真实车辆区域的IOU小于0.3的区域生成结果当成非车区域，其相应的 车辆类型与车头方向都设置为各自的背景类别，在步骤（1)所建立的车辆数据库上进行多 任务的联合学习，得到车辆判定网络，使得网络能够在获取车辆位置的同时得出相应的类 型信息、角度信息；其中，在具体训练过程中，注意W下几点：将LPO算法得到的对所有训练 数据的区域生成结果作为网络的候选区域输入;使用在大规模互联网图像数据库上的分类 训练得到的模型进行车辆判定网络模型的初始化;通过降低卷积层之前网络层的学习速率 为后接几层的十分之一实现模型的微调学习，着重调整后续网络层的参数，充分利用网络 已经学到的初步抽象能力，使得模型的表达能力更加强大。4. 根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征 在于:所述的步骤(5)训练区域生成网络具体包括W下步骤： a、 确定使用的基于卷积层的滑动窗口模型的相关参数，确定滑动窗口具有64、128、256 像素 Ξ类大小，1: 2、1:1、2: 1Ξ种长宽比例，在原始图像上的移动步长为16个像素； b、 针对输入的训练图像，将设计的滑动窗口映射到卷积层中，获取最终的卷积特征，同 时通过与真实值的IOU判断给与相应的车与背景标签，在运个过程中可W设计卷积层与全 联接层对针对图像的特征图进行处理，模拟运种滑动窗口处理方式的卷积特征提取与优 化； C、设计训练网络:使用与车辆判定网络相同的卷积层结构，添加一个类似与分类与位 置优化的分类层与回归层，执行区域生成结果的判断与优化； d、 利用设计的训练网络结构与车辆判定网络的卷积特征进行车与背景的分类与坐标 优化的回归训练，得到包含车辆区域位置的区域生成网络； e、 将区域生成网络与车辆判定网络进行合并，得到车辆检测网络，然后利用车辆检测 网络的区域生成结果，对后续的车辆判定网络的全连接层、分类层与回归层部分进行调整 优化，使其中的区域判定部分适应区域生成网络的输出。5. 根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征 在于:所述的步骤(6)中的网络结构压缩具体包括W下步骤： a、 利用SVD算法压缩减少网络中全联接层的数量;针对全联接层，实际的神经元响为y， 具体见公式(1): y = f(W 相）（1)， 其中，f表示激活函数;假定W的大小为U X V，其中U、V分别对应输入与输出节点的数量， 对其进行SVD近似分解，得到结果W，具体见公式(2): W^UEtA^T (2)， 其中，υ、Σ*、ν的大小分别为uXt、tXt、vXt，并且Σt为对角阵，相对来说权重的总数 量变化为t X (U+V+1 )，其中，t为一个截断参数，用于控制压缩程度，即全联接层拆分之后中 间节点的数量，u、v分别对应了一个全联接层输入与输出节点的数量;通过设计t的值小于U 与V的最小值，有W下的不等式(3)成立： tX (u+v+l)<uXv (3)， 所W，通过SVD分解降低了总体的参数数量，实际上也降低了全联接层的处理时间；对 卷积层进行卷积核的低维分解 b、 利用马克斯.耶德贝里的算法对网络的卷积层结构进行压缩:假定当前层的卷积核 个数为N，即输出节点有N个，卷积核的大小为d*d，得到的特征图大小为XW/，输入通道数 为C，那么该卷积层的计算量为(KCNcATwO;将卷积核用{WiERdxd，i = [i...N]}表示，可W 考虑将其拆分为两个一维卷积核的合成结果：第一类一维卷积核使用{vkeRdxixE;k = [1...K]}来表示，得到的特征图为￥，￥(11，乂）￡护，第二类一维卷积核使用化。即1><3><1^〇二 [1...N]}来表示，那么可W得到总体的计算量为(KK(C+N)dH/ W/ );两个一维卷积核通过计算卷积核的重构误差最小化使用共辆梯度下降法进行求取，具 体优化目标；如下I终，当Κ(C+N) <NC加寸，可W 保证K(C+N)dH/W// <CNd2H/W/，实际上，实现的卷积层优化倍数近似等于卷积核的大小。6.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征 在于:所述的步骤(7)中的训练检测结果优化模型具体包括W下内容： a、首先进行检测结果的划分，确定哪些检测结果判断的是同一个物体;处理的方法为 每次选择最高得分的结果，然后通过计算他与剩余检测方框的I0U进行划分:假定N个检测 结果使用8={131=^111；，7111；，义^1)，711^1))，：[￡[12...則}来表示，每次选择具有当前最大得 分的方框记为bk，计算它与剩余方框的I0U值并分类:当I0U大于0.5时表明他们预测同一个 物体，将运些方框组成一个一类方框集合Bki = {bi I IoU(bi，bk) >0.5，bi e B}，其中的方框不 参加再次划分，bk作为其中的一个元素；当?ου大于0.3而小于0.5时，认为他们共用了部分 区域，得到一个二类方框集合81<2=也|〇.3<1〇1]化，61〇<0.5,6把8}，其中的方框参加再 次划分;重复整个过程直到所有的检测结果最终划分为Κ个组，得到和物体数量与对应的一 类方框与二类方框记为{(Bki，Bk2)，k e [ 1 2... Κ]}; b、针对所有的一类方框Bki，计算均值方框及所有方框与均值方框地四元误差数 组?ΗΒ录对应得分，然后计算物 体真实方框与均值方框的真实差异值C、根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值，然后将平均差异值与真实差异值都转化为基于均值方框 大小的相对表示为巧见两者 之间隐含关系的建立，作为检测结果优化模型的第一部分； d、对于二类标签的数据，使用上述同样的坐标均值面^进行相同的处理，得到相应的巧后建立类似的另外一个四元关勇作为检测结果优化模型的第二部 分。7. 根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征 在于:所述的步骤(8)中的背景模型应用具体包括W下内容： a、 通过数据库中的数据项信息，获取待处理图像的名称、存储位置W及相应的采集信 息； b、 根据采集信息，确定对应的图像采集终端的编号，通过整体明暗度确定使用白天还 是夜晚，选择合适的高斯混合模型； C、根据图像总体明暗度与模型平均明暗度的对比，进行图像明暗度的调整，将图像明 暗度的变化范围与模型的变化范围形成对应，降低整体光照的差异对于检测结果的影响； d、 使用模型对当前图像进行前景检测，然后进行形态学处理，得到大致的运动区块，并 划分为多个连通域； e、 获取运动区域外接矩形的图像坐标，确定其在图像中所占比例，判断算法结果的准 确程度，当超过80%的区域或者少于10%的区域都被判断为前景时，说明运动检测的结果 不准确，不能作为区域生成网络测试的参考信息。8. 根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征 在于:所述的步骤(9)中车辆检测网络区域生成部分测试，使用区域生成网络结合运动检测 结果得到有可能包含车辆的候选区域:首先根据背景模型应用得到的结果，获取可能的运 动车辆区域及其外接矩形框的位置，若运动检测结果不准确，即运动区域小于整幅图像的 10%或者大于整幅图像的70%，则将整幅图像设置为一个矩形框;然后与训练过程类似，在 运些矩形框的内部W16像素为步长，设置拥有64、128、256像素的大小与1:2、1:1、2:1的长 宽比例的滑动窗口，将图像区域作为感受野映射到卷积层conv5_3上获取对应的卷积特征， 进行后续卷积层PR_conv、全联接层RP_FC的处理获取分类层RP_cls_score、回归层RP_ bbox_pred的输出，得到窗口区域车辆出现可能性的判断结果与坐标的优化结果，最后进行 非极大值抑制处理进一步减少候选区域的数量，形成检测神经网络的区域生成输入。9. 根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征 在于:所述的步骤(11)检测结果优化具体包括W下内容： a、 与训练过程相似，首先进行检测结果的划分，将不同的检测结果进行组合，获取最终 的检测结果数量。假定N个检测结果使用B= {bi=(xiit，yiit，xirb，yirb)，i e [1 2.. .N]}来表 示所有的检测结果，实际处理的方法为每次选择最高得分的检测结果并计算他与剩余检测 方框的IOU，记前最大得分的方框为bk，：取IOU大于0.5的部分组成一个一类方框集合Bki，bk 作为其中的一个元素;取?ου大于0.3而小于0.5的部分到一个二类方框集合Bk2,其中的方框 可W参加再次划分。重复整个过程直到所有的检测结果最终划分为K个组，得到和物体数量 与对应的一类方框与二类方框记为{(Bki，Bk2)，k e [ 1 2... K]}; b、 针对所有的一类方框Bki，计算均值方框長之^及所有方框与均值方框地四元误差数 组{ A Bkij = ( A xkijit，A ykijit，Δ 化1州，A ykijrb)，bkijel3ki}，记录对应得分； c、 根据所有得分进行坐标误差的标准化，得到基于权重的平均差异值，然后将平均差异值转化为基于均值方框大小的相对表 示为，使用检测结果优化网络的第一部分进行处理得到预测的坐标偏差.^麵％;: d、 对于二类标签的数据，使用上述同样的坐标均值β：；进行相同的处理，得到类似的另 外坐标偏差 e:进行两部分偏差的合并，分别使用0.8与0.2的权值进行差异值的求和然后基于一类方框的均值得到实际的偏差长度，然后 进行真实方框位置的输出。10.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征 在于:所述的步骤(12)背景模型在线更新具体包括W下内容： a、 根据车辆检测的结果，可W得到图像中出现车辆的区域，对应到高斯混合模型的检 测结果中，通过车辆区域与运动区域的I0U判断运动检测模型的准确度，当所有运动区域都 出现车辆并且两种区域的I0U大于0.5时认为模型检测结果较为准确，此时不需要进行背景 模型的更新； b、 当检测结果中出现不包含车辆的区域时，认为背景模型中出现了误判，该区域的背 景描述与实际差异较大，可W认为对应区域的背景模型中将本来应该判断为前景的区域判 断为了背景，使用模型对原始图像序列进行检测，得到针对当前区域检测结果类似的部分 图像形成新的序列作为数据源，对当前对应区域的背景模型进行重新建立； C、当区域的I0U小于0.5时，说明对于运动区域的判断不太准确，可能出现的原因主要 为阴影的影响，需要用非车运动区域对模型的参数进行更新，降低模型可能将背景判断为 前景的概率； d、 当在背景模型应用部分出现运动区域小于图像大小的10%时，若车辆检测同样没有 结果，真不对模型进行更新，否则说明区域模型不准确，需要利用当前图像对检测模型中对 应于车辆出现的区域进行更新； e、 当在背景模型应用部分出现运动区域大于图像大小的70%时，说明当前图像与背景 模型相差较大，背景模型对于当前图像的作用不大，需要利用当前图像对所有非车区域的 背景进行更新。
【文档编号】G06K9/00GK106096531SQ201610397819
【公开日】2016年11月9日
【申请日】2016年5月31日
【发明人】程鹏
【申请人】安徽省云力信息技术有限公司