一种公交车车载视频中乘客被手扶杆遮挡图像的修复方法
【专利摘要】本发明属于图像检测【技术领域】，涉及一种公交车车载视频中乘客被手扶杆遮挡的图像修复方法，包括下列步骤：采用模糊C均值聚类法确定图像中手扶杆区域Ω；确定区域边缘：对Ω这个区域内的所有像素点进行排序、删减、整理，最后只保留边缘的像素点，确定区域的边缘；采用基于纹理合成Criminisi算法对手扶杆区域Ω进行修复，使其基本恢复不包含手扶杆时的完整图像。该方法能够克服公交车上单摄像头视频监控中手扶杆对乘客的遮挡问题，从而提高后续对乘客的检测和追踪的正确率。
【专利说明】一种公交车车载视频中乘客被手扶杆遮挡图像的修复方法
【技术领域】
[0001]本发明总体上涉及一种解决待检测目标被遮挡的方法。由于公交车车载监控视频中遮挡物始终为一手扶杆，所以此发明更具体地涉及一种车载智能监控系统中，解决手扶杆对乘客遮挡从而导致检测追踪失败的问题的方法。
【背景技术】
[0002]随着城市公共交通的不断发展，基于公交车的车载视频监控系统近些年成为人们关注的热点，随之而来的是车载视频监控系统的各种智能化应用例如客流计数等，是公交公司制定所有运营计划的基础。但是由于公交车监控摄像头的个数及位置特殊性，监控视频中始终存在手扶杆，不定时遮挡乘客，影响乘客的检测和追踪，导致计数失败。
[0003]目前人们一般从改进检测算法上克服乘客的遮挡问题。一些学者提出利用动态分层表示方法来判断和跟踪遮挡，并在理论上较完全的解决方案，但是此类方法是基于全局概略估计方法的，检测精度有待提高且实现框架的计算量过于庞大，不适用与公交系统。
[0004]另外还有基于仿射不变量向量的遮挡检测方法，该方法首先构造仿射不变向量以及它的遮挡判决准则，接着根据目标的先验知识对运动轨迹和遮挡区域进行预测。这种方法比较适合于目标在较短时间内被遮挡，而公交车车载视频中乘客一般会长时间处于遮挡情况，所以不适合采用此种方法。
【发明内容】
[0005]本发明提出一种适用于公交车车载监控视频中乘客被手扶杆长时间遮挡的图像的修复方法。
[0006]本发明的技术方案如下:
[0007]—种公交车车载视频中乘客被手扶杆遮挡的图像修复方法，包括下列步骤:
[0008](I)采用模糊C均值聚类法确定图像中手扶杆区域Ω。
[0009]I)确定区域边续(7Ω:对Ω这个区域内的所有像素点进行排序、删减、整理，最后只保留边缘的像素点，确定区域的边缘δΩ.[0010]2)采用基于纹理合成Criminisi算法对手扶杆区域Ω进行修复，包括以下步骤:
[0011]Α、根据确定的区域边缘5Ω得到位于边界上的点序列，然后依次计算以序列中每个点为中心的块的优先权，方法如下:在区域边缘上选择ΘΩ以P为中心的区域块ψρ，该区域块内既包括已知像素信息的点也包括待修复的像素点，然后取P (P)作为决定修复顺序的优先级P (P) =C (P) D (P)的标准，其中C(p)为置信项，计算填充块中已知像素信息的点占块内像素点总数的比例；D(p)称为数据项，即结构信息，D(p)根据填充边缘上P点的光照线强度，光照线与法向量之间的夹角计算优先权大小，光照线是像素的梯度方向的垂直方向。若填充边缘上P点的光照线强度大，光照线与法向量之间的夹角小，则该目标块的优先权就越大；[0012]B、找出具有最大优先权值即P(p)最大的待修复区域Fp ；
[0013]C、然后在源图像中搜索与待修复区域Ψρ最佳匹配的填充块V' q,即分别计算待修复区域Ψρ与源图像中各已知区域的相似度函数，从而取相似度最大的区域为填充块ψ '；
ψ q，
[0014]D、将Ψ',中图像信息复制到待修复区域块Ψρ;
[0015]Ε、当具有最高优先级的修复块Ψρ被修复后，更新以已被修复块边缘新生成的边界像素点为中心的块的置信度C(p)，从而更新此类块的优先级值P (P)。
[0016]F、重复B~E三个步骤，直到所有的破损区域都被修复。
[0017]其中，步骤(I)可按照下面的方法:
[0018]Α、初始化聚类中心V= Iv1, V2，…，V。}，即将图像数据集分为C类。
[0019]B、根据图像像素和聚类中心的加权相似性测度，进行迭代优化以确定最佳聚类；
[0020]C、分别计算手扶杆的灰度值到各聚类中心点的欧氏距离，误差最小的一类就是手扶杆区域Ω。
[0021]本发明首先采用模糊C聚类方法，确定手扶杆所属类别区域Ω。接着对这个区域内的所有像素点进行排序、删减、整理，最后只保留边缘的像素点?Ω。最后对区域Ω进行基于纹理合成Criminisi算法的图像修复。从而克服公交车上单摄像头监控视频中手扶杆对乘客遮挡导致后续检测和追踪失败的问题。本发明具有下列优点:
[0022](I)提供了一种解决公交监控视频中手扶杆遮挡乘客造成检测失败的方法。效果理想，有利于公交客流计数等各种基于人体检测和追踪的应用的实现，应用前景看好。
[0023](2)充分利用了公交车视频中需删去区域为固定的手扶杆图像的特点，采用模糊C聚类方法，自动确定手扶杆所属类别区域Ω以及区域的边作σΩ，从而使得自动图像修复成为可能，克服了以往需要手动圈出待修复区域的图像修复法，具有更好的智能性。
[0024](3)采用图像修复的方法克服遮挡对目标检测盒追踪的影响，使得公交车监控视频中乘客的检测更准确，并较以往克服目标遮挡的检测方法具有更高的计算速率和可实现性。
【专利附图】
【附图说明】
[0025]图1是本发明的基本原理示意图。
[0026]图2是确定手扶杆区域Ω的流程图。
[0027]图3是基于Criminisi算法的区域Ω修复流程图。
[0028]图4是Criminisi算法示意图。
【具体实施方式】
[0029]为使本发明的目的、实现方案和优点更为清晰，下面对本发明的具体实施作进一步的详细描述，本发明的具体流程如图1所示。
[0030]( I)该发明的图像捕获部分由安装在公交车前后门位置的摄像头和图像采集设备获得。如图2在采集到的图像中采用模糊C均值聚类法确定手扶杆区域Ω，步骤如下:
[0031]Α、初始化聚类中心V = Iv1, V2,…，V。}，即将图像数据集分为C类。
[0032]B、根据图像像素和聚类中心的加权相似性测度，进行迭代优化以确定最佳聚类。[0033]C、分别计算手扶杆的灰度值到各聚类中心点的欧氏距离，误差最小的一类就是手扶杆区域Ω。
[0034](2)确定区域边缘σΩ:对Ω这个区域内的所有像素点进行排序、删减、整理，最后只保留边缘的像素点，而区域Ω内的像素点不予保存，这样就确定了区域的边缘σΩ。
[0035](3)如图3和图4，采用基于纹理合成Criminisi算法的图像修复法手扶杆区域Ω图像修复的方法，包括以下步骤:
[0036]Α、根据确定的区域边缘δΩ，得到位于边界上的点序列，然后依次计算以序列中每个点为中心的块的优先权。计算优先级的方法为:在区域边缘上选择以P为中心的区域块11%，取P(p)作为决定修复顺序的优先级P (P) =C (P) D (P)。
【权利要求】
1.一种公交车车载视频中乘客被手扶杆遮挡图像的修复方法，包括下列步骤: (1)采用模糊C均值聚类法确定图像中手扶杆区域Ω。 (2)确定区域边缘?Ω:对Ω这个区域内的所有像素点进行排序、删减、整理，最后只保留边缘的像素点，确定区域的边缘?Ω (3)采用基于纹理合成Criminisi算法对手扶杆区域Ω进行修复，包括以下步骤: A、根据确定的区域边缘?Ω，得到位于边界上的点序列，然后依次计算以序列中每个点为中心的块的优先权，方法如下:在区域边缘上选择5Ω以P为中心的区域块Ψρ，该区域块内既包括已知像素信息的点也包括待修复的像素点，然后取P (P)作为决定修复顺序的优先级P (P) =C (P) D (P)的标准，其中C(p)为置信项，计算填充块中已知像素信息的点占块内像素点总数的比例；D(p)称为数据项，即结构信息，D(p)根据填充边缘上P点的光照线强度，光照线与法向量之间的夹角计算优先权大小，光照线是像素的梯度方向的垂直方向。若填充边缘上P点的光照线强度大，光照线与法向量之间的夹角小，则该目标块的优先权就越大； B、找出具有最大优先权值即P(P)最大的待修复区域Ψρ； C、然后在源图像中搜索与待修复区域Ψρ最佳匹配的填充块Ψ，q,即分别计算待修复区域Ψρ与源图像中各已知区域的相似度函数，从而取相似度最大的区域为填充块Ψ' q； D、将,中图像信息复制到待修复区域块Ψρ; Ε、当具有最高优先级的修复块Ψρ被修复后，更新以已被修复块边缘新生成的边界像素点为中心的块的置信度C(p),从而更新此类块的优先级值Ρ(ρ)。 F、重复B~E三个步骤，直到所有的破损区域都被修复。
2.根据权利要求1所述的公交车车载视频中乘客被手扶杆遮挡的图像修复方法，其特征在于，步骤(I)如下: Α、初始化聚类中心V = Iv1, V2,…，V。}，即将图像数据集分为C类。 B、根据图像像素和聚类中心的加权相似性测度，进行迭代优化以确定最佳聚类； C、分别计算手扶杆的灰度值到各聚类中心点的欧氏距离，误差最小的一类就是手扶杆区域Ω。
【文档编号】G06T7/00GK103455981SQ201310381815
【公开日】2013年12月18日 申请日期:2013年8月28日 优先权日:2013年8月28日
【发明者】金志刚, 徐楚 申请人:天津大学