一种针对目标跟踪控制的图像信号综合处理装置制造方法

一种针对目标跟踪控制的图像信号综合处理装置制造方法
【专利摘要】本实用新型公开了一种针对目标跟踪控制的图像信号综合处理装置，包括依次相互连接的CCD电视跟踪控制器、串行数字接口、跟踪计算机和伺服装置，所述CCD电视跟踪控制器包括相互连接的CCD摄像头、数字接口电路和跟踪处理器，所述跟踪处理器包括相互连接的主控制计算机和图像数据采集卡。本实用新型解决了实时场景中获取的图像容易受到如光照、新目标的影响等因素干扰的问题；同时解决了目标跟踪过程中，运动目标的不规则运动或是目标之间相互遮挡的问题，是一种准确性、鲁棒性、实时性的目标检测和跟踪方法。
【专利说明】一种针对目标跟踪控制的图像信号综合处理装置

【技术领域】
[0001]本实用新型公开了一种针对目标跟踪控制的图像信号综合处理装置，涉及图像处理和图像跟踪控制【技术领域】。

【背景技术】
[0002]随着计算机技术、网络技术、图像处理技术的迅猛发展，视频监控目前已成为研究热点，视频监控是指在没有人为干预的情况下，通过摄像头采集监控场景的视频图像序列，利用图像处理、视频分析以及模式识别等方法对采集到的图像进行自动分析，得到目标的运动参数并以此作为主要依据控制摄像头始终指向目标实现对目标的连续跟踪，还可以判断目标的行为，并对异常情况作出反应。
[0003]监控系统一般由前台的视频捕捉系统及后台的图像处理系统组成，捕捉系统主要负责图像采集，提供检测信息；图像处理系统完成图像分割、特征提取以及对目标的跟踪，目标图像信号经过图像处理单元处理后，产生偏移信号并驱动电路使伺服机构产生控制信号带动云台上的摄像头将目标放大、做特写，获取目标的特征信息，使目标始终处于图像显示区的中心附近，从而完成对目标的跟踪。
[0004]虽然对运动目标检测和跟踪理论的研究已经进行了好多年，但是目前他仍然存在许多难以解决的问题，在实时场景中获取的图像容易受到很多因素的干扰，如光照、新目标的影响；同时在目标跟踪过程中，运动目标的不规则运动或是目标之间相互遮挡问题等，所以目前来说开发出一种准确性、鲁棒性、实时性的目标检测和跟踪方法是现在最需要解决的问题。
实用新型内容
[0005]本实用新型所要解决的技术问题是:针对现有技术的缺陷，提供一种针对目标跟踪控制的图像信号综合处理装置，解决了实时场景中获取的图像容易受到如光照、新目标的影响等因素干扰的问题；同时解决了目标跟踪过程中，运动目标的不规则运动或是目标之间相互遮挡的问题，是一种准确性、鲁棒性、实时性的目标检测和跟踪方法。
[0006]本实用新型为解决上述技术问题采用以下技术方案:
[0007]一种针对目标跟踪控制的图像信号综合处理装置，包括依次相互连接的CXD电视跟踪控制器、串行数字接口、跟踪计算机和伺服装置，所述CCD电视跟踪控制器包括相互连接的CXD摄像头、数字接口电路和跟踪处理器，所述跟踪处理器包括相互连接的主控制计算机和图像数据采集卡；所述CXD摄像头的信号输出端通过数字接口电路连接至跟踪处理器；跟踪处理器经过数据采集卡和主控制计算机相连接，主控计算机的输出端和串行数字接口相连接，串行数字接口的输出端和跟踪计算机相连，跟踪计算机的输出端和至伺服装置相连。
[0008]作为本实用新型的进一步优选方案，所述C⑶摄像头为CS8620HCi型号的黑白工业级高分辨率数字CCD摄像机。
[0009]作为本实用新型的进一步优选方案，所述串行数字接口具体为IEEE1394。
[0010]作为本实用新型的进一步优选方案，所述主控制计算机为通用微机。
[0011]本实用新型采用以上技术方案与现有技术相比，具有以下技术效果:本实用新型解决了实时场景中获取的图像容易受到如光照、新目标的影响等因素干扰的问题；同时解决了目标跟踪过程中，运动目标的不规则运动或是目标之间相互遮挡的问题，是一种准确性、鲁棒性、实时性的目标检测和跟踪方法。

【专利附图】

【附图说明】
[0012]图1是本实用新型的实物结构示意图。
[0013]图2是本实用新型所采用双波门跟踪方法示意图。

【具体实施方式】
[0014]下面详细描述本实用新型的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本实用新型，而不能解释为对本实用新型的限制。
[0015]本【技术领域】技术人员可以理解的是，本实用新型中涉及到的相关模块及其实现的功能是在改进后的硬件及其构成的装置、器件或系统上搭载现有技术中常规的计算机软件程序或有关协议就可实现，并非是对现有技术中的计算机软件程序或有关协议进行改进。例如，改进后的计算机硬件系统依然可以通过装载现有的软件操作系统来实现该硬件系统的特定功能。因此，可以理解的是，本实用新型的创新之处在于对现有技术中硬件模块的改进及其连接组合关系，而非仅仅是对硬件模块中为实现有关功能而搭载的软件或协议的改进。
[0016]本【技术领域】技术人员可以理解的是，本实用新型中提到的相关模块是用于执行本申请中所述操作、方法、流程中的步骤、措施、方案中的一项或多项的硬件设备。所述硬件设备可以为所需的目的而专门设计和制造，或者也可以采用通用计算机中的已知设备或已知的其他硬件设备。所述通用计算机有存储在其内的程序选择性地激活或重构。
[0017]本【技术领域】技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本实用新型的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
[0018]本【技术领域】技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本实用新型所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0019]下面结合附图对本实用新型的技术方案做进一步的详细说明:
[0020]本实用新型的电路结构示意图如图1所示，所述CCD电视跟踪控制器通过CCD摄像头获取外部的图像信息，通过数字接口电路将数字信号传递给跟踪处理器，跟踪处理器完成通过视频采集卡采集数据，跟踪处理器对图像信息处理后，输出角位置偏差信号，通过串行数字接口向跟踪伺服装置的跟踪计算机发送图像跟踪信号，实现对目标的跟踪。CCD摄像头选用东芝泰力CS8620HCi型号的黑白工业级高分辨率数字C⑶摄像机，图像质量高，颜色还原性好，以IEEE1394作为输出，信号稳定。该摄像机有如下特点:
[0021]1、高分辨率:采用高像素数(38万像素)(XD，实现水平分辨率570电视线，可以采集到杂波少、抖动量少的高分辨率图像。CCIR规格:44万像素，水平分辨率560电视线。
[0022]2、超小型轻便:29(W) X29 0l)x31(D)约50g，本产品超小型轻便，使用DV12V的电源就可采集图像。
[0023]3、电子快门:具有电子快门功能，即便超动态条件下也能采集到不模糊的清晰图像。
[0024]4、AGC(自动增益控制):具有自动增益控制功能，可在变化的光量条件下采集到清晰的图像。
[0025]5、重启/复位:位功能，通过输入R.R脉冲信号(VD)可在所需要的任意时段采集至IJ图像。
[0026]6、特殊快门/随机触发快门:通过输入外触发信号，可实时采集到图像的特殊快门及随机触发快门。
[0027]7、近红外光谱区域感光:CS8620Hci采用近红外光谱区域感光(XD，即便接近近红外光谱区域也能采集到清晰鲜明的图像。
[0028]跟踪处理器需要实时对图像进行处理，检测出图像中的目标，同时对图像进行压缩和本身的状态进行检查，实时输出目标的角偏差信号、状态信息及叠加处理信息的图像数据。
[0029]跟踪处理器用于对图像信号的综合处理，包括对视频图像信号的处理、跟踪角误差形成、自身的状态实时监测、与外围计算机的信息交互、电视图像的叠加处理以及交互信息的实时输出，其主要任务和功能是:
[0030](I)对视频信号进行处理，完成对目标的检测与跟踪，并实时把跟踪信号送给控制计算机；
[0031](2)对处理机进行检查，并实时将上述状态参数送给控制计算机；
[0032](3)接收控制计算机的中断信号，控制空载信息处理机由待机状态转运行状态。
[0033]为便于教学演示，跟踪处理器采用通用微机作为主控制计算机，采用图像数据采集卡实现图像信号输入PC计算机，再由通用图像识别与跟踪控制软件实现图像跟踪。
[0034]在原理上本系统采用的是波门跟踪。波门是目标跟踪系统实际处理时所采用的窗口，它的大小介于目标和视场之间。设置波门可以非常有效地排除背景干扰，还可以大大减少计算量以提高计算速度。波门中心由图中目标的位置决定，通常可以认为目标的中心和波门的中心是完全重合的。
[0035]跟踪波门可分为固定式和自适应式两种。固定式波门的大小不会随着目标的远近移动而变化，自适应式则会根据目标图像在视场中的大小按一定的规则发生变化。当目标由远到近运动而探测器焦距不变时，目标图像自然会随之变大，这就要求跟踪波门也要随之作出相应的变化以保证目标图像始终包含在波门之内。对于自适应大小的跟踪波门，其大小的调整可以通过人的参与进行，也可以通过测距仪先测出目标的摄像机的距离，然后根据投影关系确定目标的大小，根据计算得到的目标大小确定跟踪波门的大小。
[0036]波门中心及其大小由目标图像中心以及基于图像的目标快速识别与跟踪技术研究其目标图像尺寸大小所控制。稳定平台自动跟踪系统在工作时需要从目标的图像中提取目标的位置信息，进而形成跟踪误差信号去驱动伺服机构对目标进行跟踪。通常，从目标图像中提取目标位置信息的方法常用波门跟踪模式。
[0037]波门的大小在很大程度上影响运算速度，波门过大会导致运算速度降低，所以波门不能太大，否则影响跟踪效果。在满足系统跟踪精度要求的情况下，为了兼顾运算速度和系统的抗干扰能力，考虑采用双波门来设置跟踪窗口。双波门算法是指波门由内门和外门二层构成，内门紧贴目标，外门的设置是为了判断目标的运动状态(离开或进入)，相当于为内门跟踪提供一定的裕度，内外门之间区域称为背景采样区，下面介绍双波门的设计方法，如图2所示。
[0038]图2给出了跟踪窗口的设置，内门用来紧紧套住运动的目标，随着目标的移动导致的图像大小变化，内门随之变化，并且随着目标的中心而移动。外门将内门包含其中，它的大小是根据内门的大小按照一定比例自行调整的，调整的规则是保证能反映目标周边的灰度分布且不影响图像处理的实时性。
[0039]在一个目标跟踪系统中，波门中心和大小的初始值通常有两种方法确定:一种方式是通过人的参与，人通过观看屏幕上图像中目标的位置和大小，采用半自动的方式确定波门大小和位置；另一种方式利用序列图像提供的信息，自动确定图像中目标的位置和大小。第一种方式由于有人的介入，因此目标的确定的可信度和位置的精度比较高，由于第二种方式需要先对图像的内容进行理解识别，从图像中分离出所需要跟踪的目标，而目标的自动识别的正确性还不能完全保证，因此在实际中还有待更好的识别方法的研究。目前的目标自动识别方法通常有:灰度分割法，区域增长法，模板匹配法，特征提取识别法等，对于运动目标的序列图像，还可以通过帧间差，计算光流场，特征点对应等方法来提取运动目标。
[0040]波门跟踪通常和其它跟踪方法相结合，例如，波门跟踪和质心跟踪结合时，跟踪时使质心的计算只需要在波门内进行，在波门内计算得到目标的质心后，再将波门的中心移动到质心处，使目标始终处于波门的中心，在任何一个处理周期内，都取波门的中心作为目标的位置，从而在不断的波门位置的更新过程中完成对目标的跟踪。
[0041]相关跟踪是利用序列图像中运动目标在不同位置的相关性进行目标跟踪的一种算法，这种方法不需要对图像进行分割和特征的提取，而只在原始图像数据上进行运算，保留了图像的全部信息，具有对图象质量要求不高，可以在低信噪比条件下稳定工作的特点，同时该算法能适应目标的背景比较复杂的场景条件下的跟踪，局部抗干扰能力有所提高，在许多复杂环境场景下都能得到应用。因此相关跟踪算法是目前国内外研究地最多的一种跟踪算法。
[0042]相关跟踪采用模板匹配的方法，模板匹配一种是基于对图像相似性的衡量，在现场实时获取的图像中寻找与目标模板最为接近的图像区域的识别跟踪方式[47]。模板匹配法对于图像的特征不明显，特征不易提取的场合特别适用。其算法的描述如下:
[0043]I)通过人的参与或自动识别获取包含目标的初始模板，模板的大小为MXN ；
[0044]2)设定模板的移动区域为土L，即模板的移动范围为当前位置向上下左右四个方向的偏移量均从O到L;
[0045]3)在搜索范围内采用某种相关性度量函数和一定的搜索策略获取原图像中和模板的匹配度最高的子图，将该子图的位置设定为目标的新位置；
[0046]4)根据原来的模板图像和最佳匹配子图，同时依据一定的模板更新策略更新模板，采用新的模板，并将当前位置移动到新位置回到第3步进行新一次的搜索。
[0047]在相关跟踪算法中，匹配函数的选择对匹配的精度和匹配的速度有很大的影响，常用的匹配相关度量有如下几种:
[0048](a)归一化相关函数
[0049]设模板T以图像I为背景做平移运动，模板下方和模板同样大小的I中的子图为Si’j，其中i，j分别为子图的中心在图像I中的坐标。可用绝对差的平方和D(i，j)来表示子图和模板的相似性:
[0050]D(i,j) = Y^Slj{m,η)-T⑴

m=l n=\
[0051]D(i, j)越小，表示模板和子图相似度越高，将(2.18)展开有:
[0052]D(i,j) = ^^\slJ-2^^SlJ(m,n)xT(m,n) + ^^\T(m,n)\2 (2)
m=l n=\m=\ n=\m=\ n=\
[0053]式中，等号右边最后一项表示模板的总能量，大小与(i，j)无关；第一项表示背景中被模板覆盖的子图能量，它随(i，j)的位置而改变；第二项是图像和模板的互相关，随(i, j)变化，当T与SU匹配时此项最大，因此可用如下函数作为图像的相关性度量:

YjYjSij (m,n)xT(m,n)
[0054]R(Ij) = ^r-N-— (3)
ΣΣ|η")Ι


m=l ?=1
[0055]可以归一化为:

M N

Σ Σ ^lj (rr^n)xT (m，η)
[0056]D=卜广1N2(4)

λ/ΣΣΙγ(^^)Γ α/ΣΣ|^,7(^π)|

Y m=l n=l]f m=l n=l
[0057]则式(4)中的R(i，j)就为归一化相关函数，当R(i，j) = I时，表示子图在(i，j)处和模板完全匹配，在相关跟踪中，取R(i，j)最大时的(i，j)作为一次搜索的结果，搜索到的目标的位置完全由归一化相关函数的最大值来确定。但采用归一化相关函数做为相关跟踪中的匹配函数计算量特别巨大，不适合在工程实践中作为实时跟踪算法使用，因此又提出了下面几种相关度量来进行相关跟踪，以减少相关跟踪的计算量，提高相关跟踪的跟踪速度。
[0058](b)平均绝对差值法(SDA)I MN
[0059]SDA 算法的表达式为:所/,./’)—(5)
IVifS m=i n=\
[0060]当R(i，j)取为最小值时，(i，j)处的子图就是与模板最为相似的，该位置为最佳匹配点。
[0061](c)固定权值的δ相关算法
[0062]δ相关算法采用了 δ相关度量来计算子图和模板的相关性大小。下面先给出δ相关度量中S的定义:

I, shi(m,n)-T(m,?)| < ε
_3],取二丨(6)

O,.V (ηι,η)-Τ(ιη,η)^ > ε
[0064]其中，ε表示子图和模板中对应像素判定为相同的阈值，ε的取值通常取图像的噪声强度均方差的3倍。
[0065]因为对于均值为μ，均方差为σ的正态分布的随机变量X, P { μ _3 O< X ^ μ +3 σ } = 0.9974,因此X落在[μ _3 σ，μ +3 σ ]之间几乎是肯定的事，因为图像的噪声为标准正态分布的，因此可以取ε =3。作为阈值来决定模板和子图中对应的像素是否相同，如果相同，则δ取1，否则取O。
[0066]δ相关算法定义为:
Y M N
_7] RH,/)(7)
[0068]将模板在图像I的搜索区内移动，使R(i，j)为最大的子图就是最佳匹配的子图，取(i，j)作为运动目标的新位置。当子图和模板完全匹配时，R(i，j) = I。
[0069](d)变权值的δ相关算法
[0070]在执行相关跟踪算法时，通常在模板中含有目标部分，也含有背景部分，在锁定目标并确定模板时，通常使目标处在模板的中心，而在模板的边缘处会有一些背景像素，为了减小这些非目标像素的影响，可以在固定权值的S相关算法的基础上作一点改进，取δ函数为:

C, s''J (m,n) - T'(m, η) < ε
[0071]Sij=\..(8)
[0072]其中(:为(1变化的一个可变的权值，d为模板上的点到模板中心的距离。通常情况下，d越小，则权值C越大，但又要使最大和最小的C维持在一个合理的变化范围内。通常可以取C为d的钟形函数，gp
[0073]C = C(d) = Ae—"1 (9)
[0074]式中，Α、λ的取值侬据经验而定，可取A = I, λ = 0.0025。定义了可变权值的δ函数后，余下部分的处理和固定权值的δ函数处理方式完全一样。
[0075]图像跟踪根据不同的应用场合有各自适用的算法，还有诸如边缘跟踪、基于卡尔曼滤波的预测跟踪、基于仿射变换的目标跟踪等方法，这些算法对目标的变化有较好的适应性，但其运算量特别巨大，带来的运算延迟使得相邻两帧图像中的目标运动的太远的距离而超出图像跟踪器的搜索范围，从而目标就很容易丢失，因此在实际的图像跟踪中需要综合考虑运算的复杂度和跟踪的稳定性。
[0076]上面结合附图对本实用新型的实施方式作了详细说明，但是本实用新型并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本实用新型宗旨的前提下做出各种变化。以上所述，仅是本实用新型的较佳实施例而已，并非对本实用新型作任何形式上的限制，虽然本实用新型已以较佳实施例揭露如上，然而并非用以限定本实用新型，任何熟悉本专业的技术人员，在不脱离本实用新型技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本实用新型技术方案内容，依据本实用新型的技术实质，在本实用新型的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本实用新型技术方案的保护范围之内。
【权利要求】
1.一种针对目标跟踪控制的图像信号综合处理装置，其特征在于:包括依次相互连接的CCD电视跟踪控制器、串行数字接口、跟踪计算机和伺服装置，所述CCD电视跟踪控制器包括相互连接的CXD摄像头、数字接口电路和跟踪处理器，所述跟踪处理器包括相互连接的主控制计算机和图像数据采集卡； 所述CXD摄像头的信号输出端通过数字接口电路连接至跟踪处理器；跟踪处理器经过数据采集卡和主控制计算机相连接，主控计算机的输出端和串行数字接口相连接，串行数字接口的输出端和跟踪计算机相连，跟踪计算机的输出端和至伺服装置相连。
2.如权利要求1所述的一种针对目标跟踪控制的图像信号综合处理装置，其特征在于:所述CXD摄像头为CS8620HCi型号的黑白工业级高分辨率数字CXD摄像机。
3.如权利要求1或2所述的一种针对目标跟踪控制的图像信号综合处理装置，其特征在于:所述串行数字接口具体为IEEE 1394。
4.如权利要求3所述的一种针对目标跟踪控制的图像信号综合处理装置，其特征在于:所述主控制计算机为通用微机。
【文档编号】G06T7/20GK203968271SQ201420383801
【公开日】2014年11月26日 申请日期:2014年7月11日 优先权日:2014年7月11日
【发明者】周洪成, 胡艳, 陈存宝, 姜志鹏, 刘海陵 申请人:金陵科技学院