一种物体跟踪装置及其跟踪方法
【专利摘要】本发明实施例提供了一种物体跟踪装置及其跟踪方法，解决了现有跟踪方法对于前景物体遮挡后的继续跟踪准确率低的问题，能够大大提高对于前景物体遮挡后的继续跟踪准确率，确保物体跟踪路线的完整性。该跟踪方法包括获取图像信息；建立背景模型；获取背景物体和前景物体的深度信息并加入背景模型；根据深度信息对前景物体及与其接近的背景物体或者前景物体及与其接近的其他前景物体的遮挡做出预判并作相应处理，之后利用遮挡预判辅助物体跟踪，提高跟踪准确率。
【专利说明】一种物体跟踪装置及其跟踪方法
【技术领域】
[0001]本发明涉及一种图像处理、跟踪检测【技术领域】，特别是一种物体跟踪装置及其跟踪方法。
【背景技术】
[0002]在军事侦察、人工智能等领域，常常会使用到运动物体的检测、跟踪算法，在物体跟踪过程中，当遇到物体相互遮挡时，通常会对前景物体(即目标物体)的继续跟踪造成影响。为解决这一问题，目前最常采用的方法是运动轨迹预测和特征匹配。其中，运动轨迹预测是指通过对前景物体运动方式进行建模，对前景物体运动轨迹进行预测，进而判断前景物体的方位；特征匹配是指通过提取前景物体的一些特征，对其进行特征匹配，进而判断前景物体的走向。
[0003]上述方法对前景物体跟踪过程中发生遮挡后的继续跟踪有一定效果，但准确率比较一般。其中，运动轨迹预测仅对运动趋势比较固定的前景物体比较有效，如道路上的车辆、空中飞行的飞行器等，在其他运动模式不确定的情景下，准确率会大大降低，很容易跟丢。而特征匹配方法在很多物体发生互相遮挡时，物体相互间经常有非常类似的特征，所以对遮挡方与被遮挡方的判断经常出错，比如在较密集人群中的人脸跟踪，采用这种特征匹配的方法，就很容易在目标人物被遮挡后跟错。
【发明内容】
[0004]本发明实施例提供一种物体跟踪装置及其跟踪方法，以提高对于前景物体遮挡后的继续跟踪准确率。
[0005]本发明实施例提供的一种物体跟踪方法，包括:
[0006]获取图像信息；
[0007]建立背景模型；
[0008]获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型；
[0009]根据深度信息对前景物体及与其接近的背景物体或者前景物体及与其接近的其他前景物体的遮挡做出预判并作相应处理。
[0010]上述物体跟踪方法中，所述根据深度信息对前景物体及与其接近的背景物体或者前景物体及与其接近的其他前景物体的遮挡做出预判并作相应处理包括:
[0011]当前景物体逐渐接近一个背景物体时，比对前景物体的深度信息和背景物体的深度信息，对遮挡作出预判；
[0012]若发生预判遮挡，则进一步判断遮挡关系是否与预判一致:
[0013]若发生的遮挡关系与预判一致，则在该背景物体边界区域搜索该前景物体；
[0014]若发生的遮挡关系与预判不一致，则对该背景物体的层次分类进行调整；
[0015]当一个前景物体与其他前景物体逐渐接近时，比对各前景物体的深度信息，对遮挡作出预判；
[0016]若发生预判遮挡，则根据各前景物体的不同深度信息，判断当前图像可见的前景物体。
[0017]上述物体跟踪方法中，所述获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型包括根据背景物体的深度信息将背景物体的深度位置分为至少三个层次。
[0018]上述物体跟踪方法中，所述获取背景物体和前景物体的深度信息并加入背景模型包括对背景物体进行检测。
[0019]上述物体跟踪方法中，所述对背景物体进行检测是通过纹理、边缘、颜色对背景物体进行检测。
[0020]上述物体跟踪方法中，所述对背景物体进行检测之后包括对前景物体进行检测。
[0021]上述物体跟踪方法中，所述获取背景物体和前景物体的深度信息并加入背景模型包括建立带深度信息的背景物体列表。
[0022]上述物体跟踪方法中，所述获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型包括根据所述背景物体列表显示的深度信息，将背景物体的深度位置分为至少三个层次。
[0023]上述物体跟踪方法中，所述若发生的遮挡关系与预判一致，则在该背景物体边界区域搜索该前景物体进一步包括对背景物体的层次分类进行成功记录。
[0024]上述物体跟踪方法中，所述若发生的遮挡关系与预判不一致，则对该背景物体的层次分类进行调整包括比对该背景物体与前景物体的深度信息以及该背景物体与其他背景物体的深度信息。
[0025]上述物体跟踪方法中，若前景物体与背景物体之间发生未预测到的遮挡时，则根据前景物体消失与再出现的位置及前景物体的深度信息建立导致前景物体被遮挡的背景物体并对其进行层次分类。
[0026]上述物体跟踪方法中，若前景物体被遮挡后始终未出现，则作出隐藏报警。
[0027]上述物体跟踪方法中，所述获取图像信息包括利用双目摄像头获取图像信息。
[0028]一种物体跟踪装置，包括:
[0029]图像获取模块，用于获取图像信息；
[0030]建模模块，用于建立背景模型；
[0031]深度信息获取及处理模块，用于获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型；
[0032]遮挡预判及处理模块，用于根据深度信息对前景物体及与其接近的背景物体或者前景物体及与其接近的其他前景物体的遮挡做出预判并作相应处理。
[0033]上述物体跟踪装置中，所述遮挡预判及处理模块进一步用于:
[0034]当前景物体逐渐接近一个背景物体时，比对前景物体的深度信息和背景物体的深度信息，对遮挡作出预判；
[0035]若发生预判遮挡，则进一步判断遮挡关系是否与预判一致:
[0036]若发生的遮挡关系与预判一致，则在该背景物体边界区域搜索该前景物体；
[0037]若发生的遮挡关系与预判不一致，则对该背景物体的层次分类进行调整；
[0038]当一个前景物体与其他前景物体逐渐接近时，比对各前景物体的深度信息，对遮挡作出预判；
[0039]若发生预判遮挡，则根据各前景物体的不同深度信息，判断当前图像可见的前景物体。
[0040]本发明实施例提供的物体跟踪装置及其跟踪方法，利用背景物体和前景物体的深度信息，对前景物体的运动中遮挡做出预判，大大提升了前景物体遮挡后的继续跟踪的准确率，从而确保物体跟踪路线的完整性；并且，还可以在前景物体利用背景物体进行隐藏时进行报警。
【专利附图】
【附图说明】
[0041]为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
[0042]图1是本发明一实施例所提供的物体跟踪方法的方法流程图。
【具体实施方式】
[0043]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]本发明实施例提供的一种物体跟踪方法，用于追踪视频图像的前景物体(即目标物体)，能够大大提高前景物体被遮挡后继续追踪的成功率。
[0045]图1所示为本发明实施例提供的一种物体跟踪方法流程图。如图1所示，该方法包括如下步骤:
[0046]步骤101:获取图像信息。
[0047]在本发明一实施例中，使用双目摄像头获取图像信息，利用双目摄像头能够较为准确的获得场景内物体(包括背景物体和前景物体)的深度信息。
[0048]在本发明一实施例中，在不计成本的前提下，可以采用激光单目摄像机获取图像信息，能够确保物体深度信息的精确度。
[0049]步骤102:建立背景模型。
[0050]在本发明一实施例中，可以利用本领域现有技术根据所述图像信息进行背景建模。
[0051]步骤103:获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型。
[0052]在本发明一实施例中，该过程包括如下步骤:
[0053]a)对背景物体进行检测。比如，可以通过场景内背景物体的纹理、边缘、颜色等信息对背景物体进行检测。
[0054]b)获取背景物体的深度信息；比如，可以利用本领域现有技术从图像信息中获取背景物体的深度信息。
[0055]在一实施例中，可以按照背景物体的深度位置，将背景物体的深度位置划分为预设的层次；比如，可以将背景物体分为远、中、近三个层次。
[0056]c)建立带背景物体深度信息的背景物体列表，并加入背景模型中。
[0057]比如，在背景物体列表中列明每一个背景物体的标识信息以及对应的深度信息。
[0058]d)对前景物体进行检测，比如，可以利用本领域现有技术通过背景模型检测运动的前景物体。
[0059]e)获取前景物体的深度信息，比如，可以利用本领域现有技术从图像信息中获取前景物体的深度信息。
[0060]步骤104:根据深度信息对前景物体及与其接近的背景物体或者前景物体及与其接近的其他前景物体的遮挡做出预判并作相应处理。具体为:
[0061]步骤105:当前景物体逐渐接近一个背景物体时，比对前景物体的深度信息和背景物体的深度信息，对遮挡作出预判。利用遮挡预判辅助物体跟踪，提高跟踪准确率。假设一个前景物体按照当前运动趋势持续运动下去的情况下，在接下来的几帧中可能与某个背景物体发生遮挡，这时将他们的状态设为可能发生遮挡的预警状态，并比对前景物体的深度信息和背景物体的深度信息，对二者可能发生的遮挡关系作出预判。
[0062]若发生预判遮挡，则进一步判断遮挡关系是否与预判一致。在接下来的几帧中，发生预判被遮挡的物体面积逐渐减少并消失的情况时，确认发生遮挡，即预判成功。此时则需要进一步判断遮挡关系是否与预判一致。
[0063]若发生的遮挡关系与预判一致，则在该背景物体边界区域搜索该前景物体。如果发生预判遮挡且遮挡关系与预判一致，前景物体遮挡后持续运动并一定会出现在该背景物体的周边，此时集中力量关注该背景物体的周边边界区域，就能及时发现遮挡后再出现的iu景物体，大大提闻了追踪准确率。
[0064]在本发明一实施例中，如果发生的遮挡关系与预判一致，进一步包括对背景物体层次分类进行成功记录，表明对该背景物体的层次分类是正确的。
[0065]若发生的遮挡关系与预判不一致，则对该背景物体的层次分类进行调整。对于前景物体与背景物体而言，由于背景物体往往与前景物体在图像特征上存在显著差异，因此可以很明确的确认是哪个物体消失了，从而从图像上确认遮挡关系。而且，由于背景物体位置不变，因此如果从图像上判断的遮挡关系与预判的遮挡关系不一致，那么对背景物体的层次进行调整，对以后的判断具有借鉴意义。具体的说，以该背景物体原来的分类为近层为例，若预判的遮挡关系与实际遮挡关系不一致，那么证明对背景物体并不是位于近层的位置，原来的分类是有问题的，此时需要详细比对该背景物体与前景物体的深度信息，以及该背景物体与其他背景物体(包括远、中、近三个层次的背景物体)的深度信息，分析得出该背景物体最接近的层次，比如是中层，然后对该背景物体层次分类进行调整，将其层次分类改为中层。由于场景内的背景物体自然形成的路径往往不是完全与深度层次平行的，所以这种再调整是合理的。
[0066]若未发生预判遮挡，则不需要采取任何操作。这是因为在进行预判遮挡时，两个物体并未发生遮挡，前景物体不一定就会持续按当前的运动趋势继续运动下去，也就不一定会发生遮挡。因此，任何做出了预判遮挡的物体，如果未发生遮挡，属于正常的情况，且不需要对现有模型作任何调整，例如一个前景物体，停在了背景物体旁边没有继续前进的情况，就属于上述描述情形。
[0067]步骤106:当一个前景物体与其他前景物体逐渐接近时，比对各前景物体的深度信息，对遮挡做出预判。利用遮挡预判辅助物体跟踪，提高跟踪准确率。假设两个或多个前景物体按照当前各自的运动趋势持续运动下去的情况下，在接下来的几帧中相互间可能发生遮挡，这时将他们的状态设为可能发生遮挡的预警状态，并比对各前景物体的深度信息，对可能发生的遮挡关系做出预判。
[0068]若发生预判遮挡，则根据各前景物体的不同深度信息，判断当前图像可见的前景物体。在接下来的几帧中，发生预判被遮挡的物体面积逐渐减少并消失的情况时，确认发生遮挡，即预判成功。对于两个或多个前景物体而言，由于前景物体往往具有相似性，很难判断从图像上确认此时哪个物体被遮挡，此时预判的关系具备权威性，按照预判关系对前景物体进行跟踪，能够大大提高前景物体的跟踪准确率。具体地说，当图像中有两个或多个前景物体，且被追踪的前景物体被其他前景物体发生遮挡时，需要判断前景物体之间的遮挡关系，此时根据各个前景物体的不同深度信息，能够判断出当前图像中可见的哪个前景物体，从而提闻了遮挡后如景物体的追踪正确率。
[0069]与以上前景物体、背景物体的预判遮挡情况类似，若未发生两个前景物体之间的预判遮挡，则不需要采取任何操作。
[0070]在本发明一实施例中，若前景物体与背景物体之间发生未预测到的遮挡时，即没有预判遮挡，而突然发生了前景物体消失的情况，说明对这个遮挡前景物体的背景物体的检测存在遗漏。该遗漏一般是由于背景物体特征不够明显造成，因此需要根据前景物体消失与再出现的位置及前景物体的深度信息建立导致前景物体被遮挡的背景物体并对其进行层次分类。具体的操作是，此时按照前景物体运动方式漂移跟踪，如果在限定帧数及限定距离内重新发现前景物体，则认为该位置“可能”存在一个之前没有检测出的背景物体，且该背景物体的深度信息小于当前的前景物体。对该“可能存在的背景物体”进行保存，并标注(如命名为cloud)，当下次再发生前景物体在同一位置发生消失和重现时，则确认该背景物体的存在，并去掉标注(如cloud标识)。
[0071]在本发明一实施例中，若前景物体被遮挡后始终未出现，则表明追踪的前景物体可能隐藏起来，或者跟踪丢失了，则做出隐藏报警。
[0072]本领域技术人员可以理解，上述步骤的执行顺序并不一定按次序进行，本发明对各步骤的执行顺序不做限制。
[0073]在本发明一实施例中，上述物体跟踪方法通过基于深度信息的物体跟踪装置实现，所述物体跟踪装置包括图像获取模块、建模模块、深度信息获取及处理模块以及遮挡预判及处理模块。
[0074]其中，图像获取模块用于获取图像信息。建模模块用于建立背景模型。深度信息获取及处理模块用于获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型。遮挡预判及处理模块用于根据深度信息对前景物体及与其接近的背景物体或者前景物体及与其接近的其他前景物体的遮挡做出预判并作相应处理，具体如下:
[0075]当前景物体逐渐接近一个背景物体时，比对前景物体的深度信息和背景物体的深度信息，对遮挡作出预判；
[0076]若发生预判遮挡，则进一步判断遮挡关系是否与预判一致:
[0077]若发生的遮挡关系与预判一致，则在该背景物体边界区域搜索该前景物体；
[0078]若发生的遮挡关系与预判不一致，则对该背景物体的层次分类进行调整；
[0079]当一个前景物体与其他前景物体逐渐接近时，比对各前景物体的深度信息，对遮挡作出预判；
[0080]若发生预判遮挡，则根据各前景物体的不同深度信息，判断当前图像可见的前景物体。
[0081]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种物体跟踪方法，其特征在于，包括: 获取图像信息； 建立背景模型； 获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型； 根据深度信息对前景物体及与其接近的背景物体或者前景物体及与其接近的其他前景物体的遮挡做出预判并作相应处理。
2.根据权利要求1所述的物体跟踪方法，其特征在于，所述根据深度信息对前景物体及与其接近的背景物体或者前景物体及与其接近的其他前景物体的遮挡做出预判并作相应处理包括: 当前景物体逐渐接近一个背景物体时，比对前景物体的深度信息和背景物体的深度信息，对遮挡作出预判； 若发生预判遮挡，则进一步判断遮挡关系是否与预判一致: 若发生的遮挡关系与预判一致，则在该背景物体边界区域搜索该前景物体； 若发生的遮挡关系与预判不一致，则对该背景物体的层次分类进行调整； 当一个前景物体与其他前景物体逐渐接近时，比对各前景物体的深度信息，对遮挡作出预判； 若发生预判遮挡，则根据各前景物体的不同深度信息，判断当前图像可见的前景物体。
3.根据权利要求2所述的物体跟踪方法，其特征在于，所述获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型包括根据背景物体的深度信息将背景物体的深度位置分为至少三个层次。
4.根据权利要求1-3任一所述的物体跟踪方法，其特征在于，所述获取背景物体和前景物体的深度信息并加入背景模型包括对背景物体进行检测。
5.根据权利要求4所述的物体跟踪方法，其特征在于，所述对背景物体进行检测是通过纹理、边缘、颜色对背景物体进行检测。
6.根据权利要求4或5所述的物体跟踪方法，其特征在于，所述对背景物体进行检测之后包括对前景物体进行检测。
7.根据权利要求3-6任一所述的物体跟踪方法，其特征在于，所述获取背景物体和前景物体的深度信息并加入背景模型包括建立带深度信息的背景物体列表。
8.根据权利要求7所述的物体跟踪方法，其特征在于，所述获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型包括根据所述背景物体列表显示的深度信息，将背景物体的深度位置分为至少三个层次。
9.根据权利要求1-8任一所述的物体跟踪方法，其特征在于，所述若发生的遮挡关系与预判一致，则在该背景物体边界区域搜索该前景物体进一步包括对背景物体的层次分类进行成功记录。
10.根据权利要求1-9任一所述的物体跟踪方法，其特征在于，所述若发生的遮挡关系与预判不一致，则对该背景物体的层次分类进行调整包括比对该背景物体与前景物体的深度信息以及该背景物体与其他背景物体的深度信息。
11.根据权利要求1-10任一所述的物体跟踪方法，其特征在于，若前景物体与背景物体之间发生未预测到的遮挡时，则根据前景物体消失与再出现的位置及前景物体的深度信息建立导致前景物体被遮挡的背景物体并对其进行层次分类。
12.根据权利要求1-11任一所述的物体跟踪方法，其特征在于，若前景物体被遮挡后始终未出现，则作出隐藏报警。
13.根据权利要求1-12任一所述的物体跟踪方法，其特征在于，所述获取图像信息包括利用双目摄像头获取图像信息。
14.一种物体跟踪装置，其特征在于，包括: 图像获取模块，用于获取图像信息； 建模模块，用于建立背景模型； 深度信息获取及处理模块，用于获取背景物体和前景物体的深度信息并将背景物体的深度信息加入背景模型； 遮挡预判及处理模块，用于根据深度信息对前景物体及与其接近的背景物体或者前景物体及与其接近的其他前景物体的遮挡做出预判并作相应处理。
15.根据权利要求14所述的物体跟踪装置，其特征在于，所述遮挡预判及处理模块进一步用于: 当前景物体逐渐接近一个背景物体时，比对前景物体的深度信息和背景物体的深度信息，对遮挡作出预判； 若发生预判遮挡，则进一步判断遮挡关系是否与预判一致: 若发生的遮挡关系与预判一致，则在该背景物体边界区域搜索该前景物体； 若发生的遮挡关系与预判不一致，则对该背景物体的层次分类进行调整； 当一个前景物体与其他前景物体逐渐接近时，比对各前景物体的深度信息，对遮挡作出预判； 若发生预判遮挡，则根据各前景物体的不同深度信息，判断当前图像可见的前景物体。
【文档编号】G06T7/20GK104463906SQ201410632684
【公开日】2015年3月25日 申请日期:2014年11月11日 优先权日:2014年11月11日
【发明者】桑伯男 申请人:广东中星电子有限公司