专利名称：用于跟踪物体或人的运动的方法和设备的利记博彩app
用于跟踪物体或人的运动的方法和设备
本发明涉及视频处理领域且提供用于从视频帧序列中提取运动信息 的设备、相应的方法和计算机程序产品。本发明可被使用于跟踪其经历速 度上的很大差异的物体。
运动信息在包括交通监控、跟踪人、安全和监视的许多应用中可以是 很重要的。得到运动信息可以在交通工具与另一辆交通工具或物体碰撞的 情况下去帮助提高在交通工具内的乘客的安全性。在这种情形下，乘客的 瞬时运动对于优化气囊应被触发的精确时间、以及对于气嚢在它膨胀阶段 期间的恰当设计是很重要的。
数字视频处理在最近几年内有惊人的进展。大量的出版物已经解决了 检测诸如汽车或人那样的物体的运动的问题。即使对于诸如交通工具的速 度估计那样的相对较简单的任务，现有的解决方案也使用了存储器密集的 算法和/或需要大的计算能力的算法的组合。已知的用于那个用途的算法 利用目标识别、目标跟踪、或对在不同时刻拍摄的图像进行比较。所以， 实施用于这样的应用的实时系统很困难并且也很昂贵。
真正的运动估计是在高端电视机中应用的视频处理技术。这些电视机
使用100Hz，而不是标准的50Hz的帧速率。这使得必须藉助于内插来创建 新的中间的视频帧。为了以高的帧质量来做到这一点，必须估计在二维帧 中像素块的运动。这可以通过3D递归搜索块匹配算法来完成，正如在 Gerard de Haan 等人的文章 一 "True motion estimation with 3D-recursive search block matching", IEEE transactions on circuits and systems of video technology, volume 3， No. 5，1993年10月 - 中 描述的。这个算法把帧再划分成8x8像素的块，以及尝试识别这个块在 下一个帧中的位置。这些位置的比较使得有可能给每个像素块分派一个运 动矢量，它包括在两个帧之间的块的像素移位和时间的比率。
Michael Aron 等人的"Handling uncertain sensor date in vision-based camera tracking", proceedings of the third IEEE and ACM International Symposium on mixed and augmented reality, ISMAR 2004,描述了用于增强现实(AR， augmented reality)的系统，它包括凄史 字视频摄像机和固定到这个摄像机的惯性传感器。该系统被附着到AR用户的头部，由此传感器用来检测用户头的旋转。在AR方案中照相机位置用属于平的表面上的关键点来计算。如果惯性传感器检测到大的照相机旋转，则基于视觉的跟踪系统使用传感器数据来调整用于下一个帧的关键点的搜索窗口。
本发明的目的是提供一种用来跟踪物体或人的方法、设备和相应的计算机程序产品，其即使在被跟踪的物体或人在它们的平移(translational )速度上经历4艮大改变时仍可纟皮使用。
这个目的和其它目的通过独立权利要求的特征被解决。本发明的优选实施例通过从属权利要求的特征被描述。应当强调指出，在权利要求中的任何参考标号不应当解读为限制本发明的范围。
按照本发明的第一方面，上述的目的是通过用于跟踪物体或人的运动的方法解决的。本方法的第一步骤由抓取数字视频帧序列组成，由此视频帧捕获物体或人。在第二步骤中，在抓取视频帧的同时测量参数值，所述参数是物体或人的运动的指示。这意味着，上述的两个步骤是同时实行的。所述参数的值是以下面更详细地描述的方式得到的测量值。在本方法的第三步骤，藉助于处理逻辑来处理视频帧。处理逻辑使用一种算法，其规定帧中的像素块，并在下一个帧内在搜索区域内搜索这个像素块。按照本发明，在下一个帧内该搜索区域的位置是根据测量值而动态地调整的。
当实行如上所述的方法时，使用一种设备，它包括抓取所述数字^L频帧序列的数字视频摄像机，并且还包括用于接收所述参数的值的输入端口。该参数是由视频帧捕获的物体或人的运动的指示。另外，该设备包括处理逻辑，用于处理由数字视频摄像机提供的视频帧。处理逻辑适合于规定帧中的像素块和在下一个帧内在搜索区域内搜索这个像素块。在下一个帧内这个搜索区域的位置根据测量值而动态地调整。
以上的解决方案提供优点即使在捕获的物体或人经历它们速度上的很大改变的情形下仍有可能通过块匹配算法来进行数字视频帧的电子处理。块匹配算法可以使用搜索区域，以便减轻计算负担。不进行搜索区域的动态调整，则物体或人的跟踪将失败，或者将易遭受性能降低。原因在于，在大的速度改变的情形下，物体可能在下一个帧内离开该搜索区域，这个问题要通过动态调整来补救。
在上一个段落的意义下的运动是平移运动。平移运动可以是纯平移运动或可以是包括平移速度分量的运动。在两种情形下，被跟踪的物体在它的平移速度改变后，特别是突然改变后，可以位于下一个帧的不同部分。换句话说，如果运动是纯旋转运动，则本发明无法提供优点。
按照本发明的优选实施例，调整下 一个帧中搜索区域的位置是通过根据所述参数的测量值估计或计算在所述下一个帧中所述像素块的位置而完成的。换句话说，像素块的位移基于此而被估计或计算。这意味着，外部信息，即参数的测量值，被使用来改进块匹配算法的输出。
这将对于参数是加速度矢量的情形更详细地说明。加速度矢量是一个具有三维空间的幅度和方向的量。这个加速度矢量可以由在用于实行本发明的设备外部的或作为所述设备的 一部分的加速度传感器得到，该加速度矢量被映射到该帧所在的平面上。从数学上讲，这个映射是三维加速度矢
量在视频帧代表的二维平面上的投影。如果加速度矢量的幅度用a表示，由于加速度矢量造成的像素块的横向位移的幅度用s表示，且时间用t表示，则s-0.5，an2。 s以像素为单位表示。搜索区域在简单的情形下可以是矩形，当与二维加速度矢量相比较时它将沿相反方向偏移s的量。
按照本发明的优选实施例，搜索区域是对于每个帧调整的，或者是当参数的测量值大于预定义的阈值时调整的。当物体或人经历一系列速度改变、其将使得必须逐帧不断地调整搜索区域时，第一替换例是适当的。倘若物体或人例如因为交通工具与另一辆交通工具碰撞而只经历单个速度改变，则第二种可能性是更适当的。在后一情形下，计算负担减小，这使
得更容易把设备实施为实时系统。
按照本发明的优选实施例，用于由处理逻辑处理视频帧的算法是递归搜索块匹配算法，也称为3D递归搜索块匹配算法。这个算法以如本申请明确引用的、Gerard de Haan等人的文章一 "True mot ion es t imat ion wi th3D-recursive search block matcihing，,， IEEE transactions on circuitsand systems of video technology, volume 3, No. 5, October 1993-中描述的方式工作，该文章在此并入以供参考。这个算法即使与其它已知的块匹配算法相比较，也是极有效的，这样使得实时操作的设备的设计变得简单明了。做到这一点后，就处理逻辑的选择而言有较高的自由度，这样使得这个递归搜索块匹配算法的执行可以以硬件以及以软件;波实施。
处理逻辑可以是
a)处理器和相应的计算机程序。作为例子，处理器可以是Philips(飞利浦)的TRIMEDIA处理器或XETAL处理器，例如包括TM 1300处理器的Philips PNX 1 300芯片，
b) 专用芯片，例如ASIC或FPGA,
c) 视频摄像机硬件的现有芯片的集成部分，或
d) 以上提到的可能性的组合。
优选的选择取决于系统方面和产品增加量(recruUmeiU)。处理逻辑的优选实施例使用要插入到具有180mm x 125mm的尺寸和包括PhilipsPMX130Q芯片的数字视频摄像机的额外卡，该额外卡本身包括Philips頂1 300处理器。而且，该卡使用1MB的RAM，用于两个帧存储器和一个矢
量存储器。
按照本发明的另 一 个优选实施例，跟踪了在交通工具内的乘客的运动。在这种情形下，在碰撞事件中乘客急动的(jerking)头部可以在撞击后纟皮跟踪。
按照再一个优选实施例，本方法可被使用于优化交通工具内的气囊膨胀。因此跟踪在碰撞情形下的乘客运动，特别是跟踪他们的头部，有助于优化气嚢应当被触发的精确时间，和用于设计气嚢在其膨胀阶段期间的形状。这样，对乘客的伤害保持最小。
正如可以从上述的说明得到的，按照本发明的方法，以及具体地是视频帧的处理，可以藉助于计算机程序实行。这个计算机程序可被存储在计算机可读媒体上，且用来使处理逻辑可执行以便接收视频帧序列，由此视频帧捕获物体或人。计算机程序用来在接收视频帧的同时接收参数的值，所迷参数是物体或人的运动的指示。而且，计算机程序用来以以下的子步骤处理视频帧
cl)使用规定帧中的像素块和在下一个帧的搜索区域内搜索这个像素块的算法，以及
c2)根据测量值而动态地调整在下一个帧内该搜索区域的位置。
参照此后描述的实施例将明白和阐述本发明的这些和其它方面。应当指出，参考标号的使用不应当解释为限制本发明的范围。
在以下的优选实施例中，仅仅参照附图、以示例方式更详细地描述本发明，其中
图1显示按照本发明的方法的流程图，
图2是显示作为图1的处理步骤中心的块匹配算法的流程图，图3显示搜索区域的调整，图4以示意方式显示由于撞击而造成的被跟踪的人的显著位移，
图5显示对于图4的情形的搜索区域的调整，图6显示按照本发明的设备。
图1是显示实行按照本发明的方法的方式的流程图。在步骤l，实行抓取数字视频帧序列，由此所述视频帧捕获物体或人。在步骤2，这是与步骤l同时实行的，测量外部参数。在步骤3，在步骤l得到的视频帧由处理逻辑进行处理，由此处理逻辑使用块匹配算法，即，A!i定帧中的像素块和在下一个帧的搜索区域内搜索这个像素块的算法。实行步骤3的块匹配算法是藉助于搜索区域实行的。像素块仅仅在下 一个帧的这个搜索区域中被搜索。搜索区域根据在步骤2得到的测量的外部参数被动态地调整。
图2是详细地说明图1的步骤3的数字视频帧的处理的流程图。在这个流程图的步骤1,确定当前帧中的像素块的位置，它将以与传统的块匹配算法相同的方式与下一个帧中的像素块进行比较。在步骤2，处理逻辑决定搜索区域是否必须被调整。这个决定是基于事先测量的参数。如果情况不是这样，例如因为被跟踪的物体或人的速度没有很大地改变，则方法进到步骤3。在步骤3，搜索区域被规定为位于像素块的老的位置周围，且可以是在所述像素块周围的矩形。然后，方法进到步骤7。在步骤7，在相继的帧的该搜索区域内搜索在步骤1确定的像素块。
如果步骤2中的问题被肯定地回答，则方法进到步骤4。在步骤4，确定步骤1的像素块由于外部影响而经历的位移，所述外部影响是诸如，举例而言由于碰撞而导致的加速度。这个加速度是一个矢量，且是在图1的步骤2测量的外部参数。
这个位移量通过确定三维加速度矢量在由数字视频帧延伸的平面上的投影而被计算。这个映射提供等同于位移的方向的加速度方向，并产生位移的幅度，它可以以像素为单位表示。
然后方法进到步骤5，在其中通过在步骤4得到的位移的方向和幅度来计算像素块的新位置。
因此，在步骤6中规定的新搜索区域，由此是新的搜索区域位于像素块的新位置周围，由此新位置被规定为由于加速度而被位移的该像素块的老位置。新的搜索区域因此位于该像素块的新位置周围，这样在步骤7，在下一个帧内在这个新的搜索区域中搜索步骤1的像素块。图3显示动态地调整在下一个帧内该搜索区域的位置的方式。图3显示两个帧1和2，由此帧1是当前帧且由此帧2是下一个帧，即，紧接在帧1后面的帧。这个时间性状用箭头例示，表示对于帧1和2的时间t的演变。帧1具有像素块3。如果所跟踪的物体的速度没有改变、该跟踪的物体可以由所述像素块3代表，则将在帧2的搜索区域5中搜索像素块3，正如可以预期的，在帧2中像素块的位置将保持恒定。在这种情形下，像素块将位于位置3'。
然而，由于外部的加速度，像素块3的位置被偏移到位置4。因此，这个位移导致新的搜索区域7，在其中搜索像素块3。
图4显示两个帧1和2,其上有在交通工具17中的乘客8和8，。帧2是紧接于帧l的帧，用向下指向的箭头表示。由于加速度a,参看指向右面的箭头，帧2中乘客的头部由于惯性而移到左面。急动的头部可以藉助于气囊18而避免撞到交通工具的内部。
图5显示对于图4的情形动态地调整在下一个帧内该搜索区域的位置的方式。在帧l中，像素块3经受加速度a。帧2在时间t上紧接于帧1。参看指向右面的箭头。由于加速度，像素块的位置从位置3'偏移到位置4。而且，加速度导致搜索区域从位置5位移到位置7。
图6显示用于实行按照本发明的方法的设备9。就外观而言，这个设备是数字视频摄像机IO,它被修改，以便实行本发明。该设备9包括所述传统的数字视频摄像机10以及输入端口 11，用于接收参数的值，例如加速度矢量，所述参数通常指示由视频帧捕获的物体或人的运动。该设备还包括处理逻辑12，用于处理由数字视频摄像机10提供的视频帧。处理逻辑12包括计算机程序13。而且，设备9具有通过电缆15输出它的数据的加速度传感器14,以及连接到处理逻辑12的输入端口 16。
工作时，处理逻辑12处理由数字视频摄像机IO提供的视频帧，并实行块匹配算法，由此在下一个帧内根据由加速度传感器14或由外部传感器得到的测量值而动态地调整搜索区域的位置，该外部传感器输出它的数据，并藉助于输入端口 11将它们传送给设备9。参考标号列表
1 帧
2 下一个帧
3 像素块的老位置3， 像素块的老位置
4 像素块的新位置
5 搜索区域
6 像素块
7 新的搜索区域
8 乘客8' 乘客
9 跟踪设备
10 数字视频摄像机
11 输入端口
12 处理逻辑
13 计算机程序
14 传感器
15 电缆
16 输入端口
17 交通工具
18 气嚢
a 力口速度
s 位移
权利要求
1. 用于跟踪物体或人的运动的方法，该方法包括以下步骤a)抓取数字视频帧(1，2)序列，由此捕获物体或人(8，8’)，b)在抓取视频帧的同时测量参数的值(测量值)，所述参数是物体或人的运动的指示，c)藉助于处理逻辑(12)来处理视频帧，由此c1)处理逻辑使用一个算法，该算法规定帧(1)中的像素块(3)且在下一个帧(2)的搜索区域(7)内搜索这个像素块，以及由此c2)根据测量值而动态地调整在下一个帧内该搜索区域的位置。
2. 按照权利要求l的方法，其特征在于，为了调整搜索区域的位置， 根据测量值来计算或估计在下一个帧中该像素块(4)的位置。
3. 按照权利要求1的方法，其特征在于，参数是加速度矢量或速度矢量。
4. 按照权利要求1的方法，其特征在于，搜索区域是对于每个帧调 整的，或是当所述测量值大于预定义的阈值时调整的。
5. 按照权利要求1的方法，其特征在于，所述算法是递归搜索块匹 配算法。
6. 按照权利要求1的方法，其特征在于，处理逻辑用硬件实施，或 者是计算机程序(13)。
7. 按照权利要求1的方法，其特征在于，跟踪乘客(8， 8')在交通 工具(17 )内的运动。
8. 按照权利要求1的方法，其特征在于，将它用于优化交通工具内的气嚢(18)膨胀。
9. 计算机程序产品，该计算机程序产品包括计算机可读媒体，其上具有计算机程序代码装置，当所述程序被装载时，使得计算机可执行，以 执行以下的步骤a) 接收数字视频帧(1， 2)序列，该视频帧捕获物体或人(8, 8，)，b) 在接收视频帧的同时接收参数的值，所述参数是物体或人的运动 的指示，c) 处理该视频帧，所述处理包括以下子步骤cl)使用规定帧(1)中的像素块(3)且在下一个帧(2)的搜索区域(7) 内搜索这个像素块的算法，以及由此c"根据测量值而动态地调整在下一个帧内该搜索区域的位置。
10. 按照权利要求9的计算机程序产品，其特征在于，为了调整搜索区域的位置，根据测量值来估计在下一个帧中该像素块的位置。
11. 按照权利要求9的计算机程序产品，其特征在于，搜索区域是对 于每个帧调整的，或是当所述测量值大于预定义的阈值时调整的。
12. 用于从视频帧序列跟踪物体或人的运动的设备，包括a) 数字视频摄像机(IO)，用于抓取视频帧(1，2)序列，b) 输入端口 (11, 16)，用于接收参数的值，而所述参数是由视频帧捕 获的物体或人(8, 8，)的运动的指示，c) 处理逻辑(12)，用于处理由该视频摄像机提供的视频帧，所述处 理逻辑适合于cl)规定帧(1)中的像素块(3)且在下一个帧(2)的搜索区域 (7)内搜索这个像素块，以及c2)根据测量值而动态地调整在下一个帧内该搜索区域的位置。
13. 按照权利要求12的设备，其特征在于，该设备还包括传感器(l4 ),用于提供测量值。
14. 按照权利要求13的设备，其特征在于，传感器是加速度传感器。
全文摘要
本发明涉及用于跟踪物体或人的运动的方法、设备、和计算机程序产品。藉助于电子视频帧跟踪人或物体的运动是惯常做法，但如果人或物体在它的平移速度上有突然的显著改变，则该跟踪会失败。建议的方法包括第一步骤抓取数字视频帧序列，并由此捕获物体或人。同时，得到参数的测量值，所述测量值是由数字视频帧跟踪的物体或人的运动的指示。在下一个步骤，藉助于处理逻辑处理视频帧，由此处理逻辑使用块匹配算法，所述块匹配算法规定帧中的像素块，和在下一个帧的搜索区域内搜索这个像素块，以及由此根据测量值而动态地调整在下一个帧内该搜索区域的位置。本发明提供了以下优点即使在所跟踪的物体或人的速度有大的改变的那些情形下，仍可以藉助于块匹配算法实行数字视频帧的电子处理。
文档编号G06T7/20GK101536036SQ200680035488
公开日2009年9月16日 申请日期2006年9月21日 优先权日2005年9月26日
发明者G·兰弗曼, H·G·P·H·本滕, R·布拉斯彭宁 申请人:皇家飞利浦电子股份有限公司