专利名称：用于在视频比特流和输出视频序列之间的时间同步的方法和装置的利记博彩app
技术领域：
本发明涉及用于将视频解码器的输入视频比特流与由视频解码器解码的所处理视频序列同步的方法和装置。
背景技术：
最近几年间视频通信应用的激增使鲁棒性视频质量测量的发展成为必要，从而评估由用户感知的服务质量来定义的体验质量(QoE)。视频质量评估是用于使内容提供者高效地设计、规划和监控服务的重要方面。 如今，混合视频质量评估模型/系统使用包信息、比特流信息和解码的重构图像的组合。通常，在混合视频质量评估算法中，将从比特流中提取或计算的特征(例如，动作向量、宏块类型、转换系数、量化参数等)，和由包标头提取的信息(例如，比特率、包丢失、延时等)与从像素域中的输出重构图像中提取的特征相结合。然而，如果由于时间同步的丢失，前者的特征与后者的特征不时间上对应，那么质量的评价会不准确。因此，在每个混合视频质量评估算法中的第一步都是将视频比特流与解码的重构图像同步。图1中示出了混合视频质量评估系统的框图。在最终用户侧，探测器装置获取进来的比特流，并且随后为了提取和计算一些特征而分解并分析该比特流。这些特征输入至负责使视频比特流与输出视频序列时间同步的模块。此外，例如机顶盒(STB)的解码装置将收到的比特流解码并且产生由输出装置显示的处理视频序列(PVS)。PVS也输入至使其能够与视频比特流时间同步的负责时间同步的模块。通常，在比特流和PVS之间的时间同步丢失的主要原因是延时。当视频流在诸如因特网的最高效(best-effort)网络上传输时，各个包的到达时间不是恒定的并且可以显著地变化。跨网络的包延时的随着时间的变化称为抖动(jitter)。为了确保序列无振动地平滑重放，大多数视频系统采用去抖动缓冲器。所接收的比特流基于各个包的到达时间而写入至输入缓冲器，并且从帧中读出的与该帧对应的画面数据在与帧周期对应的预定时间间隔中进入解码器。各个画面的显示时刻由记录在包标头中的时间戳字段确定。即，时间戳值与从画面起始代码的检测起到画面显示时刻为止经过的延时时间段对应。在上述视频解码系统中，根据包括在用于确定显示时刻的视频比特流中的数据来确定各个视频帧的显示时刻。因为用于帧的显示的时间不固定，所以PVS可以不总是精确地匹配至原始比特流。在文献中，在源和扭曲视频序列之间的时间同步问题被先前研究过并且被称为视频配准(video registration)。在 M Barkowsky, R. Bitto, J. bialkowski 和A. Kaup 的“Comparison of matching strategies for temporalframe registrationin the perceptual evaluation of video quality，，，Proc. of theSecondInternational Workshop on Video Processing and Quality Metrics forConsumerElectronics, Jan. 2006 一文中，在性能和复杂性的方面提出并且检查了在用于视频配准的块匹配与相位关联之间的比较。而且，在Y.Y.Lee，C. S. Kim和S. U. LEE的“VideoFrame-matching algorithm usingdynamic programming,，，Journal of ElectronicImaging, SPIE，2009中，基于使用动态编程的匹配代价函数的最小化而提出了用于帧的移除、插入、置乱(shuffle)和数据压缩的帧匹配算法。在J. Lu的“Fast videotemporalalignment estimation, ”(US-B1-6751360)中提出了用于将扭曲视频时间对准于相应的用于视频质量测量的源视频的快速时间对准估算方法。通过将用于每帧的数据点计算为在两个后续巾贞之间的互关联，各个视频序列被转换为签名曲线(signature curve)。随后通过找到在检查的视频序列的签名曲线之间的归一化互关联的最大值来确定扭曲视频的时间失配。在 H. Cheng 的“ Video registration based on local prediction errors,，，(US-B2-7366361)中描述了用于识别在两个视频序列之间的空间的、时间的和直方图的对应性的另一方法。通过产生从一个以上的原始帧中的所选组到处理的组的映射从而使各个映射将本地预测错误最小化，PVS被对准至参考视频序列。在K. Ferguson的“System andmethods for robust video temporalregistration,，，(US-A-2008/0253689)中，从参考·和测试视频序列中产生帧和子图像的提取测量。然后，使用帧之间的本地皮尔斯互关联系数来将它们线性对准。此外，在C. Souchard的“Spatial and temporal alignment ofvideosequences, ”(US-A-2007/0097266)中，将动作函数定义为描述测试和参考视频序列的帧之间的像素组的动作并且使用变换以对准两个图像。在J. Baina 等人的 “Method for controlling digital televisionmetrologyequipment, US6, 618，077B1, 2003” 中，提出了用于从 MPEG-2 传输流中提取参数的方法从而产生同步信号。然而，该方法只在视频基本流被分包在MPEG-2传输流中时可用并且不能应用于任意传输协议。与之相反，所提出方法可以应用于任何视频流而不需要具体的传输或应用协议。此外，以上方法将同步信号提供给视频质量监控算法从而表示视频信号的哪些画面(视频帧)应当被用于质量预测。与之相反，所提出的方法识别与考虑中的来自外部解码器的各个图像对应的比特流的部分。最终，该方法不利用比特流信息来将视频比特流与来自外部视频解码器的画面同步，然而所提出的发明利用比特流来进行同步。视频比特流的利用能够考虑包丢失所产生的影响并且可以应用于传输错误的情况。在M. Keyhl, C. Schmidmer 和 R. Bitto 的 “Apparatus for determining datainorder to temporally align two data signals, W02008/034632A1, 2008，，中提出了用于对准两个数据信号的另一方法。与之相反，所提出的发明提供了来自外部视频解码器的图像与输入视频比特流之间的同步。此外，以上方法在像素域中进行同步，因此其需要输入视频比特流的完全解码。相反，所提出的方法提供了两个实施方式(第二和第三实施方式)，在它们中，从包标头并且不通过完全解码而进行同步。然而，在J. Baina 等的 “Method for synchronising digitalsignals”, US2003/0179740A1，2003中，提出了用于同步数字信号的另一方法。其为全参考方法，即，需要参考信号来进行同步。与之相反，本发明提出了用于在视频比特流和来自外部视频解码器的解码画面之间同步的非参考方法，因此不需要参考信号(视频序列)。此外，以上方法需要从比特流中提取参数以用于同步，并因此不能应用于加密的比特流的情况。相反，在所提出的发明中的方法描述了用于将加密的比特流与PVS同步的实施方式。
发明内容
本发明的目的是提供一种方法和装置以将诸如机顶盒(STB)的视频解码器的输入视频比特流与处理视频序列(PVS)时间同步并且使它们能够同步。该目的通过权利要求的特征来实现。根据第一方面，本发明提供了一种用于将视频解码器的输入比特流与由外部视频解码器解码的处理视频序列时间同步的方法，该方法包括以下步骤a)获取输入比特流并且将其提供给比特流分析器；b)由比特流分析器分解并且分析所获取的输入比特流；c)解码输入比特流并且提供由此产生的Nra个重构图像； d)将Nm。个重构图像存储在缓冲器中；并且e)将从视频解码器的输出侧接收的处理视频序列与各个存储的重构图像相比较，从而从缓冲器中的重构图像组中找到匹配帧n'本方法还可以包括将匹配帧η*和与其相应的比特流部分提供给视频质量评估单元的步骤f)。视频质量评估单元可以基于从比特流和处理视频序列中获得的信息来估算主观质量分数。本方法的步骤b)还可以包括对于每个图像从比特流中提取由于传输错误而丢失的包和受到包丢失影响的各帧内的相应区域；以及基于动作向量和宏块类型的错误传播图(映射，map)，该错误传播图表示各帧中的哪些像素参考了错误区域以用于它们的预测并且因此倾向于受到包丢失的影响。此外，步骤e)可以包括通过利用从比特流和PVS中提取的信息来计算在处理视频序列和缓冲器中的重构图像之间的距离度量。从比特流中提取的信息可以包括由于包丢失而产生的损伤的空间位置和时间位置。根据第二方面，本发明提供了一种用于将视频解码器的输入比特流与由视频解码器解码的处理视频序列时间同步，而不将视频比特流完全解码至像素域的方法，该方法包括以下步骤a)获取输入比特流并且将其提供给比特流分析器；b)通过比特流分析器分析所获取的比特流从而产生错误图1 (X，y, t)和受到包丢失影响的像素组A,其中I (x,y, t)表示在第t巾贞的(x,y)位置的错误图值，χ=0、1、…、M，并且y=0、l、…、N，其中M、N分别是视频序列的各帧的水平和垂直尺度，c)将由比特流分析器在步骤b)中产生的Nra。个巾贞的错误图(映射，map)存储在缓冲器中；以及d)将所存储的产生的队％个帧的错误图与当前的处理视频序列的相应的错误图相比较，以从缓冲器中的重构帧组找到匹配帧ιΛ该匹配帧与处理视频序列的当前图像匹配。本方法可以包括将匹配帧η*和与其对应的比特流部分提供给视频质量评估单元的步骤e)。此外，优选在步骤c)和d)之间进行以下步骤提取处理视频序列的当前图像的边缘；计算很可能属于被包丢失影响的区域的边缘的轮廓；
将处理视频序列的边缘轮廓与存储在缓冲器中的错误图的边缘轮廓相比较。根据第三方面，本发明提供了一种用于将视频解码器的加密的输入比特流与由视频解码器解码的处理视频序列时间同步的方法，该方法包括以下步骤a)将加密的输入比特流提供给分析模块；b)在分析模块中分析加密的输入比特流的包标头信息，并且计算在比特流中包含的图像的尺寸和类型；c)基于所计算的图像的尺寸和类型来提取代表在视频画面中所示的内容的特征；d)提取来自处理视频序列的画面的内容的类型和代表内容的各特征；e)将在步骤d)中从处理视频序列的当前画面中提取的特征与在步骤c)中从所分 析的图像中提取的特征相比较，从而计算与当前的处理视频序列相对应的比特流部分。在步骤c)和d)中提取的特征优选是时变特征，并且这些步骤可以在像素域中进行。根据优选的实施方式，与检查中的处理视频序列对应的特征和比特流部分被进一步输入至视频质量评估模块。步骤b)还可以检测被包丢失影响的帧，并且还可以包括以下步骤f)检查在处理视频序列的当前图像中由于包丢失而产生的伪像；以及g)将处理视频序列与相应的比特流的帧匹配，其中，如果在步骤f)中检测到处理视频序列的当前画面包含作为包丢失的结果而插入的伪像，那么将该画面与对应于步骤b)中找到的包含包丢失的帧的比特流部分相匹配。本发明的又一方面涉及一种用于将视频解码器的输入比特流与由外部视频解码器解码的处理视频序列时间同步的装置，该装置包括比特流分析器，接收输入比特流，该比特流分析器被配置为分解以及分析输入比特流，以及同步模块，被配置为将所分析的比特流与处理视频序列匹配，该同步模块包括解码器，从比特流分析器接收所分析的比特流，并且被配置为由此提供个重构图像，缓冲器，被配置为存储来自所述解码器的所述Nra个重构图像，从而使由处理视频序列表示的输出图像可以与该具体数量的先前重构图像相比较，以及像素域比较单元，从比特流分析器接收所分析的比特流，从缓冲期接收重构图像，并且接收处理视频序列，该比较单元被配置为将处理视频序列与缓冲器中的每一个重构图像相比较，以及确定在视频缓冲器中的最佳匹配图像。本装置优选地包括将来自比特流和处理视频序列的信息结合从而评价视频序列的质量的视频质量评估模块。比较单元还可以被配置为通过利用从比特流中提取的信息来计算在处理视频序列和缓冲器中的检查的重构图像之间的距离度量。此外，比较单元被配置为将最佳匹配图像输出至用于基于来自比特流和处理视频序列的信息而估算主观质量分数的视频质量评估模块。
此外，更优选地，比特流分析器被配置为对于每个画面从比特流中提取由于传输错误而丢失的包和在受到包丢失影响的各帧内的相应区域；以及基于动作向量和宏块类型而提取了错误图，该错误图表示了各帧中的哪些像素参考了错误区域以用于它们的预测并且因此倾向于受到包丢失的影响。根据又一方面，本发明提供了一种用于将视频解码器的输入比特流与由视频解码器解码的处理视频序列时间同步的装置，该装置包括比特流分析器，接收输入比特流，该比特流分析器被配置为为了加密的输入比特流的包标头信息而分析输入比特流，并且计算比特流中包含的帧的尺寸和类型，以及同步模块，被配置为将所分析的比特流与处理视频序列同步，该同步模块包括提取模块，从比特流分析器接收所分析的比特流，并且被配置为产生错误图1 (X，1，t)和受到包丢失影响的像素组A，其中I (X，y, t)表示在第t帧的(X，y)位置的错误图 值，χ=0、1、…、M，并且y=0、l、…、N，其中Μ、N分别是视频序列的各帧的水平和垂直尺度，缓冲器，被配置为储存由探测器内的比特流分析器内部产生的Nra个帧的错误图，以及错误样式搜索模块，接收来自缓冲器的Nra个重构帧的错误图，以及处理视频序列的相应错误图，该错误样式搜索模块被配置为将所存储的个重构帧的错误图与当前处理视频序列的相应错误图相比较，并且从缓冲器中的重构帧组确定与处理视频序列的当前图像相匹配的匹配帧n'根据又一方面，本发明提供了一种用于将视频解码器的加密输入比特流与由视频解码器解码的处理视频序列时间同步的装置，该装置包括比特流分析器，接收加密的输入比特流，该比特流分析器被配置为分解以及分析输入比特流，以及同步模块，被配置为将所分析的比特流与处理视频序列同步，其特征在于，该同步模块包括第一提取模块，被配置为基于所计算的图像尺寸和类型来提取代表视频画面中所示出的内容的特征，第二提取模块，被配置为从处理视频序列的画面提取内容的类型和代表内容的各特征，以及比较单元，连接至第一提取单元和第二提取单元，该比较单元被配置为将从处理视频序列的当前画面提取的特征与从所分析的画面提取的特征相比较，并且计算与当前处理视频序列相对应的比特流部分。回到本发明的目的，其可以通过提供根据本发明的装置(探测器)来一般地实现，该装置包括用于分解和解码输入比特流的比特流分析器，负责将比特流与PVS时间同步的同步模块。负责将视频比特流与PVS时间同步的装置包括储存从解码器输出的重构图像的缓冲器。该缓冲器应当能够储存来自探测器内的解码装置的规定数量的Nm。个重构图像，使得输出图像可以与该规定数量的先前重构图像相比较。负责将PVS和视频比特流同步的模块执行以下操作a)将PVS与缓冲器中的每一个重构图像相比较b)通过利用从比特流提取的信息(例如，由于包丢失所致的损伤的空间和时间位置)来计算在PVS和所检查的缓冲器中的重构图像之间的距离度量c)确定视频缓冲器中的最佳匹配图像并且将其输出至负责基于来自比特流和PVS的信息来估算主观分数M0S的视频质量评估模块。
图1示出了用于将处理视频序列与比特流和解码的图像数据时间同步的传统探测器装置；图2示出了根据本发明的第一优选实施方式的用于将比特流与输出图像同步的框图；图3示出了用于在视频比特流和处理视频序列之间同步的本发明的第二优选实施方式的框图；图4示出了根据本发明的另一优选实施方式的在比特流和加密视频序列的解码图像之间的同步；图5是用于后续帧的错误传播图的示例；图6示出了由于时间(之间)预测而在内部解码器中产生错误传播图；以及图7示出了由于内部预测而在内部解码器中产生错误传播图。
具体实施例方式以下，将更详细地描述本发明。首先，将参考图2来描述在比特流和PVS之间的时间同步的第一实施方式。在比特流和解码的/处理的视频序列之间的时间同步包括两个步骤。最初，在第一步骤中，根据本发明的装置，即探测器装置，获取比特流并且将其供应至比特流分析器，该比特流分析器对各个画面提取以下信息a.由于传输错误所导致的丢失的包和受到包丢失的影响的各帧中的相应区域；以及b.基于动作向量和宏块类型的错误传播图，该错误传播图表示了各帧中的哪些像素参考(用于预测)了错误区域来用于它们的预测并且因此倾向于受到包丢失的影响。以A来表示受到包丢失影响的像素组和参考丢失的像素以用于它们的预测的像素。还以I (X、y、t)来表示在第t巾贞的(X, y)位置的错误传播图值，x=l、2、…、Μ,并且y=l、2、…、N，其中M、N分别是视频序列的各帧的水平和垂直尺度。属于组A的这些像素的值是1，否则它们的值是零。因此
/ 、 flt (X, J)€ Al(x,yj)^4n*式(1)
[Cl, (x.yjE A
换言之，组A包含由于不同错误隐藏技术(error concealmenttechnique)而将在处理视频序列和探测器内的解码器的重构图像之间不一致的全部像素。因此，属于组A的全部像素被表示为不可用于以下阶段的时间同步。图5中示出了错误传播图的推导的示例。包丢失发生在第一帧中(在图5中，右边画面中的暗色区域表示由于包丢失而被损伤的宏块)，并且参考第一帧的受影响的区域以用于预测处理的后续帧的像素被计算并且标记为不可用于同步处理。这将会帮助消除由于在探测器的内部视频解码器和解码装置(例如，STB)的解码器之间的不同错误隐藏技术的应用而可能在重构图像和处理视频序列之间不同的那些像素。以下，提供了用于产生内部解码器内的错误传播图的更多信息。对于各个画面，探测分析器检测在比特流中的没有正确接收(例如，由于网络损伤和/或包丢失)的宏块的数量和位置。该检测基于对表示新切片(slice)的开始的切片标头的分解。应注意，在现代编码方案中，切片被定义为可以独立编码而不参考来自其他画面的其他信息的编码单元。因此，在丢失发生的位置和切片的末端之间的所有宏块都被标记为不可解码的。例如，在图6 中，假设错误发生在帧t中并且受影响的宏块以灰色来表示。对于属于该宏块全部坐标的错误传播图的值为了所有其他(正确接收并解码的)帧而被设为I和O。此外，由于编码器的可预测性质，在后续帧中的宏块为了被解码可以参考先前的帧。对于其间预测画面(P和B画面)来说，用于先前的帧中的参考位置的信息对于各个宏块都以以下语法元素来包含在比特流中(a)参考指数，表示将使用的参考帧(b)动作向量，表示从宏块的初始位置的(水平和垂直的)位移。应注意，在例如H. 264/AVC的现代编码器中，参考指数和动作向量可以对于宏块的子分区而不同。因此，用于宏块所有坐标的参考在参考帧中的错误区域的错误传播图被设定为1，否则被设定为O。图6中示出了该过程的示例。图6示出了由于时间(之间)预测所致的在内部解码器中产生的错误传播图。错误最初出现在帧t (灰色宏块)中并且传播至后续帧t+Ι的在(X1, yi)和(X2，y2)的位置的宏块中，该位置参考了帧t中的错误宏块。应注意在帧t+Ι中没有产生新错误，但是宏块由于参考了参考帧中的错误信息而是错误的。即，在帧t+Ι中的宏块，在(Xl，yi)和(χ2，y2)的位置的宏块参考了 t帧中的错误宏块并因此被表示为错误的(即，对于这些帧的错误传播图被设定为I)。因此，对于时间预测的宏块I (x, y, t) =I (x+mvx, y+mvy, t+r) 式(2)其中，x、y表示所考虑的宏块的行和列，t表示帧号，mvx和mvy表示该宏块的水平和垂直动作向量，并且t+r表示对于将被用作参考的帧的参考指数。此外，错误可以由于内部预测而传播，这是因为从同一帧中的相邻宏块来预测宏块。应注意，在现代编码方案中，即使宏块属于其间预测的图像，也可以以内部模式来编码该宏块。这在图7中示出，其中宏块A、B和C是错误的(因为在该位置发生包丢失或因为它们被时间预测并且参考了在先前的解码画面中的错误区域)，并且因此被解码器隐藏。然而，如果宏块(例如D)被内部编码并且将宏块A、B和C用作参考，那么错误传播至该宏块并且错误传播图被设定为I。否则，如果该宏块不将错误的宏块用作参考，那么用于该宏块的坐标的错误传播图被设定为O。宏块F、D和E被正确地接收。然而，宏块E参考宏块D、B和C并因此错误传播至宏块E。
必须注意的是错误传播图的产生不需要在像素级的比特流的完全解码。确实，它可以通过使用由比特流分析器从比特流提取的以下信息来产生Ca)切片标头、(b)画面类型、(c)宏块类型、Cd)时间预测宏块的参考指数。此外，在探测器装置中的分开的解码器将收到的比特流解码，并且重构画面被储存在缓冲器中。缓冲器的尺寸应当足够大来解决可能由STB引起的延时。令最大预测的延时为d (以秒计)，并且令f是视频序列的帧率。那么，缓冲器应当能够存储总个帧。在第二步骤中，将处理视频序列与缓冲器中的每一个重构的图像相比较。此比较的目的是从缓冲器的重构画面组中基于以下式来找到匹配帧η*
权利要求
1.一种用于将视频解码器的输入比特流与由外部视频解码器解码的处理视频序列时间同步的方法，所述方法包括以下步骤a)获取所述输入比特流并且将其提供给比特流分析器；b)由所述比特流分析器分解并且分析所获取的所述输入比特流；c)解码所述输入比特流并且由此提供个重构图像；d)将所述Nra个重构图像存储在缓冲器中；并且e)将从所述视频解码器的输出侧接收的处理视频序列与各个所存储的所述重构图像相比较，从而从所述缓冲器中的重构图像组中找到匹配帧n'
2.根据权利要求1所述的方法，还包括步骤f):将所述匹配帧η*和与其相对应的所述比特流的部分提供给视频质量评估单元。
3.根据权利要求1或2所述的方法，其中，步骤e)在像素域中执行。
4.根据权利要求1、2或3所述的方法，其中，步骤b)还包括对于各个图像从所述比特流中提取由于传输错误而丢失的包和受到包丢失影响的各帧内的相应区域；以及基于动作向量和宏块类型的错误传播图，所述错误传播图表示各帧中的哪些像素参考了错误区域以用于它们的预测并且因此倾向于受到包丢失的影响。
5.根据前述的任一权利要求所述的方法，其中，步骤e)包括通过利用从所述比特流和 PVS提取的信息来计算在所述处理视频序列和所述缓冲器中的所述重构图像之间的距离度量。
6.根据权利要求5所述的方法，其中，从所述比特流提取的所述信息包括由于包丢失而引起的损伤的空间位置和时间位置。
7.根据权利要求2至6中的任一项所述的方法，其中，在步骤f)中，所述视频质量评估单元基于从所述比特流和所述处理视频序列获得的信息来估算主观质量分数。
8.一种用于将视频解码器的输入比特流与由所述视频解码器解码的处理视频序列时间同步的方法，所述方法包括以下步骤a)获取所述输入比特流并且将其提供给比特流分析器；b)通过所述比特流分析器分析所获取的比特流从而产生错误图1(X，y, t)和受到包丢失影响的像素组A,其中I (x,y, t)表示在第t巾贞的(x,y)位置的错误图值，χ=0、1、…、 M，以及y=0、l、…、N，其中M、N分别是所述视频序列的各帧的水平和垂直尺度，c)将由探测器内的所述比特流分析器内部产生的Nm。个帧的错误图存储在缓冲器中；以及d)将所存储的Nra个重构帧的错误图与当前的处理视频序列的相应错误图相比较，从而从所述缓冲器中的重构帧组中找到与所述处理视频序列的当前图像相匹配的匹配帧n'
9.根据权利要求8所述的方法，还包括步骤e):将所述匹配帧η*和与其相对应的所述比特流的部分提供给视频质量评估单元的。
10.根据权利要求8所述的方法，其中，在步骤c)和d)之间执行以下步骤估算所述处理视频序列的当前图像的受损宏块；计算属于受包丢失影响的区域的像素的轮廓；将所述处理视频序列的轮廓与存储在所述缓冲器中的所述错误图的轮廓相比较。
11.一种用于将视频解码器的加密输入比特流与由所述视频解码器解码的处理视频序列时间同步的方法，所述方法包括以下步骤a)将所述加密输入比特流提供给分析模块；b)在所述分析模块中分析所述加密输入比特流的包标头信息，并且计算在所述比特流中包含的画面的尺寸和类型；c)基于所计算的所述画面的尺寸和类型来提取代表在视频画面中示出的内容的特征；d)从所述处理视频序列的画面中提取内容的类型和代表所述内容的各特征；e)将在步骤d)中从所述处理视频序列的当前画面中提取的所述特征与在步骤c)中从所分析的画面中提取的所述特征相比较，从而计算与当前处理视频序列相对应的所述比特流的部分。
12.根据权利要求11所述的方法，其中，在步骤c)和d)中提取的所述特征是时变特征。
13.根据权利要求11或12所述的方法，其中，步骤c)和d)在像素域中执行。
14.根据权利要求11、12或13所述的方法，其中，与所述当前处理视频序列相对应的所述比特流的部分还被输入至视频质量评估模块。
15.根据权利要求11所述的方法，其中，步骤b)还检测受包丢失影响的帧，并且还包括以下步骤f)检查所述处理视频序列的当前画面中由于所述包丢失而产生的伪像；以及g)将所述处理视频序列与所述比特流的相应的帧匹配，其中，如果在步骤f)中检测到所述处理视频序列的当前画面包含作为包丢失的结果而插入的伪像，那么将该画面与对应于步骤b)中找到的包含包丢失的所述帧的所述比特流的部分相匹配。
16.一种用于将视频解码器的输入比特流与由外部视频解码器解码的处理视频序列时间同步的装置，所述装置包括比特流分析器，接收所述输入比特流，所述比特流分析器被配置为分解并且分析所述输入比特流，以及同步模块，被配置为将所分析的比特流与所述处理视频序列同步，所述同步模块包括解码器，从所述比特流分析器接收所分析的比特流，并且被配置为由此提供个重构图像，缓冲器，被配置为存储来自所述解码器的所述Nm。个重构图像，从而使由所述处理视频序列表示的输出图像能够与此特定数量的先前重构图像相比较，以及像素域比较单元，接收来自所述比特流分析器的所分析的比特流、来自所述缓冲器的所述重构图像以及所述处理视频序列，所述比较单元被配置为将所述处理视频序列与所述缓冲器中的每一个所述重构图像相比较，以及确定在视频缓冲器中的最佳匹配图像。
17.根据权利要求16所述的装置，还包括视频质量评估模块，其将来自所述比特流和所述处理视频序列的信息结合从而评价所述视频序列的质量。
18.根据权利要求16或17所述的装置，其中，所述比较单元还被配置为通过利用从所述比特流提取的信息来计算所述处理视频序列与所述缓冲器中的已检查的重构图像之间的距离度量。
19.根据权利要求17或18所述的装置，其中，所述比较单元被配置为将所述最佳匹配图像输出至用于基于来自所述比特流和所述处理视频序列的信息来估算主观质量分数的所述视频质量评估模块。
20.根据权利要求16至19中的任一项所述的装置，其中，所述比特流分析器被配置为对于各个画面从所述比特流提取由于传输错误而丢失的包和受到包丢失影响的各帧内的相应区域；以及基于动作向量和宏块类型的错误图，所述错误图表示各帧中的哪些像素参考了错误区域以用于它们的预测并且因此倾向于受到包丢失的影响。
21.一种用于将视频解码器的输入比特流与由所述视频解码器解码的处理视频序列时间同步的装置，所述装置包括比特流分析器，接收所述输入比特流，所述比特流分析器被配置为分析所述输入比特流中的加密输入比特流的包标头信息，并且计算所述比特流中包含的帧的尺寸和类型，以及同步模块，被配置为将所分析的比特流与所述处理视频序列同步，所述同步模块包括提取模块，从所述比特流分析器接收所分析的比特流，并且被配置为产生错误图1 (X， 1，t)和受到包丢失影响的像素组A，其中I (X，y, t)表示在第t帧的(X，y)位置的错误图值，χ=0、1、…、M，并且y=0、l、…、N，其中M、N分别是所述视频序列的各帧的水平和垂直尺度，缓冲器，被配置为储存由探测器内的所述比特流分析器内部产生的队6。个帧的错误图，以及错误样式搜索模块，接收来自所述缓冲器的个重构帧的错误图，以及所述处理视频序列的相应错误图，所述错误样式搜索模块被配置为将所存储的所述Nra个重构帧的错误图与当前处理视频序列的相应错误图相比较，并且从所述缓冲器中的重构帧组中确定与所述处理视频序列的当前图像相匹配的匹配帧
22.一种用于将视频解码器的加密输入比特流与由所述视频解码器解码的处理视频序列时间同步的装置，所述装置包括比特流分析器，接收所述加密输入比特流，所述比特流分析器被配置为分解以及分析所述输入比特流，以及同步模块，被配置为将所分析的比特流与所述处理视频序列同步，其特征在于，所述同步模块包括第一提取模块，被配置为基于所计算的图像尺寸和类型来提取代表视频画面中所示出的内容的特征，第二提取模块，被配置为从所述处理视频序列的画面中提取内容的类型和代表所述内容的各特征，以及比较单元，连接至所述第一提取单元和所述第二提取单元，所述比较单元被配置为将从所述处理视频序列的当前画面提取的特征与从所分析的画面提取的特征相比较，并且 计算与当前处理视频序列相对应的所述比特流的部分。
全文摘要
本发明涉及用于将视频解码器的输入比特流与由视频解码器解码的处理视频序列时间同步的方法和装置。
文档编号H04N17/00GK103026719SQ201180035729
公开日2013年4月3日 申请日期2011年7月26日 优先权日2010年7月30日
发明者萨瓦斯·阿伊罗普洛斯, 伯恩哈德·费坦恩, 玛丽-内日·加西亚, 彼得·利斯特, 亚历山大·拉克 申请人:德国电信股份有限公司