使用单层编码和优先级区分流的无线视频流的利记博彩app

专利名称：使用单层编码和优先级区分流的无线视频流的利记博彩app
在通信中，无线连接的使用持续增长。仅举几例受益于无线连接的设备包括便携式计算机、便携式手持机、个人数字助理(PDA)以及娱乐系统。无线连接的改善已经使得经由无线介质的通信更加快速和稳定，而某些技术已经在质量和速度上落后于其他技术了。所述这种技术之一就是视频技术。
因为视频信号的带宽需求相对较高，视频通信会使已知无线网络的带宽极限不堪重负。而且，无线网络的带宽可能取决于发送时间以及发射机的位置。此外，来自其它无线站、其它网络、在同样频谱内操作的无线设备以及其他环境因素的干扰可能使在无线介质中所发送的视频信号恶化。
除了考虑到带宽和干扰，视频信号质量可能因为数据分组丢失而受损。为此，数字视频内容经常在分组数据中发送，所述分组包括使用带有运动预测的变换编码来编码的压缩内容。该分组随后在通常称为视频流的分组流中发送。然而，在发送期间丢失的或错误的视频分组可能阻碍在接收机的解码过程。
众所周知，漂移由于属于参考视频帧的数据分组的丢失而引起。这种丢失可能阻止接收机的解码器正确的解码参考视频帧。
无论源头是什么，属于参考视频帧的丢失的或错误的分组数据都会导致不能正确地重构该错误的或丢失的分组之后的一定数目的视频帧。这称为预测漂移。当在接收机的解码器中用于补偿后面帧的运动的参考视频帧不匹配发射机的编码器所使用的参考视频帧时，发生预测漂移。最终，这将导致视频质量的更大失真或者降低的或不能接受的视频质量。
已经探索了一些已知的技术，用来处理变化的带宽和信道条件，以及它们对视频质量的影响的问题。其中一种已知的技术称为可分级视频内容编码技术，还称为分层视频内容编码技术。这些技术包括运动图像专家组(MPEG)-2/4时域、空域和SNR分级，MPEG-4 FGS和数据划分以及小波视频编码技术。
在可分级视频编码技术中，将视频内容压缩并按优先顺序排列在比特流中。在利用可伸缩视频流技术的分层视频流系统中，将比特流分组/划分为具有不同优先级的不同子比特(层)。如果无线信道的带宽不充足，内容层将会被丢弃，使得基本层得以发送。虽然可分级视频编码技术相对于已知的单层技术提供了益处，但是许多接收机并不包含与多层编码视频内容兼容的解码器。因此，仍然需要改进带有单层内容编码的视频发送。
因此，所需要的是一种至少能克服上述已知方法和装置的缺点的无线通信方法和装置。
根据示例性实施例的通信方法包括提供单层内容编码视频帧。该方法还包括选择性地将每个视频帧分配到多个层次之一。此外，该方法包括基于带宽限制，选择性地发送一些或全部所述视频帧。根据另一个示例性实施例的通信链路包括接收机和发射机。编码器连接到该发射机，且该编码器适于将视频信号编码成多个单层内容编码视频帧。此外，该编码器适于将每个视频帧分配到多个层次之一。
根据以下的详细描述，并结合附图，可以最好地理解示例性实施例。必须强调的是，这些特征不必按比例画出。事实上，为了清楚地讨论，可以任意增加或减少尺寸。


图1是根据一个示例性实施例的依赖关系树的示意图。
图2是根据一个示例性实施例的依赖关系树的示意图。
图3是根据一个示例性实施例的依赖关系树的示意图。
图4是根据一个示例性实施例的依赖关系树的示意图。
图5是根据一个示例性实施例的无线视频链路的示意图。
以下详细描述，目的是解释而非限制，为了提供对于本发明彻底的理解，阐述了用于公开本发明的详尽细节的示例性实施例。然而，显然对于受益于本公开的技术领域中的常识技术人员来说，本发明可以用不同于此处所公开的具体细节的其他实施例来实现。而且，为了不使本发明的描述晦涩难懂，就省略了对大家所熟知的设备、方法及材料的描述。只要有可能，同样的数字始终代表同样的特征。
简要地说，示例性实施例涉及发送和接收视频流的方法。在示例性实施例中，经由无线链路发送和接收视频流。举例来说，视频数据在已分组并排列成基于优先级层次的依赖结构的单层编码视频流中。即，单层编码视频比特流基于对时间上先前帧的依赖性来区分优先级。
从获益的角度来说，该方法和相关装置实质上防止了视频流中的预测漂移。而且，示例性实施例的方法和相关装置促进了具有取决于时间和位置的带宽的无线网络中的视频通信的自适应。此外，示例性实施例的方法和相关装置使得具有符合标准的常规单层解码器的网络和链路中流视频发送得以改进。随着本描述的继续，具有本领域技术常识的技术人员会越来越清楚这些和其他益处。
注意到示例性实施例的描述包括根据已知的MPEG(及其后续)或已知的H.264技术的视频帧编码。注意到这些方法都仅仅是示例性的，而且可预想其它的编码方法。
此外，该无线链路以符合IEEE802.11协议、其后续及提议的修正为例。而且，这仅仅是示例性的，且可预想在其它无线系统中使用示例性实施例的方法和装置。例如，该无线链路可以是卫星无线数字视频广播链路，包括高清地面电视。此外，示例性实施例的方法和装置可以用于实现经由诸如第三代伙伴计划(3GPP)的无线运动网络的视频传输。注意到除了无线链路，示例性实施例的方法和装置可用于经由电话线和宽带IP网络的诸如视频会议/视频电话的有线技术。
而且，要强调的是，示例性实施例的方法和装置仍可与其它可替换的编码技术和无线协议结合使用；且该可替换的编码技术和无线协议对于受益于本公开的有着本技术领域常识的技术人员来说是显而易见的。
图1是根据一个示例性实施例的依赖关系树100的示意性表示。树100包括多个帧，其中每个帧包括一个或多个经过单层运动估计视频编码方法编码的分组，所述编码方法诸如MPEG或H.264。
随着本描述的继续，会更加清楚，这些帧可以基于优先级排列在多个层次中。举例来说，第一优先级层次是最高优先级层次；第二优先级层次是次高优先级层次；而第三优先级层次是最低优先级层次。要强调的是，使用三个优先级层次仅仅是示例性的，且可以使用多于三个层次。而且可以进一步根据时间间隔来对各优先级层次分类。
第一优先级层次包括包含帧内编码视频帧或对象平面(IVOP或I帧)压缩数据的分组。例如，I1帧101包括在特定时刻的一帧的帧内编码视频数据。如图1的时间轴所示，帧101是第一图像组(GOP)单层内容编码视频流的初始帧。
该示例性实施例的第二优先级层次包括预测编码视频帧或VOP(PVOP)编码视频帧。例如，P1帧102处于该第二优先级层次。如我们所知，与I1帧101相比，P1帧102仅包括额外信息(例如非静态视频数据)。为此目的，P1帧102不包括冗余视频信息。因而，P1帧102包括I1帧101中不存在的视频运动。而且，P1帧102依赖I1帧作为参考帧，因为I1帧用来预测P1帧。如我们所知，在接收机解码时的视频重构需要后续帧所依赖的该帧。
类似的，P2帧103处于该示例性实施例的第二优先级层次，并包括P1帧101中未包括的额外数据(例如非静态视频数据)；且P3帧104处于第二优先级层次，并包括P2帧103中未包括的额外数据(例如非静态视频数据)。显然，P2帧103依赖于P1帧102，且P3帧104依赖于P2帧103。
第三优先级层次包括双向预测编码视频帧或视频对象平面(BVOP)。这些帧依赖于I1帧和P2以及P3帧。例如，B1帧105依赖于P2帧和P1帧。类似的，如从一帧到另一帧的箭头所示，B帧106-110选择性地依赖于I1、P1、P2和P3。例如，帧B3和B4直接依赖于P1和P2帧，并间接依赖于I1帧。如此，B3帧有相对于P1和P2帧组合的额外数据(例如非静态信息)。
从以上示例性实施例的描述，且如箭头所示，较高优先级层次帧用于预测第一GOP的较低优先级层次帧。
第二个GOP单层内容编码视频流从第二帧内编码帧I2111开始。该第二个GOP帧如时间轴所示，在时间上落后于第一个GOP。类似于I1帧，第二I2帧处于第一优先级层次，且处于第二和第三优先级层次的所有预测帧和双向预测帧都依赖于这个参考帧。因此，较高优先级层次帧用于预测第一GOP中的较低优先级层次帧。
注意到每个帧包括已分组视频数据。在一帧中可能有一个或多个视频网络分组，或者一个视频网络分组可以包括多于一个帧。例如，I1帧101可包括两个视频分组；P2帧103可以包括一个分组；而B1帧105和B2帧106可以构成单一分组。因此，I帧有最多数据；P帧有比I帧少的数据；B帧有最少的数据。
正如我们所能意识到的，当接收机解码时，如果由于带宽限制或其它因素而丢失了较高优先级帧，那些依赖于所丢失的较高优先级帧的帧就不能进行运动补偿，并且视频状态保持在未丢失的上一优先级帧的时间层次上。在极端示例中，如果I1帧丢失了，就不可能在接收机重构该视频，并且使用P1、P2、和B1-B6帧将编译出无法辨认的视频；或观察屏被有意保持空白；或观察屏显示最后一个重构图像。
相比较而言，如果第三优先级层次的B帧丢失了，由于没有任何一帧依赖于B帧，所以仅有的损失是时间分辨率，而不是视频中断。例如，如果B1帧105和B2帧丢失，视频图像就是P1帧的视频图像。所有P1帧之后的运动(在依赖于P1帧的帧中)都丢失了。因此，在当前依赖关系树中，对于运动补偿，进而对于视频重构，I帧是最重要的帧，P帧是次重要的帧，B帧是最不重要的帧。
为了减轻潜在的视频损失或视频质量损失，示例性实施例包括基于优先级层次选择性地丢弃流视频的帧，以增加通过恶化的信道成功发送具有较高优先级的层的可能性。按照信道的可用带宽来实现从最低优先级到最高优先级丢弃帧。虽然丢弃流视频帧可能导致最终视频的时间分辨率较低，但是该示例性实施例与已知方法相比在带宽削减网络中提供了改进的视频质量。现在将描述一些示例性的帧丢弃策略。
图2是根据一个示例性实施例的单层内容编码视频的依赖关系树的示意性表示。在本示例性实施例中，基于VOP类型进行优先级区分。具体地，如图所示，第一优先级层次L0 201包括IVOP帧，I1 202和I2 203；第二优先级层次204包括P帧，P1 205、P2 206、P3 207和P 208；且第三优先级层次209包括B帧，B1 210到B10 209。
该示例性实施例中的优先级区分方案用于确定在无线介质的带宽不支持GOP的带宽要求的情况下丢弃帧的顺序。通常，该示例性方法要求直到所有依赖于一个帧的帧都被丢弃了才能丢弃该帧。这样就实质上避免了在依赖帧链中的帧延时，减小了视频质量损失。因此，当可以减小视频流的时间分辨率时，实质上避免了完全丢失视频流。现在将描述一个示例性实施例的基于依赖性的优先级区分和丢弃。
如前所述，对于所述视频流，I帧比P帧更重要；P帧比B帧更重要。因此，不可分级(单层内容编码视频)比特流可以基于VOP类型按照帧排列成三个优先级层次。如果第一视频流(从I1开始)的带宽限制要求丢弃帧，本示例性实施例的方法要求基于依赖性来丢弃帧。为此，首先丢弃没有帧依赖于其的帧(B VOP)。
接下来，丢弃有较少帧依赖于其的帧。举例来说，接下来丢弃的是P帧。此外，在丢弃P帧的时候考虑子优先级。也就是说，在P2帧206之前丢弃比P2帧有更少帧依赖于其的P3帧207。换句话说，本示例性实施例的第二优先级层次L1 204的P帧有如箭头所示的连续的依赖性。这样，直到依赖于一帧的所有帧都丢弃时才丢弃该帧。例如，直到B3帧212到B6帧215和P3帧207都丢弃了，才丢弃P2帧206。正如我们所知，GOP结构在整个MPEG比特流中重复。因此最初的MPEG比特流显示出一定程度的周期性。
图3是根据另一个示例性实施例的基于帧依赖性的另一个优先级区分方案。本示例性实施例的优先级区分方法包括与有关图2中的示例性实施例所描述的特征共同的特征。如非必要，不重复共同特征的描述，以免混淆示例性实施例的描述。
如前面所提到的示例性实施例的基于依赖性进行优先级区分的方法中，直到依赖于一帧的所有帧都丢弃了才丢弃该帧。在本示例性实施例中，描述了相同类型帧之间的依赖性。例如，一些P帧依赖于其他P帧，对多个层次的优先级区分必须包括对各P帧进行优先级区分，以充分利用这种依赖性。这可以称为帧间依赖性。当然，基于P帧帧间依赖性的优先级区分仅用来举例说明这种优先级区分方法。显然，可以对其他帧类似地进行优先级区分。
图3中示例性实施例的视频流的GOP被排列成第一优先级层次L0 301、第二优先级层次L1 302，第三优先级层次L2 303、第四优先级层次L3 304和第五优先级层次L4 305。每个优先级层次中的帧基于它们的相对重要性来分布于它们各自优先级层次中。第一层次L0301包括最重要的帧，在这里是I1帧306和I2帧307。第二层次L1 302包括P1帧308和P帧309。第三层次L2包括依赖于P1帧308的P2帧310。第四层次L3 304包括依赖于P2帧310的P3帧311；且第五层次L4 305包括B1帧312到B帧321。
根据当前示例性实施例，首先丢弃第五优先级层次L4 305的帧，接下来是第四优先级层次L3 304的那些帧，以此类推。从获益的角度来说，基于这些帧对更高优先级帧的依赖，将这些帧分配到某个优先级层次中。以这种方式提供了用于丢弃相同类型帧的优先级区分。
图4是根据一个示例性实施例的具有恒定帧间隔的时间优先级区分方案的示意图。在本示例性实施例中，随着本描述的继续将会更加清楚，优先级层次也可以按照时间间隔分类。
在关于图4的示例性实施例中，利用了起始GOP的周期性。为此，保持每个层的周期性以便简化系统设计可能会有用。例如，在关于图2和图3的依赖性优先级区分方案中，包含I和P帧的优先级层次是周期性的，其周期为在每个单独的层次中均匀传输的整个VOP。然而仅包含B VOP的优先级层次是非周期性的，这使得系统设计复杂化。为此，在图2的示例性实施例中，显然B1帧210和B1帧211在时间上落后于P2帧。可以根据沿着时间轴的位置，通过进一步在每个P周期内将B VOP划分成多层，实现完全周期性。
在图4的示例性实施例中有六个优先级层次第一优先级层次L0 401，第二优先级层次L1 402，第三优先级层次L2 403，第四优先级层次L3 404，第五优先级层次L4 405，第六优先级层次L5 406。第一优先级层次401包括帧I1 407和I2 408；第二优先级层次402包括帧P1 409和P 410；第三优先级层次403包括帧P2 411；第四优先级层次404包括帧P3 412；第五优先级层次包括帧B1 413、B3 414、B5 415、B7 416、和B 417；且第六优先级层次包括帧B2 418、B4 419、B6 420、Bg 421及B 422。
因此，对B帧进行时间优先级区分。例如，B1和B2在同一P周期(P1，I1)中；且B3和B4在同一P周期(P1，P2)中。因此，通过把B2、B4、B6、B7划分到第六优先级层次，就能实现每层的全部周期性。
如前面的示例性实施例，根据优先级层次丢弃帧，最低层次的帧(L5 406)首先丢弃，最高层次的帧(L0 401)最后丢弃。可以以这种方式使用时间优先级区分来显著减小当必须丢弃帧时由于丢弃的帧而引起的恶化。
图4的示例性实施例是说明性的。显然，本实施例的概念可以扩展。对于使用GOP结构(m，n)和恒定帧速率f(m是一个GOP中帧的数量，n是一个P周期中帧的数量)来进行MPEG编码的视频，GOP中的P周期数量为；p=mn;]]>用恒定间隔分层方案所产生的层的数量是L＝p+n-l；且所得到的层l的恒定帧速率fr是fr(l)=fm,l∈
]>
依照一个示例性实施例，为了在多个传输中进行不同优先级层次的自适应传输或优先级区分传输，对分组加标签并将分组分配到使用了传输层标识的层次中。
使用上述任意实施例，可以将不可分级的视频内容分配到多个优先级层次。因此，可以这种方式用最小复杂度建立一般的时间可分级性。所建立的时间可分级性以MPEG编码内容为例，并便于面向优先级的流策略。当遇到信道恶化时，可以根据可用带宽丢弃具有较低优先级的层，以增加具有更高优先级的层通过该恶化信道的机会。这种流策略通常称为基于优先级的丢弃。通过使用基于优先级的丢弃，由于视频内容根据依赖性分配到优先级层次，所以各VOP在它们的参考VOP之前被丢弃。即使没有完全排除预测漂移，通过这种方式可以显著减小预测漂移所引起的服务质量损失。
图5是描述了一个使用实时传输协议(RTP)/IP传输的示例性流系统500的示意图。上述的每个优先级层次都可以加载在一个形成虚拟信道的RTP会话中，以便于自适应。这种一般的多信道流结构允许各种自适应算法方案。它们包括，但不限于服务器驱动自适应、接收机驱动自适应、和/或经由较低层QoS提供，诸如拥有Wi-Fi产品的Mac QoS。
举例来说，流系统500的结构包括媒体服务器501(例如，可以与无线网络的接入点共处一地)、IP网络及至少一个媒体客户端502(例如，无线台)。视频帧由媒体服务器501的发射机503，以点播的方式发送到媒体客户端的接收机504。编码器505如前所述，对视频帧进行编码，并把帧提供给发射机503。注意到使用相似的元件和方法，客户端502可以将视频数据发送给服务器501，或者要么直接要么经由服务器发送给其他客户端502。
在说明性的系统500中，接收机503举例说明为具有单层解码器505的区分优先级的多级接收机。使用已知的技术，已解分组的比特流首先基于它的帧类型，多路复用到相应的解密器DEC 506，进行解码。重构后，将参考帧存储，并用于对其它依赖于参考帧的帧的重构进行运动补偿。已解码/重构的帧根据它们的显示顺序进行排序并经过多路复用器(未示出)发送到播放器(未示出)。
根据一个示例性实施例，由于带宽考虑而在网络中必须的帧丢弃可能受上述从最低优先级到最高优先级丢弃层次的影响。举例来说，较低网络层，如服务器501的MAC层丢弃用该示例性实施例的优先级区分丢弃方法、根据它们的传输ID/或标签所选择的分组。这样，在一段时间内可能丢弃所选择的帧或整个层次。如果信道条件及时改进到允许更多层次进行发送，可以将所丢弃的层次加回来。
可以预想，示例性实施例的与发送视频数据结合描述的各种方法、设备和网络可以以硬件或软件实现。要强调的是所包含的各种方法、设备和网络仅作为例子，而非限制。根据本公开，本领域的技术人员可以在所附权利要求范围内，通过确定他们自己的技术和所需设备来有效利用这些技术，从而实现各种示例性方法、设备和网络。
权利要求
1.一种视频通信方法，所述方法包括提供单层内容编码视频帧(101-111)；选择性地将每个所述帧分配到多个层次(201、204、209)之一中；以及基于带宽限制，将一些或全部所述帧根据它们的层次选择性地进行发送。
2.如权利要求1所述的方法，其中，所述选择性分配进一步包括为所述多个层次的每个层次建立优先级。
3.如权利要求2所述的方法，其中，所述优先级层次基于帧相互间的依赖性。
4.如权利要求2所述的方法，其中，在丢弃依赖于较高优先级层次中的帧的较低优先级层次中的帧之后，才丢弃该较高优先级层次中的帧。
5.如权利要求2所述的方法，其中，所述多个层次的优先级基于所述帧的周期性。
6.如权利要求5所述的方法，其中，所述多个层次的优先级基本上保持所述帧的周期性。
7.如权利要求2所述的方法，其中，所述发送进一步包括基于带宽考虑丢弃特定帧，并且其中，直到丢弃了依赖于所述特定帧的所有帧后才丢弃所述特定帧。
8.如权利要求7所述的方法，其中，最高优先级层次包括帧内视频对象平面(IVOP)中的分组，较低优先级层次包括预测视频对象平面(PVOP)中的分组，且最低优先级层次包括双向预测视频对象平面(BVOP)中的分组。
9.如权利要求8所述的方法，其中，所述方法进一步包括基于帧间依赖性，将一个图像组(GOP)中的多个PVOP划分到所述多个层次的特定层次中。
10.如权利要求1所述的方法，其中，所述方法进一步包括提供具有单层解码器(506)的接收机(504)；解码所述单层内容视频分组；以及重构所述视频。
11.如权利要求1所述的方法，其中，所述通信是无线的。
12.如权利要求1所述的方法，其中，所述多个优先级层次也按时间间隔分类。
13.一种通信链路(500)，包括发射机(503)；接收机(504)；以及连接到所述发射机的编码器(505)，其中，所述编码器适于将视频信号编码成多个单层内容编码视频帧，且所述编码器适于将每个所述视频帧分配到多个层次(201、204、209)之一中。
14.如权利要求13所述的通信链路，其中，所述链路是无线链路。
15.如权利要求14所述的通信链路，其中，基于所述链路的带宽限制，所述发射机将一些或全部所述帧基于它们的层次选择性地进行发送。
16.如权利要求13所述的通信链路，进一步包括用于解码所述单层内容视频帧的解码器(506)。
17.如权利要求13所述的通信链路，其中，对所述多个层次进行优先级区分。
18.如权利要求17所述的通信链路，其中，最高优先级层次包括帧内视频对象平面(IVOP)中的分组，较低优先级层次包括预测视频对象平面(PVOP)中的分组，且最低优先级层次包括双向预测视频对象平面(BVOP)中的分组。
19.如权利要求17所述的通信链路，其中，基于帧间依赖性，将一个图像组(GOP)中的多个PVOP进一步划分到多个优先级层次中。
20.如权利要求17所述的通信链路，其中，所述多个优先级层次按时间间隔分类。
21.如权利要求17所述的通信链路，其中，所述多个层次的优先级基本上保持了所述帧的周期性。
22.如权利要求15所述的通信链路，其中，所述发射机基于带宽考虑丢弃特定帧，并且其中，直到丢弃了依赖于所述特定帧的所有帧之后才丢弃所述特定帧。
全文摘要
一种通信方法，包括提供单层内容编码视频帧(101－111、202、203、205、208、210－219)。所述方法还包括选择性地将每个视频帧分配到多个层次之一。另外，所述方法包括基于带宽限制，以优先级区分的方式选择性地发送一些或全部所述视频帧；还描述了视频链路(500)。
文档编号H04N7/26GK101073268SQ200580041963
公开日2007年11月14日 申请日期2005年12月8日 优先权日2004年12月10日
发明者R·Y·陈, Y·陈 申请人:皇家飞利浦电子股份有限公司