用于简化视频随机访问的约束和单元类型的利记博彩app

用于简化视频随机访问的约束和单元类型的利记博彩app
【专利摘要】本文所公开的是对于具有完全随机访问（CRA）图片和/或其它类型的随机访问点（RAP）图片的比特流的创新。对于RAP图片类型的新的类型定义和策略约束可以简化基本视频流数据的单元到容器格式的映射。这样的创新可有助于改进视频编码系统的能力，以便更灵活地执行自适应视频递送、制作编辑、商业插入等等。
【专利说明】用于简化视频随机访问的约束和单元类型

【背景技术】
[0001] 本申请涉及视频编码和解码，并且特别地涉及与随机访问点图片（picture)有关 的改进。
[0002] 工程师使用压缩(也称为源编码)来减小数字视频的比特率。压缩通过将信息转换 成较低比特率形式来降低存储和传输视频信息的成本。解压缩(也称为解码)从压缩形式重 建原始信息版本。"编解码器"是编码器/解码器系统。
[0003] 在过去的二十年里，已经采用各种视频编解码器标准，包括H. 261、H. 262 (MPEG-2 或者IS0/IEC 13818-2)、H. 263和H. 264 (AVC或者IS0/IEC 14496-10)标准和MPEG-1 (IS0/IEC 11172-2)、MPEG-4视觉（IS0/IEC 14496-2)和SMPTE 421M标准。最近，HEVC标 准正处于开发中。视频编解码器标准典型地定义了用于编码的视频比特流的语法的选项， 当在编码和解码中使用特定特征时在该比特流中详述参数。在许多情况下，视频编解码器 标准也提供关于解码器应该执行的解码操作的细节，以在解码中达到正确的结果。
[0004] 在广播和流播应用中，让解码器随机访问已编码比特流中的点并对来自随机访问 点的图片进行解码的能力是令人想要的特性。例如当观看者在广播或者流之间切换时、或 者当执行比特流拼接（splice)时，发生这样的随机访问。


【发明内容】

[0005] 概括而言，详细说明介绍了对于具有完全随机访问（CRA,cleanrandomaccess) 图片和/或其它类型随机访问点（RAP)图片的比特流的创新。对于RAP图片的类型的新类 型定义和策略约束可以简化基本视频流数据的单元到容器格式的映射。这样的创新可有 助于改进视频编码系统的能力，以便更灵活地执行自适应视频递送、制作编辑、商业插入等 等。
[0006] 本文描述的创新包括，但不受限于，允许处在比特流中间而不仅仅是在比特流开 始处的CRA图片具有一个或者多个潜在地不可解码的图片，其在比特流中在CRA图片后出 现。在一些使用中，这些潜在地不可解码的图片在以下的意义上是相关于CRA图片的前导 图片（leadingpicture),即：虽然在比特流中它们是在CRA图片之后出现，但是它们具有 先于CRA图片的显示输出顺序的被识别的显示输出顺序。换言之，除了允许在比特流开始 处的CRA图片具有不可解码的前导图片之外，也允许比特流具有这样的CRA图片，S卩：其不 在比特流开始处，且其具有在比特流中跟随在它之后的潜在不可解码的图片。关于这一点， 前导图片是按比特流顺序(也称为编码顺序、解码顺序等等)跟随在某个CRA图片之后、但按 显示顺序(也称为输出顺序)先于该CRA图片的图片。允许在作为比特流开始部分的CRA图 片后面(按比特流顺序）跟随由于缺失之前的参考图片而不能被解码的前导图片。现在，也 允许在比特流中在落入比特流中间的CRA图片后面跟随这样的不可解码的图片。按照本公 开技术的实施例，已经移除了针对在比特流中部CRA图片之后不可解码前导图片的存在的 约束。
[0007] 在某些示例性实现中，添加标记或者其它指示符(例如，作为条带（slice)头中的 图片级的信息等等)，其指示这样的对于CRA图片的不可解码前导图片的潜在存在。指示符 可以被使用来(例如通过解码器）确定如何处理前导图片（例如，解码器是否应该对前导图 片进行解码)。例如，当使用本文描述的断链（brokenlink)功能性时，不同的网络抽象层 (NAL)单元类型被用来指示前导图片是否存在以及存在什么类型的前导图片。进一步地， 这些NAL单元类型不同于用于CRA的常规NAL单元类型。同样，在某些示例性实现中，添加 标记或者其它指示符(例如，作为在图片级用于潜在不可解码的图片的语法元素、作为对于 潜在不可解码的图片而用信号告知的NAL单元类型等等）以明确地标识潜在不可解码的图 片，而不是使用图片分成前导图片的分类作为识别潜在不可解码的图片的规则。
[0008] 本文描述的其它创新包括但不受限于：（a)用于RAP图片的单元类型的新定义，其 简化视频基本流数据的单元到容器格式的映射，（b)对RAP图片的策略约束，其简化了这样 的映射操作，以及（c)冗余单元类型的移除。
[0009] 本文引进的新CRA图片类型和它们相关联的标记或者其它指示符的实施例有时 被称作"断链访问"（BLA)图片。对这样的BLA图片和它们相关联的指示符的使用可以使 解码器可以从其开始解码的访问点的数量增加，从而改进视频编码系统可用以执行多种多 样的操作的速度和无缝性，所述操作是诸如快进操作、倒回操作、扫描操作、拼接操作、或者 在视频流之间的切换操作。此外，对这样的BLA图片和它们相关联的指示符的使用可以允 许视频编码或者视频解码系统更灵活地执行自适应视频递送、制作编辑、商业插入等等。
[0010] 从以下参考附图进行的详细说明中，本发明的前述的和其它的目的、特征和优点 将变得更明显。

【专利附图】

【附图说明】
[0011] 图1是在其中可以实现一些所描述的实施例的示例性计算系统的图。
[0012] 图2a和2b是在其中可以实现一些所描述的实施例的示例性网络环境的图。
[0013] 图3是与其结合可以实现一些所描述的实施例的示例性编码器系统的图。
[0014] 图4是与其结合可以实现一些所描述的实施例的示例性解码器系统的图。
[0015] 图5是图示包括CRA图片的示例性已编码图片的序列的图。
[0016] 图6是示出用于生成比特流的第一示范性方法的流程图。
[0017]图7是示出用于解码比特流的第一示范性方法的流程图。
[0018]图8是示出用于生成比特流的第二示范性方法的流程图。
[0019]图9是示出用于解码比特流的第二示范性方法的流程图。
[0020] 图10是示出用于生成比特流的第三示范性方法的流程图。
[0021] 图11是示出用于解码比特流的第三示范性方法的流程图。
[0022] 图12是示出用于处理比特流部分的第一示范性方法的流程图。
[0023] 图13是示出用于处理比特流部分的第二示范性方法的流程图。
[0024] 图14是示出用于生成比特流的第四示范性方法的流程图。
[0025] 图15是示出用于解码比特流的第四示范性方法的流程图。

【具体实施方式】
[0026] 本详细说明介绍了用于编码和解码具有完全随机访问（CRA)图片和其它随机访问 点（RAP)图片的比特流的创新。特别地，本详细说明描述了在其中允许比特流具有在比特 流开始处的CRA图片、并且也允许比特流具有不在比特流开始处的CRA图片的实施例，其中 允许这样的CRA图片的任一个具有一个或者多个不可解码的前导图片。这样的CRA图片在 本文中有时被称作"断链访问"（BLA)图片。本详细说明进一步描述了如下的实施例，即其 中用于RAP图片的单元类型的新定义和对于RAP图片的策略约束简化了视频基本流数据的 单元到容器格式的映射，并且消除了冗余单元类型。
[0027] 本文描述的创新中的一些是参考特定于HEVC标准的语法元素和操作来举例说明 的。例如，参考HEVC标准的某些草案版本，包括HEVC标准的JCTVC-I1003-"Highefficiency videocoding(HEVC)textspecificationdraft7"，JCTVC_11003-d5,9thmeeting，日 内瓦，2012年4月（下文称为"JCTVC-I1003_d5")。本文所描述的创新也可以对于其它标准 或者格式实现。
[0028] 更一般而言，对于本文描述的示例的各种替换方案是可能的。例如，本文描述的方 法的任一个可以通过改变所描述的方法动作的顺序、通过分割、重复或者省略某些方法动 作等等而被更改。本公开技术的各个方面可以组合使用或者单独使用。不同的实施例使用 所描述的创新中的一个或者多个。本文所描述的创新中的一些创新处理了【背景技术】中所提 到的问题的一个或者多个。典型地，给定的技术/工具不能解决所有这样的问题。
[0029]I.示例性计算系统 图1图示适当的计算系统（100)的概括性示例，在其中可以实现所描述创新中的若干 个创新。计算系统（100)不打算提出任何关于使用或者功能性的范围的限制，因为本创新 可以在多种通用或专用计算系统中实现。
[0030] 参考图1，计算系统（100)包括一个或者多个处理单元（110, 115)和存储器 (120,125)。在图1中，这个最基本配置（130)被包括在虚线中。处理单元（110, 115)执行 计算机可执行指令。处理单元可以是通用的中央处理单元（CPU)、专用集成电路（ASIC)中 的处理器或者任何其它类型的处理器。在多处理器系统中，多个处理单元执行计算机可执 行指令，以便增强处理能力。例如，图1示出中央处理单元（110)以及图形处理单元或者协 处理单元（115)。有形存储器（120, 125)可以是可被(一个或多个）处理单元访问的易失性 存储器(例如，寄存器、高速缓存器、RAM)、非易失性存储器(例如，ROM、EEPR0M、闪速存储器 等等)、或者是这两者的一些组合。存储器（120, 125)存储软件（180)，所述软件（180)以适 合通过(一个或多个）处理单元执行的计算机可执行指令的形式，通过简化到媒体容器格式 的映射的单元类型和/或策略约束(参见V、VI和VII节)，来实现用于编码或者解码RAP图 片的一种或者多种创新。
[0031] 计算系统可以具有附加的特征。例如，计算系统（100)包括存储装置（140)、一 个或者多个输入设备（150)、一个或者多个输出设备（160)、以及一个或者多个通信连接 (170)。诸如总线、控制器或者网络的互连机制(未示出）将计算系统（100)的组件互连。典 型地，操作系统软件(未示出）为在计算系统（100)中执行的其它软件提供操作环境，并且协 调计算系统（1〇〇)的组件的活动。
[0032] 有形存储装置（140 )可以是可拆卸的或者是不可拆卸的，并且包括磁盘、磁带或者 卡型盒式磁带、CD-R0M、DVD、或者可被用来以非瞬时方式存储信息并可在计算系统（100)内 被访问的任何其它介质。存储装置（140)存储用于软件（180)的指令，所述软件（180)通过 简化到媒体容器格式的映射的单元类型和/或策略约束(参见V、VI和VII节)，来实现用于 编码或者解码RAP图片的一种或者多种创新。
[0033] (-个或多个)输入设备（150)可以是触摸式输入设备，诸如键盘、鼠标、笔、或者跟 踪球、话音输入设备、扫描设备、或者将输入提供到计算系统（1〇〇)的其它设备。对于视频 编码而言，（一个或多个)输入设备（150)可以是相机、视频卡、电视调谐器卡、或者以模拟或 者数字形式接受视频输入的相似设备、或者将视频样本读入计算系统（100)的CD-ROM或者 ⑶-RW。（一个或多个）输出设备（160)可以是显示器、打印机、扬声器、⑶写入器、或者从计 算系统（100)提供输出的其它设备。
[0034] (一个或多个）通信连接（170)使通信能够通过通信介质到达另一个计算实体。通 信介质传递信息，诸如计算机可执行指令、音频或者视频输入或输出、或者具有调制的数据 信号形式的其它数据。调制的数据信号是使它的特性中的一个或多个以如下方式设置或改 变的信号，即：将信息编码在信号中。作为示例，而非限制，通信介质可以使用电、光、RF或 者其它载体。
[0035] 创新可以在计算机可读介质的一般上下文中被描述。计算机可读介质是任何可用 的、在计算环境中可访问的有形介质。作为示例，而非限制，对于计算系统（100)，计算机可 读介质包括存储器（120, 125 )、存储装置（140 )、以及上文中的任何项的组合。
[0036] 创新可以在计算机可执行指令的一般上下文中被描述，计算机可执行指令诸如是 被包括在程序模块中的、在目标真实或者虚拟的处理器上在计算系统中执行的那些。一般 地，程序模块包括执行特定任务或者实现特定抽象数据类型的例程、程序、库、对象、类、组 件、数据结构等等。程序模块的功能性可以在各种实施例中按所期望那样的在程序模块之 间进行组合或者分割。用于程序模块的计算机可执行指令可以在本地或者在分布式计算系 统中执行。
[0037] 术语"系统"和"设备"在本文中被可互换地使用。除非上下文清楚地指明，否则， 两个术语均不暗示对于计算系统或者计算设备的类型的任何限制。一般而言，计算系统或 者计算设备可以是本地的或者是分布式的，并且可以包括具有实现本文所描述功能性的软 件的专用硬件和/或通用硬件的任何组合。
[0038] 本公开方法也可以使用被配置来执行本公开方法的任一个的专门计算硬件实现。 例如，本公开方法可以由专门被设计或配置来实现本公开方法的任一个的集成电路(例如， 专用集成电路（ASIC)(诸如ASIC数字信号处理单元（DSP)、图形处理单元（GPU)、或者诸如 现场可编程门阵列（FGPA)的可编程逻辑器件（PLD))实现。
[0039] 为了介绍，详细说明中使用如"确定"和"使用"这样的术语来描述计算系统中的 计算机操作。这些术语是对于由计算机执行的操作的高级别抽象，且不应该与由人类执行 的动作相混淆。对应于这些术语的实际计算机操作取决于实现而变化。
[0040] II.示例性网络环境 图2a和2b示出包括视频编码器（220)和视频解码器（270)的示例性网络环境（201，202)。编码器（220)和解码器（270)使用合适的通信协议通过网络（250)而连接。网络 (250)可以包括互联网或者其它计算机网络。
[0041] 在图2a所示出的网络环境（201)中，每个实时通信("RTC"）工具（210)包括用于 双向通信的编码器（220)和解码器（270)两者。给出的编码器（220)可以产生符合SMPTE 421M标准、ISO/IEC 14496-10标准(也被称为H. 264或者AVC)、HEVC标准、其它标准或者专 有格式的输出，有相对应的解码器（270)接受来自编码器（220)的已编码数据。双向通信可 以是视频会议、视频电话呼叫或者其它双方通信情景的一部分。虽然在图2a中的网络环境 (201)包括两个实时通信工具（210)，但是网络环境（201)也可以改而包括三个或者更多个 参与多方通信的实时通信工具（210)。
[0042] 实时通信工具（210)通过编码器（220)管理编码。图3示出示例性编码器系统 (300)，其可以被包括在实时通信工具（210)中。替换地，实时通信工具（210)使用另外的编 码器系统。实时通信工具（210)还通过解码器（270)管理解码。图4示出示例性解码器系 统（400)，其可以被包括在实时通信工具（210)中。替换地，实时通信工具（210)使用另外 的解码器系统。
[0043] 在图2b所示出的网络环境（202)中，编码工具（212)包括对用于递送到多个回放 工具（214)的视频进行编码的编码器（220)，其中回放工具（214)包括解码器（270)。可以 提供单向通信，用于视频监控系统、web相机监视系统、远程桌面会议演示、视频分发系统 (例如，流播的视频流分发系统）或者其中视频被编码并从一个位置发送到一个或者多个其 它位置的其它情景。虽然图2b中的网络环境（202)包括两个回放工具（214)，但是网络环 境（202)可以包括更多或者更少的回放工具（214)。一般而言，回放工具（214)与编码工具 (212)进行通信，以确定回放工具（214)要接收的视频流。回放工具（214)接收流，将接收 的已编码数据缓冲达合适的时段，然后开始解码和回放。
[0044]图3示出示例性编码器系统（300)，其可以被包括在编码工具（212)中。替换地， 编码工具（212)使用另外的编码器系统。编码工具（212)也可以包括服务器侧的控制器逻 辑，用于管理与一个或者多个回放工具（214)的连接。图4示出示例性解码器系统（400)， 其可以被包括在回放工具（214)中。替换地，回放工具（214)使用另外的解码器系统。回放 工具（214)也可以包括客户侧的控制器逻辑，用于管理与编码工具（212)的连接。
[0045]III.示例性编码器系统 图3是示例性编码器系统（300)的框图，与其结合可以实现一些所描述的实施例。编 码器系统（300)可以是能够在多个编码模式的任一个中操作的通用编码工具，编码模式诸 如是用于实时通信的低等待时间编码模式、转码模式、和用于从文件或者流中的媒体回放 的常规编码模式，或者编码器系统（300)可以是适于一种这样的编码模式的专用编码工具。 编码器系统（300)可以被实现为操作系统模块、应用库的一部分或者独立的应用。总体上， 编码器系统（300)接收来自视频源（310)的源视频帧（311)的序列，并且产生已编码数据作 为到信道（390)的输出。输出到信道的已编码数据可以包括对于这样的RAP图片的已编码 数据，即：所述RAP图片具有在V、VI和VII节中描述的策略限制和/或单元类型。
[0046] 视频源（310)可以是相机、调谐器卡、存储介质或者其它数字视频源。视频源 (310)以例如30帧每秒的帧速率产生视频帧序列。当在本文中使用时，术语"帧" 一般指 源、编码的或者重建的图像数据。对于逐行式视频，帧是逐行式视频帧。对于隔行式视频， 在示例性实施例中，隔行式视频帧在编码之前被解除隔行（de-interlaced)。替换地，两个 互补的隔行式视频场被编码为隔行式视频帧或者单独的场。除了指示逐行式视频帧之外， 术语"帧"还可以指示单个不成对的视频场、视频场的互补对、代表在给定时间的视频对象 的视频对象平面、或者较大图像中的感兴趣区域。视频对象平面或者区域可以是包括场景 的多个对象或者区域的较大图像的一部分。
[0047] 到达的源帧（311)被存储在源帧临时存储器存储区（320)中，所述源帧临时存储 器存储区（320)包括多个帧缓冲存储区（321，322，…，32n)。在源帧存储区（320)中一个 帧缓冲器（321，322等等）容纳一个源帧。在源帧（311)的一个或者多个已经被存储在帧缓 冲器（321，322等等）中后，帧选择器（330)周期性地从源帧存储区（320)中选择单独的源 帧。帧被帧选择器（330)选择来输入到编码器（340)的顺序可以与帧被视频源（310)产生 的顺序不同，例如，帧可以在顺序上提前，以易于时间上的反向预测。在编码器（340)之前， 编码器系统（300)可以包括预处理器(未示出），其在编码之前对所选择的帧（331)执行预处 理(例如，滤波)。
[0048] 编码器（340)编码所选择的帧（331)，以产生编码的帧（341)，并且还产生存储器 管理控制操作（MMC0)信号（342)或者参考图片组（RPS)信息。如果当前帧不是已经被编码 的第一帧，则当执行其编码过程时，编码器（340)可以使用一个或者多个已经存储在解码帧 临时存储器存储区（360)中的之前编码/解码的帧（369)。这样的存储的解码帧（369)被 用作为对当前源巾贞（331)的内容进行巾贞间预测（inter-frame prediction)的参考巾贞。一 般地，编码器（340)包括多个执行编码任务的编码模块，编码任务是诸如运动估计和补偿、 频率变换、量化和熵编码。由编码器（340)执行的确切操作可以取决于压缩格式而变化。 输出的编码数据的格式可以是Windows Media Video格式、VC-1格式、MPEG-x格式(例如， MPEG-1、MPEG-2或者MPEG-4)、H. 26x格式（例如，H. 261、H. 262、H. 263、H. 264)、HEVC格式 或者其它格式。
[0049] 例如，在编码器（340)中，经帧间编码的预测的帧根据从参考帧进行预测来表 示。运动估计器估计宏块、块或者源帧（341)的其它样本组相对于一个或者多个参考帧 (369)的运动。当使用多个参考巾贞时，多个参考巾贞可以来自不同的时间方向（temporal direction)或者相同的时间方向。运动估计器输出被熵编码的运动信息，诸如运动向量信 息。运动补偿器将运动向量施加到参考帧，以确定经运动补偿的预测值。编码器确定块的 经运动补偿的预测值与相对应的原始值之间的差(如果存在)。这些预测残值被使用频率变 换、量化和熵编码来进一步编码。相似地，对于帧内预测而言，编码器（340)可以确定用于块 的帧内预测值，确定预测残值，并且对预测残值编码。特别地，编码器（340)的熵编码器压 缩量化的变换系数值以及某些辅助信息(例如，运动向量信息、量化参数值、模式判决、参数 选择)。典型的熵编码技术包括Exp-Golomb编码、算术编码、差分编码、霍夫曼（Huffman)编 码、游程长度编码、可变长度到可变长度（V2V)编码、可变长度到固定长度（V2F)编码、LZ编 码、词典编码、概率区间划分熵编码（PIPE, probability interval partitioning entropy coding)和上述项的组合。熵编码器可以对不同种类的信息使用不同的编码技术，并且可以 从特定编码技术内的多个码表当中进行选择。
[0050] 编码的帧（341)和MMC0/RPS信息（342)被解码过程仿真器（350)处理。解码过程 仿真器（350)实现解码器功能性中的一些功能性，例如，实施解码任务以重建在运动估计和 补偿中被编码器（340)使用的参考帧。解码过程仿真器（350)使用MMC0/RPS信息（342)来 确定给出的编码帧（341)是否需要被重建和存储，以便在要被编码的后续帧的帧间预测中 用作为参考帧。如果MMC0/RPS信息（342)指示需要存储编码的帧（341)，则解码过程仿真 器（350)对由解码器实施的解码过程建模，所述解码器接收编码的帧（341)并且产生相对 应的解码的帧（351)。这样做时，当编码器（340)已使用被存储在解码帧存储区（360)中的 (一个或多个）解码的帧（369)时，解码过程仿真器（350)也使用来自存储区（360)的(一个 或多个）解码的帧（369)作为解码过程的一部分。
[0051] 解码帧临时存储器存储区（360)包括多个帧缓冲存储区（361，362，…，36n)。解 码过程仿真器（350)使用MMC0/RPS信息（342)来管理存储区（360)的内容，以便识别具有 不再被编码器（340)需要来用作参考帧的帧的任何帧缓冲器（361，362,等等)。在对解码过 程建模之后，解码过程仿真器（350)将新解码的帧（351)存储在已经以这种方式识别过的 帧缓冲器（361，362,等等）中。
[0052] 编码的帧（341)和MMC0/RPS信息（342)也在临时编码数据区（370)中缓冲。聚集 在编码数据区（370)中的已编码数据可以包含用于具有在V、VI和VII节中描述的策略约 束和/或单元类型的RAP图片的已编码数据作为基本编码视频比特流的语法的一部分。在 编码数据区（370)聚集的已编码数据也可以包括有关已编码视频数据的媒体元数据(例如， 作为一个或者多个补充增强信息（SEI)消息或者视频可用性信息（VUI)消息中的一个或者 多个参数)。
[0053] 来自临时编码数据区（370)的聚集的数据（371)由信道编码器（380)处理。信道 编码器（380)可以将聚集的数据分包（packetize)，以便作为媒体流(例如，按照诸如ISO/ IEC14496-12这样的媒体容器格式）进行传输，在这种情况下，信道编码器（380)可以添加 语法元素来作为媒体传输流的语法的一部分。或者，信道编码器（380)可以对聚集的数据 进行组织，以作为文件(例如，按照诸如IS0/IEC14496-12这样的媒体容器格式）存储，在这 种情况下，信道编码器（380)可以添加语法元素来作为媒体存储文件的语法的一部分。或 者更一般地，信道编码器（380)可以实施一个或者多个媒体系统复用协议或者传输协议，在 这种情况下，信道编码器（380)可以添加语法元素来作为（一个或多个）协议的语法的一部 分。信道编码器（380)提供到信道（390)的输出，信道（390)代表存储装置、通信连接或者 另外的用于输出的信道。
[0054] IV.示例性解码器系统 图4是示例性解码器系统（400)的框图，与其结合可以实现一些所描述的实施例。解 码器系统（400)可以是能够在多个解码模式的任一个中操作的通用解码工具，解码模式是 诸如用于实时通信的低等待时间解码模式和用于从文件或者流中的媒体回放的常规解码 模式，或者解码器系统（400)可以是适于一种这样的解码模式的专用解码工具。解码器系 统（400)可以被实现为操作系统模块、应用库的一部分或者单独的应用。总体上，解码器系 统（400)接收来自信道（410)的已编码数据，并且产生重建帧作为给输出目的地（490)的输 出。已编码数据可以包括用于具有在V、VI和VII节中描述的策略约束和/或单元类型的 RAP图片的已编码数据。
[0055] 解码器系统（400)包括信道（410)，其可以代表作为输入的存储装置、通信连接、 或者用于已编码数据的其它信道。信道（410)产生已经被信道编码的已编码数据。信道 解码器（420)可以处理已编码数据。例如，信道解码器（420)将已被聚集来作为媒体流(例 如，按照诸如IS0/IEC14496-12的媒体容器格式)传输的数据拆包，在这种情况下，信道解码 器（420)可以解析作为媒体传输流的语法的一部分而添加的语法元素。或者，信道解码器 (420)将已被聚集来作为文件(例如，按照诸如IS0/IEC14496-12的媒体容器格式）存储的 已编码视频数据分离，在这种情况下，信道解码器（420)可以解析作为媒体存储文件的语法 的一部分而添加的语法元素。或者，更一般地，信道解码器（420)可以实施一个或者多个媒 体系统解复用协议或者传输协议，在这种情况下，信道解码器（420)可以解析作为（一个或 多个）协议的语法的一部分而添加的语法元素。
[0056] 从信道解码器（420 )输出的已编码数据（421)被存储在临时编码数据区（430 )中， 直到已经接收到足够数量的这样的数据为止。已编码数据（421)包括已编码帧（431)和 MMC0/RPS信息（432)。在编码数据区（430)的已编码数据（421)可以包含作为基本编码视 频比特流的语法的一部分的、用于具有在V、VI或者VII节中描述的策略约束和/或单元类 型的RAP图片的已编码数据。在编码数据区（430)的已编码数据（421)也可以包括有关已 编码视频数据的媒体元数据(例如，作为在一个或者多个SEI消息或者VUI消息中的一个或 者多个参数)。一般而言，编码数据区（430)临时存储已编码数据（421)，直到这样的已编码 数据（421)被解码器（450)使用。这时，用于已编码帧（431)和MMC0/RPS信息（432)的已 编码数据被从编码数据区（430)转移到解码器（450)中。随着解码的继续，新的已编码数据 添加到编码数据区（430)中，而保留在编码数据区（430)中的最旧的已编码数据被转移到 解码器（450)中。
[0057] 解码器（450)周期性地对已编码帧（431)解码，以产生相对应的解码帧（451)。视 情况而定，当执行其解码过程时，解码器（450)可以使用一个或者多个之前解码的帧（469) 作为用于帧间预测的参考帧。解码器（450)从解码帧临时存储器存储区（460)中读取这样 的之前解码的帧（469)。一般地，解码器（450)包括多个执行解码任务的解码模块，所述解 码任务是诸如熵解码、逆量化、逆频率变换和运动补偿。由解码器（450)执行的确切操作可 以取决于压缩格式而变化。
[0058] 例如，解码器（450)接收用于已压缩帧或者帧序列的已编码数据，并且产生包括解 码帧（451)的输出。在解码器（450)中，缓冲器接收用于已压缩帧的已编码数据，并且使所 接收的已编码数据对熵解码器而言是可得到的。熵解码器典型地通过施加在编码器中执行 的熵编码的逆过程，而对已熵编码的量化的数据以及已熵编码的辅助信息进行熵解码。V、 VI和VII节描述了可以被解码器450解码的用于RAP图片、策略约束和/或单元类型的已 编码数据的示例。运动补偿器将运动信息施加到一个或者多个参考帧，以形成正被重建的 帧的子块、块和/或宏块(一般地，块）的运动补偿预测。帧内预测模块可以根据邻近的、之 前重建的样本值而在空间上预测当前块的样本值。解码器（450)也重建了预测残差。逆量 化器将已熵解码的数据逆量化。逆频率变换器将量化的频域数据转换成空间域信息。对 于被预测的帧而言，解码器（450)将重建的预测残差与运动补偿预测相结合，以形成重建 帧。解码器（450)可以相似地将预测残差与来自帧内预测的空间预测相结合。视频解码器 (450)中的运动补偿回路包括自适应的去块效应（de-blocking)滤波器，用来平滑已解码帧 (451)中跨块边界行和/或列两边的不连续性。
[0059] 解码帧临时存储器存储区（460)包括多个帧缓冲存储区（461，462，…，46n)。解 码帧存储区（460)是DPB的示例。解码器（450)使用MMC0/RPS信息（432)来识别它可以在 其中存储已解码帧（451)的帧缓冲器（461，462,等等)。解码器（450)在该帧缓冲器中存储 已解码巾贞（451)。
[0060] 输出定序器（480)使用MMC0/RPS信息（432)来识别按输出顺序将被产生的下一帧 何时在解码帧存储区（460)中可得到。当按输出顺序将被产生的下一帧（481)在解码帧存 储区（460)中是可得到的时，其由输出定序器（480)读取，并且被输出到输出目的地（490) (例如，显示器)。一般而言，帧通过输出定序器（480)从解码帧存储区（460)输出的顺序可 以与帧通过解码器（450 )解码的顺序不同。
[0061] V.对具有CRA图片的比特流的改进 本节描述用于对具有完全随机访问（CRA)图片的比特流进行编码和/或解码的若干变 化。特别地，本节介绍其中允许具有CRA图片的比特流有处在比特流中部的、潜在具有一个 或者多个不可解码的前导图片的CRA图片的示例。上文描述的任一编码器或者解码器可被 适配成使用所公开的编码和解码技术。
[0062] 按照JCTVC_I1003_d5,CRA图片是仅包含I条带(仅使用帧内预测来解码的条带） 的已编码图片。进一步地，在解码顺序和输出顺序上都跟在CRA图片之后的所有已编码图 片一定不使用根据任何在解码顺序或者输出顺序上处在CRA图片之前的图片的帧间预测； 并且按解码顺序处在CRA图片之前的任何图片在输出顺序上也处在CRA图片之前。"前导 图片"是按解码顺序跟在某个其它特定图片之后但按输出顺序处在它之前的已编码图片。 当前导图片与CRA图片相关联时，它是按解码顺序跟在CRA图片之后但是按输出顺序处在 CRA图片之前的已编码图片。与CRA图片相关联的前导图片具有的图片顺序计数小于CRA 图片的图片顺序计数。
[0063] 按照JCTVC_I1003_d5，"即时解码刷新图片"或者"IDR图片"是导致解码过程将 所有参考图片标注为"未用于参考"的已编码图片。按解码顺序跟在IDR图片之后的所有 已编码图片可以被解码，而无需根据按解码顺序处在IDR图片之前的任何图片进行帧间预 测。按解码顺序的每个已编码视频序列的第一个图片是IDR图片或者CRA图片。
[0064] 图5是图不一系列图片的方框图（500)，所述的一系列图片包括三个CRA图片、多 个包括双向预测条带的图片（"B"图片)、以及多个包括单向预测条带的图片（"P"图片）。图 5中的箭头被用来举例说明为了运动补偿(例如，按照一个或者多个运动向量）的目的，B图 片和P图片取决于哪些图片。图5还举例说明了图片的输出顺序和解码顺序。在图5所示 的系列中，第一CRA图片按解码顺序处在比特流的开始处，而剩余的两个CRA图片处在比特 流的中间（即，按解码顺序处在比特流的开始处之后）。对于第二CRA图片（按解码顺序的图 片5)或者第三CRA图片（按解码顺序的图片11)而言，存在若干个按解码顺序跟在CRA图 片之后、但按输出顺序处在它之前的前导图片。对于这些CRA图片的每一个，有一个标记指 示有关可能跟在该CRA图片之后的前导图片的信息，如下文所解释的。
[0065] 按照之前的HEVC提案JCTVC-H0496,允许比特流以不是IDR图片的CRA图片开始。 例如，图5中所示的系列以CRA图片开始。进一步地，允许这样的CRA图片具有不可解码的 前导图片(按解码顺序跟在CRA图片之后但在输出/显示顺序上处在它之前的、包含对比特 流中实际上不存在的参考图片的参考的图片）。按照JCTVC-H0496,如果比特流以CRA图片 开始，则与CRA图片相关联的前导图片，如果其存在于比特流中的话，被忽略(从比特流中 移除或者丢弃)。（图5没有示出这样的在第一CRA图片之后的前导图片，第一CRA图片是 按解码顺序的图片1)。
[0066] 允许比特流以不是IDR图片的CRA图片开始是旨在增强编辑的灵活性。JCTVC-I1003_d5要求位于比特流中间的CRA拼接点是"可察觉的"。即，当解码器在早于当 前CRA图片的某个IDR或者CRA处开始对比特流进行解码时，要求CRA图片的所有的前导 图片都是可完全解码的。要求解码图片缓冲器（DPB)包含被通过前导图片的语法而参考的 所有的图片(在DPB图片组描述语法中或者被参考以用于帧间预测)。因此，如果在比特流 的开始之后的CRA图片具有前导图片，则所述图片被认为是可解码的。例如，在图5中，第 三CRA图片（按解码顺序的第11个图片）按解码顺序后面跟有两个图片（按解码顺序的图 片12和13)，而这两个图片按输出顺序是处在它之前。这两个前导图片仅依赖于第三CRA 图片。由于那个缘故，即便解码在作为随机访问点的第三CRA点处开始，它们也将是可解码 的。然而，如果CRA图片的布置被约束成使得保证任何前导图片都是可解码的话，那么编码 器可能在它可以在何处指定图片为CRA图片方面受到严格限制。
[0067] 按照本公开技术的某些实施例，移除了关于CRA图片的前导图片的可解码性的要 求，因为其是不必须和不合期望的。本公开技术的实施例附加地允许不在比特流开始处的 CRA图片向解码器提供信息，指示与流中部的CRA图片相关联的前导图片的存在和类型。如 下文中更完全地解释的，这样的CRA图片在本文中有时被称作BLA图片，并且可以具有多种 断链访问图片类型中的一种。相应地，使用这样的实施例的编码器或者视频处理设备可以 更灵活地在比特流中布置BLA类型的CRA图片，正如图5中所图示的。在图5中，第二CRA 图片(按解码顺序的图片5)按解码顺序后面跟有两个前导图片(按解码顺序的图片6和7)， 而这两个前导图片按输出顺序处在该CRA图片之前(按输出顺序的图片5和6相对于按输 出顺序的图片7)。在之前的方法中，比特流中部的CRA图片不能被用作为拼接点或者用作 为开始解码(作为扫描、快进、倒回、或者比特流切换操作的一部分）的随机访问点，因为第 二CRA具有这样的前导图片，S卩：所述前导图片在解码时带有对在CRA图片之前的参考图片 的运动补偿依赖性，而这样的参考图片并不保证是可得到的。在图5中，例如，按解码顺序 为第6和第7的前导图片依赖于按解码顺序为第2的图片。然而，使用本公开技术的实施 例，当发生拼接操作或者随机访问操作或者比特流切换操作时，第二CRA图片可以被指定 为BLA图片(例如，使用将该图片标识为BLA类型的CRA图片的标记或者语法元素(在本文 中有时仅称为"BLA图片")）。这样的指示可以被解码器使用来恰当地处理任何与BLA相关 联的不可解码的前导图片（例如，通过不对不可解码的前导图片进行解码、通过不将不可解 码的前导图片输出、或者以其它方式丢掉不可解码的图片来进行)。此外，在一些实现中，并 且如下文中更完全地解释的，可以规定多种类型的BLA图片，从而向解码器提供关于前导 图片是否可以与BLA图片相关联以及什么类型的前导图片可以与BLA图片相关联的附加信 息。这多种BLA类型提供了附加信息，使得解码器可以恰当地解码比特流，并且只输出可解 码的图片。
[0068] 在某些实现中，用于CRA图片的语法元素指示"断链"的潜在存在，因为用于CRA图 片的前导图片可能正缺少解码那些前导图片所需要的参考图片。例如，用信号告知不可解 码的前导图片是否潜在地存在的标记被添加到CRA图片的图片级信息中。该标记可以被添 加到条带头或者添加到可以被建立的另一个语法位置中（例如，用于图片级信息的另一个 合适位置，诸如APS)。在一个特定的实现中，当该标记等于" 1"时，允许比特流包含CRA图 片的由于缺少在前的参考图片而不可解码的前导图片（当前对于开始比特流的CRA图片的 前导图片，就是这样)。因此，在解码期间，所述标记用信号告知解码器忽略或者丢弃与CRA 图片相关联的前导图片(包括也许可解码的前导图片)。
[0069] 在一个特定的实现中，具有等于"1"的断链标记的CRA图片本质上将与IDR图片 相同方式地动作，除了下文的情况： 将允许前导图片跟在CRA图片之后(按比特流顺序)，前导图片可以指在比特流中不存 在的图片。CRA图片的前导图片将被解码器忽略和丢弃。例如，用于解码器的标准将规定解 码器跳过用于CRA图片的所有前导图片的解码过程，并且不输出它们(对于CRA图片在比特 流的开始处，已经就是这样)。因此断链标记向解码器指示：与CRA图片相关联的前导图片 应该被忽略和丢弃，即便前导图片中的一个或者多个实际上也许是可解码的。
[0070] 进一步地，将不要求CRA的图片顺序计数等于"0"。替代地，并且在一个示例性实 现中，图片顺序计数MSB将被设置为"0"，而LSB将被设置为在CRA图片中发送的LSB值(如 已经对于在比特流的开始处的CRA图片所规定的)。此外，在一些实现中，允许IDR图片的 图片顺序计数是非零的。换言之，不要求IDR图片的图片顺序计数等于"0"。
[0071] 在某些实现中，具有等于"1"的断链标记(例如，broken_link_flag)的CRA图片也 包含no_output_of_prior_pics_flag和random_access_pic_id,no_output_of_prior_ pics_flag以与对于IDR图片相同的方式动作，而random_access_pic_id以与IDR图片 的idr_pic_id相同的方式动作。在一些实现中，当前idr_pic_id被重新命名为random_ access_pic_id，并且使得其约束施加到CRA图片和IDR图片两者，而不只是施加到IDR图 片。此外，类似于IDR图片，具有等于"1"的断链标记的CRA图片可以激活不同的SPS、改变 图片尺寸等等。
[0072] 在这个实现中，当对于CRA图片的断链标记值为"0"时，不允许比特流包含CRA图 片的由于缺少在前参考图片而可能不是可解码的前导图片，除非那个CRA图片是比特流的 (按解码顺序的）第一个图片。即，比特流不包含按解码顺序处在有"〇"的断链标记的CRA 图片之后的前导图片，除非当解码在按解码顺序的较早的CRA或者IDR处开始时这样的前 导图片是完全可解码的。因此，在解码期间，标记用信号告知解码器去解码与CRA图片相关 联的前导图片。然而，当CRA图片是比特流中的第一图片但是具有为"0"的断链标记时，则 标记可以被忽略，并且该CRA图片可以被视为"好像"断链标记是" 1"。
[0073] 在图5示出的示例中，对于第二CRA图片（按解码顺序的图片5)，标记值可以是 "1"，因为一些前导图片可能在随机访问时缺少参考图片。这允许图5中的第二CRA图片被 用于比之前所可能的更大的随机访问功能性。例如，第二CRA图片现在可以被用作为开始 图片，作为扫描、快进、倒回操作或者比特流切换操作的一部分。此外，第二CRA图片可以被 用作为拼接点，比特流在该处被剪切以在该第二个图片处开始，并且接着被添加到另一个 比特流的结尾。因为第二个CRA图片被标识为BLA图片（断链标记值为"1")，所以作为结 果的比特流可被恰当地解码并代表有效的比特流。此外，在某些实现中，视频编码器或者视 频处理设备可以更改CRA图片的状态，使其变成BLA图片。例如，作为拼接操作的一部分， 视频处理设备可以修改CRA图片的指定，以指示其为BLA图片，使得作为结果的拼接比特流 将是有效的。对于第三CRA图片(按解码顺序的图片11)，标记值将为"0"，因为在随机访问 时，没有前导图片将会缺少参考图片。
[0074] 虽然上文描述的实施例涉及用于用信号告知解码器是否应该跳过与CRA图片相 关联的不可解码的前导图片的"标记"，但是也可以使用任何适当的指示符。例如，在一些 实施例中，使用规定图片的各种特性的另外的图片级指示符或者语法元素。在一些实现中， 用于这个目的的语法元素可以是与给定的CRA图片相关联的、被称为网络抽象层（"NAL"）单元类型(或者与比特流中的图片相关联的其它指示符）的语法指示符。例如，可以将一个 NAL单元类型值使用于被指示具有潜在"断链"状态的CRA图片，而可以将另一个NAL单元 类型值使用于被指示不具有这样的潜在"断链"状态的CRA图片。此外，虽然上文描述的实 施例涉及"完全"随机访问图片，但是本文公开的创新可以与任何随机访问图片或者等同物 (诸如恢复帧或者其它被潜在用于开始某个比特流的图片）相结合地使用。此外，在这样的 替换的实施例中，指示符可以被用来用信号告知相关联的、任何类型的不可解码图片的可 能性(不仅仅是基于时间输出顺序而识别的前导图片；例如，包括以一些其它方式识别的前 导图片)。
[0075] 虽然上文描述的实施例涉及通过确定图片是否是CRA图片的前导图片（S卩，通过 识别是否按解码顺序跟在CRA图片之后的图片按输出顺序处在CRA图片之前）而对潜在不 可解码的图片进行识别，但是可以使用其它的或者附加的分类规则或者指示符来识别潜在 不可解码的图片。例如，"标记"或者语法元素值，或者与比特流中的图片相关联的其它指 示符，可以与每个图片一起发送，以指示其是否是潜在不可解码的图片，而不管其相对于相 关联的CRA图片的输出顺序位置的输出顺序位置。换言之，指示符是针对潜在不可解码的 图片而被用信号告知的。在一些实现中，用于这个目的的语法元素可以是被称为NAL单元 类型的语法指示符。例如，对于被指示为不是CRA图片的图片而言，当随机访问解码过程在 CRA图片的位置处开始，或者已经指示"断链"CRA图片时，一个NAL单元类型值可以由将要 作为潜在不可解码的图片而丢弃的图片使用，而另一个NAL单元类型值可以由被指示为可 解码的图片使用。要作为潜在不可解码的图片而被丢弃的前导图片在本文中有时被称作 (或者在比特流中被指示为）"标记用于丢弃"（TFD)图片或者随机访问跳过的前导（RASL) 图片。可解码的前导图片在本文中有时被称作(或者在比特流中被指示为)随机访问可解码 前导（RADL)图片(或者可解码前导图片（DLP))。
[0076] 在一些实施例中，确定是否可以解码某个图片可能不但包括对图片的解码过程是 否可能取决于一些按比特流顺序在CRA图片之前出现的图片的识别，而且也可能包括对图 片的解码过程是否可能取决于一些按比特流顺序在一个以上CRA图片之前出现的图片的 识别。例如，这种确定可以是有用的，因为典型地对于解码器而言，其必须能够在随机访问 解码过程被发起之后识别跟在所遇到的一个以上的CRA图片之后的图片是否能够被解码。 在这样的情景下，有用的可能是如下地约束参考图片选择：图片不应使用比特流中按解码 顺序处在多于z个CRA图片之前的任何图片作为用于图片间预测的参考。例如为2。没 有这样的约束，当由解码器执行随机访问时，可能无法保证恢复一一即便是在已经遇到多 个CRA图片之后。
[0077] 在许多方面，如果明确地指示出在一些情况下将被丢弃的图片的话，则IDR图片 的使用是不必要的。IDR图片可以按比特流顺序后面跟有(按输出顺序的）前导图片，这些 前导图片在由解码器执行随机访问时要被解码和输出。如果图片是否要被解码的分类是通 过明确的语法指示符(诸如NAL单元类型）来确定而不是通过图片顺序计数隐含地确定，那 么CRA图片可以具有IDR图片的所有功能性。例如，在某些具体的实现中，与比特流中图片 相关联的语法元素值或者其它指示符(诸如NAL单元类型值)可以被使用来标识至少下列四 种类型的图片： ?将图片标识为没有"断链"的CRA图片的一种类型， ?将图片标识为具有"断链"的CRA图片的一种类型， ?将图片标识为当解码过程在按比特流顺序的任何在前CRA图片的位置处开始时总是 要被解码的图片的一种类型，以及 ?将图片标识为当随机访问已经在按比特流顺序的在前CRA图片的随机访问点处执行 时，或者当按比特流顺序的在前CRA图片被指示为"断链"时不被解码的图片的一种类型。
[0078]VI.用于RAP图片的策略约束和单元类型 在HEVC草案JCTVC-I1003_d5中，RAP("随机访问点"）图片由NAL单元类型4到8 代表。取决于RAP图片的特性，对于媒体容器格式的一些类型而言，单元类型可以被映射 到下文描述的三种SAP("流访问点"）类型之一，这三种SAP类型也在以下文档中被定义： IS0/IEC14496-12 4thEdition,"Informationtechnology-Codingofaudio-visual objects-Part12:ISObasemediafileformat"，wl2640，100thMPEGmeeting,日内 瓦，2012年4月。虽然定义了总计6种SAP类型，但是RAP图片仅可以被映射到该文档的 SAP类型中的三种。可用的SAP类型包括：类型1、类型2和类型3。
[0079] 类型1对应于"闭合G0P随机访问点"(其中按解码顺序从点ISAP开始的所有访问 单元可以被正确地解码，导致没有间隙的、正确解码的访问单元的连续时间序列）的一些示 例，对其而言，按解码顺序的访问单元也是按呈现顺序的第一访问单元。
[0080] 类型2对应于"闭合G0P随机访问点"的其它示例，对其而言，媒体流中按解码顺 序的从点ISAU开始的第一访问单元不是按呈现顺序的第一访问单元。
[0081] 类型3对应于"开放G0P随机访问点"的示例，其中有按解码顺序跟在点ISAU之后 的一些访问单元，其不能被正确地解码，并且具有比时间TSAP更短的呈现时间。
[0082] 从系统的角度而言，合期望的是，使SAP映射尽可能简单，同时允许使用尽可能多 的类型。在本公开技术的一些实施例中，RAP图片包括以下对许可的单元类型的调整和约 束中的一个或多个。
[0083] 在下文的示例中，可以取决于NAL单元类型，进一步将RAP图片分类成CRA图片、 BLA("断链访问")图片或者IDR图片。在JCTVC-I1003_d5的HEVC设计中，CRA图片由NAL 单元类型4和5代表，BLA图片由NAL单元类型6和7代表，而IDR图片由NAL单元类型8 代表。仅当CRA或者BLA图片不具有任何相关联的TFD("标记用于丢弃"）图片时，NAL单 元类型5和7可以仅仅被分别用于CRA和BLA图片。
[0084] A.IDR图片的移除或者对IDR图片的约束 与上文V节中公开的某些实施例相一致，BLA图片的概念已经在来自提案JCTVC-I0404 (G.J.Sullivan,"CRApictureswithbrokenlinks",JCTVC-I0404，9thmeeting,日 内瓦，2012年4月）的JCTVC-I1003_d5的HEVC设计中被采纳。该提案还指出，CRA/BLA 图片可以达到IDR图片的功能性(及更多)，并且因此推荐从HEVC设计中放弃IDR图片的概 念，但是IDR图片保留在JCTVC-I1003_d5的HEVC设计中。
[0085] 在本公开技术的某些实施例中，依然使用IDR图片，但是编码遵照另外的约束，其 简化了IDR图片到SAP类型的映射。
[0086] 在JCTVC-I1003的HEVC设计中，IDR图片可以映射到SAP类型1或者2。如果IDR 图片具有前导图片（按解码顺序跟在当前图片之后但按输出顺序处在它之前的已编码(并 且可解码的）图片)，则它将被映射到SAP类型2。如果IDR图片不具有前导图片，则它将被 映射到SAP类型1。所以，当系统遇到IDR图片时，系统必须检查是否存在前导图片，以便确 定正确的到SAP类型的映射，这可能会不必要地消耗计算和存储资源来检查罕见的情况。 [0087] 按照本公开技术的一个示范性实施例，IDR图片被约束成不具有前导图片。由于 这个约束，IDR图片总是映射到类型1的SAP。
[0088]B?用于CRA/BLA图片的NAL单元类型 在本公开技术的某些实现中，当不存在TFD图片时，CRA图片的功能性与BLA图片的功 能性完全相同。因此，可以避免出于这个目的而定义两种NAL单元类型的必要性，并且单个 类型值可以指示不具有相关联的TFD图片的CRA图片或者BLA图片。
[0089] 而且，不具有相关联的TFD图片的CRA/BLA图片可以取决于它是否具有前导图片 而被映射到SAP类型1或者2。在特定的实现中，冗余NAL单元类型中的一种可以被使用来 指示这种情况：其中CRA/BLA图片直接映射到SAP类型1(当CRA/BLA图片不具有前导图片 时这种情况会发生)。对于不具有前导图片的CRA/BLA的常见情况而言，这简化了到合适的 SAP类型的映射。
[0090] 一个具体的示范性实现包括如下文表1中所定义的NAL单元类型(在这个示例中， 为NAL单元类型4到7):

【权利要求】
1. 一种方法，包括： 接收比特流的至少一部分，所述比特流的至少一部分包括已编码图片和为所述已编码 图片指定的图片类型，所述图片类型是多种图片类型中的一种，所述多种图片类型包括第 一类型，其指示已编码图片是能够被用作随机访问点（RAP)图片的断链访问（BLA)图片，并 且进一步指示已编码图片可以具有一个或者多个相关联的可解码或者不可解码的前导图 片；并且 对所述已编码图片进行解码。
2. 权利要求1的方法，其中已编码图片是第一已编码图片，其中所述第一已编码图片 被指定为第一类型的图片，其中所述比特流的至少一部分包括与第一已编码图片相关联的 第二已编码图片和用于所述第二已编码图片的图片类型，所述用于第二已编码图片的图片 指示第二已编码图片是随机访问跳过的前导（RASL)图片或者随机访问可解码前导（RADL) 图片，并且其中所述方法进一步包括： 如果所述第二已编码图片被指定为RADL图片，则对所述第二已编码图片进行解码；并 且 如果所述第二已编码图片被指定为RASL，则跳过对所述第二已编码图片的解码。
3. 权利要求1的方法，其中所述多种图片类型进一步包括： 第二类型，其指示已编码图片是能够被用作RAP图片的BLA图片，并且所述已编码图片 不具有任何相关联的不可解码的前导图片，但是可具有一个或者多个相关联的可解码的前 导图片，以及 第三类型，其指示已编码图片是能够被用作RAP图片的BLA图片，并且所述已编码图片 不具有任何相关联的前导图片。
4. 一种方法，包括： 将图片指定为多种图片类型中的一种，其中所述图片类型包括第一类型，其指示所述 图片是能够被用作RAP图片的BLA图片，并且进一步指示所述图片可以具有一个或者多个 相关联的可解码或者不可解码的前导图片；并且 生成比特流的至少一部分，所述比特流的至少一部分包括为该图片指定的图片类型。
5. 权利要求4的方法，其中多种图片类型进一步包括以下的一种或者多种： 第二类型，其指示图片是能够被用作随机访问点RAP图片的断链访问（BLA)图片，并且 所述图片不具有任何相关联的不可解码的前导图片，但是可具有一个或者多个相关联的可 解码的前导图片， 第三类型，其指示图片是能够被用作RAP图片的BLA图片，并且所述图片不具有任何相 关联的前导图片，以及 第四类型，其指示图片是能够被用作RAP图片的完全随机访问（CRA)。
6. 权利要求4的方法，其中所述方法进一步包括对与所述已编码图片相关联的一个或 者多个前导图片和一个或者多个非前导图片进行编码，并且其中生成比特流的至少一部分 包括对已编码前导图片和已编码非前导图片排序，使得在所述比特流的至少一部分中所有 已编码前导图片都处在所有已编码非前导图片之前。
7. -种或者多种计算机可读存储介质，其存储计算机可执行指令，所述计算机可执行 指令在被计算机执行时，导致计算机执行一种方法，所述方法包括： 接收比特流，所述比特流包括已编码的断链访问（BLA)图片和一个或者多个与所述 BLA图片相关联的已编码的前导图片，所述比特流还包括对于一个或者多个已编码的前导 图片的每一个的明确指示，其指示当按解码顺序来自所述BLA图片之前的图片不可得到 时，相应的已编码的前导图片是可解码的还是不可解码的；以及 按照所述明确指示，对所述一个或者多个已编码的前导图片进行解码。
8. 权利要求7的一种或者多种计算机可读介质，其中所述比特流进一步包括BLA图片 是多种BLA类型中的一种的明确指示。
9. 权利要求8的一种或者多种计算机可读介质，其中BLA图片是多种BLA类型中的一 种的明确指示指示出：该BLA图片是可具有一个或者多个相关联的可解码或者不可解码的 前导图片的断链访问类型。
10. 权利要求9的一种或者多种计算机可读介质，其中所述方法进一步包括： 对已编码的前导图片中具有其是可解码的指示的一个或者多个已编码的前导图片进 行解码；并且 跳过对所述已编码的前导图片中具有其是不可解码的指示的一个或者多个已编码的 前导图片的解码。
【文档编号】H04N19/65GK104350750SQ201380031429
【公开日】2015年2月11日 申请日期:2013年4月16日 优先权日:2012年4月16日
【发明者】G.J.萨利文, S.卡努穆里 申请人:微软公司