译码用于视频译码的seinal单元的利记博彩app

译码用于视频译码的sei nal单元的利记博彩app
【专利摘要】在一实例中，一种用于解码视频数据的装置包含处理器，所述处理器经配置以：针对位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元；及基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。
【专利说明】译码用于视频译码的SEINAL单元
[0001] 相关申请案
[0002] 本申请案主张以下申请案的权利：
[0003] 2012年7月10日申请的第61/670,066号美国临时申请案，所述申请案据此以其 全文引用的方式并入本文中。

【技术领域】
[0004] 本发明大体上涉及处理视频数据，且更确切地说，涉及用于视频数据中的随机存 取图片。

【背景技术】
[0005] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读 器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或 卫星无线电电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置及其类似者。 数字视频装置实施视频译码技术，例如描述于以下各者中的那些技术：由ITU-TH. 261、 IS0/IECMPEG-1Visual、ITU-TH. 262、IS0/IECMPEG-2Visual、ITU-TH. 263、ITU-T H. 264/MPEG-4第10部分高级视频译码（AVC)定义的标准，及目前在开发的高效率视频译码 (HEVC)标准，及此些标准的扩展。视频装置可通过实施此些视频译码技术而较有效率地发 射、接收、编码、解码及/或存储数字视频信息。
[0006]视频译码技术包含空间（图片内）预测及/或时间（图片间）预测以减少或移除 视频序列中固有的冗余。对于基于块的预测性视频译码，可将视频切片（例如，视频帧或视 频帧的一部分）分割为视频块，所述视频块还可被称作宏块、树型块、译码树单元（CTU)、译 码树型块（CTB)、译码单元（CU)及/或译码节点。使用相对于相同图片中的相邻块中的参 考样本的空间预测来编码图片的经帧内译码（I)切片中的视频块。图片的经帧间译码（P 或B)切片中的视频块可使用相对于相同图片中的相邻块中的参考样本的空间预测或相对 于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
[0007] 空间预测或时间预测导致译码用于块的预测性块。残余数据表示待译码的原始块 与预测性块之间的像素差。像素还可被称作图片元素、像元或样本。根据指向形成预测性 块的参考样本的块的运动向量，及指示经译码块与预测性块之间的差异的残余数据来编码 经帧间译码块。根据帧内译码模式及残余数据来编码经帧内译码块。为进行进一步压缩， 可将残余数据从像素域变换到变换域，从而产生可接着进行量化的残余变换系数。可扫描 最初布置成二维阵列的经量化的变换系数以便产生变换系数的一维向量，且可应用熵译码 以达成甚至更多的压缩。


【发明内容】

[0008]大体上，本发明描述用于处理视频数据的技术。详细地说，本发明描述可用以进行 以下操作的技术：减少例如交谈式应用程序等视频应用程序中的延迟，提供随机存取经译 码视频序列中的改进，及提供用于具有固定图片速率且支持时间可缩放性的视频内容的信 肩、。
[0009] 在一实例中，一种解码视频数据的方法包含：从网络抽象层（NAL)单元解封装位 流的随机存取点（RAP)图片的切片，其中所述NAL单元包含NAL单元类型值，其指示所述 RAP图片是否为可具有相关联的引导图片的类型，及所述RAP图片为瞬时解码器刷新（IDR) 图片还是清洁随机存取（CRA)图片；基于所述NAL单元类型值确定所述RAP图片是否可具 有相关联的引导图片；及基于所述确定所述RAP图片是否可具有相关联的引导图片，解码 在所述RAP图片之后的所述位流的视频数据。
[0010] 在另一实例中，一种用于解码视频数据的装置，所述装置包括处理器，所述处理器 经配置以：从网络抽象层（NAL)单元解封装位流的随机存取点（RAP)图片的切片，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的引导图片的类 型，及所述RAP图片为瞬时解码器刷新（IDR)图片还是清洁随机存取（CRA)图片；基于所述 NAL单元类型值确定所述RAP图片是否可具有相关联的引导图片；及基于所述确定所述RAP 图片是否可具有相关联的引导图片，解码在所述RAP图片之后的所述位流的视频数据。 [0011] 在另一实例中，一种用于解码视频数据的装置包含：用于从网络抽象层（NAL)单 元解封装位流的随机存取点（RAP)图片的切片的装置，其中所述NAL单元包含NAL单元类 型值，其指示所述RAP图片是否为可具有相关联的引导图片的类型，及所述RAP图片为瞬时 解码器刷新（IDR)图片还是清洁随机存取（CRA)图片；用于基于所述NAL单元类型值确定 所述RAP图片是否可具有相关联的引导图片的装置；及用于基于所述确定所述RAP图片是 否可具有相关联的引导图片，解码在所述RAP图片之后的所述位流的视频数据的装置。 [0012]在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使 得处理器进行以下操作：从网络抽象层（NAL)单元解封装位流的随机存取点（RAP)图片的 切片，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的 引导图片的类型，及所述RAP图片为瞬时解码器刷新（IDR)图片还是清洁随机存取（CRA) 图片；基于所述NAL单元类型值确定所述RAP图片是否可具有相关联的引导图片；及基于 所述确定所述RAP图片是否可具有相关联的引导图片，解码在所述RAP图片之后的所述位 流的视频数据。
[0013] 在另一实例中，一种产生包含视频数据的位流的方法，所述方法包括：确定随机存 取点（RAP)图片是否为可具有相关联的引导图片的类型，及所述RAP图片包括瞬时解码器 刷新（IDR)图片还是清洁随机存取（CRA)图片；将所述RAP图片的切片封装于网络抽象层 (NAL)单元中，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有 相关联的引导图片的类型；及产生包含所述NAL单元的位流。
[0014] 在另一实例中，一种用于产生包含视频数据的位流的装置包含处理器，所述处理 器经配置以进行以下操作：确定随机存取点（RAP)图片是否为可具有相关联的引导图片的 类型，及所述RAP图片包括瞬时解码器刷新（IDR)图片还是清洁随机存取（CRA)图片；将所 述RAP图片的切片封装于网络抽象层（NAL)单元中，其中所述NAL单元包含NAL单元类型 值，其指示所述RAP图片是否为可具有相关联的引导图片的类型；及产生包含所述NAL单元 的位流。
[0015] 在另一实例中，一种用于产生包含视频数据的位流的装置包含：用于确定随机存 取点（RAP)图片是否为可具有相关联的引导图片的类型，及所述RAP图片包括瞬时解码器 刷新（IDR)图片还是清洁随机存取（CRA)图片的装置；用于将所述RAP图片的切片封装于 网络抽象层（NAL)单元中的装置，其中所述NAL单元包含NAL单元类型值，其指示所述RAP 图片是否为可具有相关联的引导图片的类型；及用于产生包含所述NAL单元的位流的装 置。
[0016]在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使 得处理器进行以下操作：确定随机存取点（RAP)图片是否为可具有相关联的引导图片的类 型，及所述RAP图片包括瞬时解码器刷新（IDR)图片还是清洁随机存取（CRA)图片；将所述 RAP图片的切片封装于网络抽象层（NAL)单元中，其中所述NAL单元包含NAL单元类型值， 其指示所述RAP图片是否为可具有相关联的引导图片的类型；及产生包含所述NAL单元的 位流。
[0017] 在另一实例中，一种解码视频数据的方法包含：针对位流的补充增强信息（SEI) 网络抽象层（NAL)单元，确定所述SEINAL单元的NAL单元类型值指示所述NAL单元包括 包含前缀SEI消息的前缀SEINAL单元还是包含后缀SEI消息的后缀SEINAL单元；及基 于所述SEINAL单元为所述前缀SEINAL单元还是所述后缀SEINAL单元及所述SEINAL 单元的数据，解码在所述SEINAL单元之后的所述位流的视频数据。
[0018] 在另一实例中，一种用于解码视频数据的装置包含处理器，所述处理器经配置以： 针对位流的补充增强信息（SEI)网络抽象层（NAL)单元，确定所述SEINAL单元的NAL单 元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEINAL单元还是包含后缀SEI 消息的后缀SEINAL单元；及基于所述SEINAL单元为所述前缀SEINAL单元还是所述后 缀SEINAL单元及所述SEINAL单元的数据，解码在所述SEINAL单元之后的所述位流的 视频数据。
[0019] 在另一实例中，一种用于解码视频数据的装置包含：用于针对位流的补充增强信 息（SEI)网络抽象层（NAL)单元，确定所述SEINAL单元的NAL单元类型值指示所述NAL 单元包括包含前缀SEI消息的前缀SEINAL单元还是包含后缀SEI消息的后缀SEINAL单 元的装置；及用于基于所述SEINAL单元为所述前缀SEINAL单元还是所述后缀SEINAL 单元及所述SEINAL单元的数据，解码在所述SEINAL单元之后的所述位流的视频数据的 装直。
[0020] 在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使 得处理器进行以下操作：针对位流的补充增强信息（SEI)网络抽象层（NAL)单元，确定所述 SEINAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEINAL 单元还是包含后缀SEI消息的后缀SEINAL单元；及基于所述SEINAL单元为所述前缀SEI NAL单元还是所述后缀SEINAL单元及所述SEINAL单元的数据，解码在所述SEINAL单元 之后的所述位流的视频数据。
[0021] 在另一实例中，一种产生包含视频数据的位流的方法包含：确定补充增强信息 (SEI)消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包含与经编码视频数据有 关的数据；将所述SEI消息封装于SEINAL单元中，其中所述SEINAL单元包含NAL单元类 型值，其指示所述SEINAL单元为前缀SEINAL单元还是后缀SEINAL单元，及所述SEI消 息为前缀SEI消息还是后缀SEI消息；及产生至少包含所述SEINAL单元的位流。
[0022] 在另一实例中，一种用于产生包含视频的位流的装置包含处理器，所述处理器经 配置以：确定补充增强信息（SEI)消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消 息包含与经编码视频数据有关的数据；将所述SEI消息封装于SEINAL单元中，其中所述 SEINAL单元包含NAL单元类型值，其指示所述SEINAL单元为前缀SEINAL单元还是后 缀SEINAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及产生至少包含所述 SEINAL单元的位流。
[0023] 在另一实例中，一种用于产生包含视频数据的位流的装置包含：用于确定补充增 强信息（SEI)消息为前缀SEI消息还是后缀SEI消息的装置，其中所述SEI消息包含与经 编码视频数据有关的数据；用于将所述SEI消息封装于SEINAL单元中的装置，其中所述 SEINAL单元包含NAL单元类型值，其指示所述SEINAL单元为前缀SEINAL单元还是后缀 SEINAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及用于产生至少包含所 述SEINAL单元的位流的装置。
[0024] 在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使 得处理器进行以下操作：确定补充增强信息（SEI)消息为前缀SEI消息还是后缀SEI消息， 其中所述SEI消息包含与经编码视频数据有关的数据；将所述SEI消息封装于SEINAL单 元中，其中所述SEINAL单元包含NAL单元类型值，其指示所述SEINAL单元为前缀SEINAL 单元还是后缀SEINAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及产生至 少包含所述SEINAL单元的位流。
[0025] 在另一实例中，一种呈现视频数据的方法包含：确定所述视频数据的整数值；确 定第一图片的呈现时间与第二图片的呈现时间之间的差值，其中所述差值等于所述整数值 乘以时钟刻度值；及根据所述所确定的差值，呈现所述第一图片及所述第二图片。
[0026] 在另一实例中，一种用于呈现视频数据的装置包含处理器，所述处理器经配置以： 确定所述视频数据的整数值；确定第一图片的呈现时间与第二图片的呈现时间之间的差 值，其中所述差值等于所述整数值乘以时钟刻度值；及根据所述所确定的差值，呈现所述第 一图片及所述第二图片。
[0027] 在另一实例中，一种用于呈现视频数据的装置包含：用于确定所述视频数据的整 数值的装置；用于确定第一图片的呈现时间与第二图片的呈现时间之间的差值的装置，其 中所述差值等于所述整数值乘以时钟刻度值；及用于根据所述所确定的差值，呈现所述第 一图片及所述第二图片的装置。
[0028] 在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使 得处理器进行以下操作：确定所述视频数据的整数值；确定第一图片的呈现时间与第二图 片的呈现时间之间的差值，其中所述差值等于所述整数值乘以时钟刻度值；及根据所述所 确定的差值，呈现所述第一图片及所述第二图片。
[0029] 在另一实例中，一种产生包含视频数据的位流的方法包含：产生指示第一图片的 呈现时间与第二图片的呈现时间之间的差是否为时钟刻度值的整数倍的数据；及在所述数 据指示所述差为所述时钟刻度值的所述整数倍时，产生表示所述整数倍数的数据。
[0030] 在另一实例中，一种用于产生包含视频数据的位流的装置包含处理器，所述处理 器经配置以进行以下操作：产生指示第一图片的呈现时间与第二图片的呈现时间之间的差 是否为时钟刻度值的整数倍的数据；及在所述数据指示所述差为所述时钟刻度值的所述整 数倍时，产生表示所述整数倍数的数据。
[0031] 在另一实例中，一种用于产生包含视频数据的位流的装置包含：用于产生指示第 一图片的呈现时间与第二图片的呈现时间之间的差是否为时钟刻度值的整数倍的数据的 装置；及用于在所述数据指示所述差为所述时钟刻度值的所述整数倍时，产生表示所述整 数倍数的数据的装置。
[0032] 在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使 得处理器进行以下操作：产生指示第一图片的呈现时间与第二图片的呈现时间之间的差是 否为时钟刻度值的整数倍的数据；及在所述数据指示所述差为所述时钟刻度值的所述整数 倍时，产生表示所述整数倍数的数据。
[0033] 在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优势将从 所述描述及所述图式以及从权利要求书而显而易见。

【专利附图】

【附图说明】
[0034] 图1为说明根据预测性视频译码技术译码的视频序列的概念图。
[0035] 图2为说明经译码视频序列的一实例的概念图。
[0036] 图3为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
[0037] 图4为说明可实施本发明中所描述的技术的实例封装单元的框图。
[0038] 图5为说明根据本发明的技术产生VCLNAL单元的一实例的流程图。
[0039] 图6为说明根据本发明的技术产生非VCLNAL单元的一实例的流程图。
[0040] 图7为说明用信号发出呈现时间增量值的一实例的流程图。
[0041] 图8为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0042] 图9为说明确定呈现时间增量值的一实例的流程图。
[0043] 图10为说明可实施本发明中所描述的技术的实例视频解码器的框图。

【具体实施方式】
[0044] 本发明描述各种改进的视频译码设计。详细地说，本发明描述可用以减少例如交 谈式应用程序等视频应用程序中的延迟，及提供随机存取经译码视频序列中的改进的技 术。
[0045] 数字视频装置实施视频压缩技术以更有效率地编码及解码数字视频信息。可根据 视频译码标准（例如，AVC或HEVC)来定义视频压缩技术。ITU-TH. 264/MPEG-4(AVC)标 准由ITU-T视频译码专家组（VCEG)连同IS0/IEC动画专家组（MPEG) -起阐明为被称为 联合视频小组（JVT)的集体合作的产品。H. 264标准由ITU-T研究组且在日期为2005年 3月描述于ITU-T推荐H. 264 (用于一般视听服务的高级视频译码）中，其在本文中可被称 作H. 264标准或H. 264规范或H. 264/AVC标准或规范。联合视频小组（JVT)继续致力于对 H. 264/MPEG-4AVC的扩展。
[0046]HEVC的最新工作草案（其被称作"HEVC工作草案7"或"WD7"）描述于文 件JCTVC-I1003_d5(Bross等人，"WD7:WorkingDraft7ofHigh-EfficiencyVideo Coding(HEVC)"，ITU-TSG16WP3 及IS0/IECJTC1/SC29/WG11 的视频译码联合合作小组 (JCT-VC)，第9次会议Switzerland的日内瓦，2012年4月27日到2012年5月7日） 中。另外，HEVC的另一最新工作草案（工作草案9)描述于文件HCTVC-K1003_d7(Br〇ss等 人，"HighEfficiencyVideoCoding(HEVC)TextSpecificationDraft9，，，ITU-TSG16WP3 及ISO/IECJTC1/SC29/WG11的视频译码联合合作小组（JCT-VC)，第11次会议：中国上海， 2012年10月）中。即将到来的HEVC标准还可被称作ISO/IEC23008-HEVC，其意欲为HEVC 的交付版本的标准编号。在一些方面中，本发明中所描述的技术可应用于大体上符合H. 264 及/或即将到来的ffiVC标准的装置。尽管关于H. 264标准及即将到来的HEVC标准描述本 发明的技术，但本发明的技术大体上可适用于任何视频译码标准。
[0047] 视频序列通常包含一系列视频帧，视频帧还被称作图片。编码及/或解码视频序 列的视频应用程序的实例包含本地播放、流式传输、广播、多播及交谈式应用程序。交谈式 应用程序包含视频电话及视频会议，且还被称作低延迟应用程序。交谈式应用程序需要全 部系统的相对较低的端间延迟，即，在第一数字视频装置处俘获视频帧的时间与在第二数 字视频装置处显示所述视频帧的时间之间的延迟。对于交谈式应用程序，通常可接受的端 间延迟应小于400ms，且大约150ms的端间延迟被视为极好的。
[0048] 与处理视频序列相关联的每一步骤可有助于总的端间延迟。与处理视频序列相关 联的延迟的实例包含俘获延迟、预处理延迟、编码延迟、发射延迟、接收缓冲延迟（用于解 除抖动）、解码延迟、经解码图片输出延迟、后处理延迟及显示延迟。与根据特定视频译码标 准译码视频序列相关联的延迟可被称作编解码器延迟，且其可包含编码延迟、解码延迟及 经解码图片输出延迟。在交谈式应用程序中应使编解码器延迟最小化。详细地说，视频序 列的译码结构应确保视频序列中的图片的输出次序与所述视频序列中的图片的解码次序 相同，使得经解码图片输出延迟等于零。视频序列的译码结构部分地指代用以编码视频序 列的图片类型的分配。
[0049] 图片群组（G0P)大体上包括根据显示次序布置的一或多个图片的序列。根据 HEVC，视频编码器可将视频帧或图片划分成一系列大小相等的视频块。视频块可具有明度 分量（表示为Y)及两个色度分量（表示为U及V或Cb及Cr)。此些视频块还可被称作 最大译码单元（LCU)、树型块或译码树型块单元（CTU)。HEVC的LCU可广泛地类似于例如 H. 264/AVC等先前标准的宏块。然而，IXU未必限于特定大小。根据HEVC，位流内的语法数 据可根据水平明度样本及/或垂直明度样本的数目来定义LCU。举例来说，可将LCU定义为 包含64x64或32x32个明度样本。另外，可根据四分树分割方案将LCU分割成多个译码单 元（CU)。大体上，四分树分割指代将CU递归地分裂成四个子CU。与经译码位流相关联的 语法数据可定义可分裂LCU的最大次数，所述最大次数被称作最大CU深度，且所述语法数 据还可定义⑶的最小大小。因此，位流还可定义最小译码单元（S⑶）。举例来说，可将S⑶ 定义为包含8x8明度样本。
[0050] 此外，根据HEVC，视频编码器可将图片分割成多个切片，其中所述切片中的每一者 包含整数数目个IXU。切片可为I切片、P切片或B切片，其中I、P及B定义其它视频块如 何用于预测CU。使用帧内预测模式预测I切片（例如，从相同帧内的视频块预测）。帧内 译码依赖于空间预测以减少或移除给定视频帧或图片内的视频的空间冗余。使用单向帧间 预测模式预测P切片（例如，从先前帧中的视频块预测）。使用双向帧间预测模式预测B切 片（例如，从先前帧及后续帧内的视频块预测）。帧间译码依赖于时间预测以减少或移除视 频序列的邻近巾贞或图片内的视频的时间几余。
[0051] 图1为说明根据预测性视频译码技术译码的视频序列的概念图。如图1中所说明， 视频序列100包含图片PiCi到Pic1(l。在图1的概念图中，图片PiCl到Pic1(l是根据其将显 示的次序而布置及顺序地编号。如下文更详细地描述，显示次序未必对应于解码次序。如 图1中所说明，视频序列100包含6(^及60? 2，其中图片PiCl到？1(：5包含于GOPi中，且图 片Pic6到Pic1(l包含于G0P2中。图1说明将Pic5分割成slice:及slice2，其中slice:及 slice2中的每一者包含根据从左到右从上到下的光栅扫描的连续的IXU。尽管未展示，但 可以类似方式将图1中所说明的其它图片分割成一或多个切片。图1还说明关于G0P2的I 切片、P切片或B切片的概念。与G0P2中的Pic6到Pic1(l中的每一者相关联的箭头基于由 箭头指不的参考图片指不图片包含I切片、P切片还是B切片。在图1中，图片Pi〇6及Pic9 表示包含I切片的图片（S卩，参考所述图片自身），图片Pic7及Pic1(l表示包含P切片的图 片（即，各自参考先前图片），及Pic8表示包含B切片的图片（S卩，参考先前图片及后续图 片）。
[0052] 在HEVC中，视频序列中的每一者：G0P、图片、切片及⑶可与描述视频译码性质的 语法数据相关联。举例来说，切片包含标头，所述标头包含指示所述切片为I切片、P切片 还是B切片的语法元素。另外，HEVC包含参数集概念。参数集为包含允许视频解码器重建 构视频序列的语法元素的语法结构。HEVC利用阶层式参数集机制，其中语法元素基于预期 语法元素改变的频率包含于一种类型的参数集中。ffiVC中的参数集机制将不频繁改变的 信息的发射与经译码块数据的发射解耦。另外，在一些应用程序中，可"带外"输送参数集， 艮口，不与含有经译码视频数据的单元一起运输所述参数集。带外发射通常是可靠的。
[0053] 在HEVCWD7中，使用参数集ID识别特定参数集。在HEVCWD7中，参数集ID为不 带正负号的整数指数哥伦布译码（Exp-Golomb-coded)语法元素，其中从左位开始。HEVC WD7定义以下参数集：
[0054] 视频参数集（VPS) :VPS为含有适用于零或多个全部经译码视频序列的语法元素 的语法结构。即，VPS包含预期对于帧序列保持不变的语法元素（例如，图片次序、参考帧 的数目及图片大小）。使用VPSID识别VPS。序列参数集包含VPSID。
[0055] 序列参数集（SPS)-SPS为包含适用于零或多个全部经译码视频序列的语法元素 的语法结构。即，SPS包含预期对于帧序列保持不变的语法元素（例如，图片次序、参考帧 的数目及图片大小）。使用SPSID识别SPS。图片参数集包含SPSID。
[0056] 图片参数集（PPS)-PPS为包含适用于一或多个图片的语法元素的语法结构。艮P， PPS包含可在一序列内从图片到图片改变的语法元素（例如，熵译码模式、量化参数及位深 度）。使用PPSID识别PPS参数集。切片标头包含PPSID。
[0057]自适应参数集（APS)-APS为包含适用于一或多个图片的语法元素的语法结构。APS包含预期在序列的图片内改变的语法元素（例如，块大小及解块滤波）。使用APSID 识别APS集。切片标头可包含APSID。
[0058]根据HEVCWD7中所定义的参数集类型，每一SPS参考VPSID，每一PPS参考SPS ID，且每一切片标头参考PPSID且可能参考APSID。应注意，在一些状况下，SPS中包含 VPSID及PPS中包含SPSID的线性参考关系可为低效的。举例来说，尽管HEVCWD7中支 持VPS，但序列层级信息参数中的大多数仍仅存在于SPS中。除参数集概念之外，HEVC包含 经译码视频序列及存取单元的概念。根据HEVCWD7,经译码视频序列及存取单元如下来定 乂：
[0059] 经译码视频序列：存取单元的序列，其由按解码次序的以下各者组成：为位流中 的第一存取单元的CRA存取单元、IDR存取单元或BLA存取单元，继的包含至多所有后续存 取单元但不包含任何后续IDR或BLA存取单元的零或多个非IDR及非BLA存取单元[下文 详细描述CRA存取单元、IDR存取单元及BLA存取单元]。
[0060] 存取单元：在解码次序上连续且含有一个经译码图片的NAL单元的集合。除经 译码图片的经译码切片NAL单元之外，存取单元还可含有不含有经译码图片的切片的其它 NAL单元。存取单元的解码始终产生经解码图片。
[0061] NAL单元指代网络抽象层单元。因此，根据HEVC，经译码视频数据的位流包含NAL 单元的序列。存取单元为在解码次序上连续地布置且含有确切一个经译码图片的NAL单元 的集合，且经译码视频序列包含按解码次序布置的存取单元的序列。图2为说明经译码视 频序列的一实例的概念图。图2表示可对应于图1中所说明的G0P2的经译码视频序列200 的一实例。如图2中所说明，经译码视频序列200包含对应于Pic6到Pic1(l中的每一者的 存取单元。经译码视频序列200的存取单元是根据解码次序顺序地布置。应注意，对应于 Pic9的存取单元位于对应于Pic8的存取单元之前。因此，解码次序并不对应于图1中所说 明的显示次序。在此实例中，此情况是归因于Pic8参考Pic9的事实。因此，必须在可解码 Pic8之前解码Pic9。图2说明对应于Pic9的存取单元包含NAL单元：AU定界符NAL单元 202、PPSNAL单元 204、sliceiNAL单元 206 及slice2NAL单元 208。每一NAL单元可包含 识别NAL单元类型的标头。
[0062] HEVC定义两个NAL单元类型类别：经译码切片NAL单元（VCL)及非VCLNAL单元。 经译码切片NAL单元含有视频数据的切片。在图2中所说明的实例中，sliceiNAL单元206 及slice2NAL单元208各自含有视频数据的切片，且为VCLNAL单元的实例。在图2的实例 中，sliceiNAL单元206及slice2NAL单元208中的每一者可为I切片。非VCL包含含有除 了视频数据的切片以外的信息。举例来说，非VCL可含有定界符数据或参数集。在图2中 所说明的实例中，AU定界符NAL单元202包含信息以从对应于Pic7的存取单元来界定对应 于Pic9的存取单元的界限。另外，PPSNAL单元204包含图片参数集。因此，AU定界符NAL 单元202及PPSNAL单元204为非VCLNAL单元的实例。
[0063] HEVC中的非VCLNAL单元的另一实例为补充增强信息（SEI)NAL单元。AVC及HEVC 两者中所支持的SEI机制使得编码器能够将元数据包含于位流中，所述元数据并非正确地 解码输出图片的样本值所需的，但所述元数据可用于各种其它目的，例如图片输出定时、显 示以及损失检测及隐藏。举例来说，SEINAL单元可包含由视频解码器在解码位流时使用 的图片定时消息。图片定时消息可包含指示视频解码器应何时开始解码VCLNAL单元的信 息。编码器可包含存取单元中的任何数目个SEINAL单元，且每一SEINAL单元可含有一 或多个SEI消息。草案HEVC标准包含用于若干SEI消息的语法及语义，但未指定所述SEI 消息的处置，这是因为其不影响基准解码过程。草案ffiVC标准中具有SEI消息的一个原因 为使得能够在使用ffiVC的不同系统中相同地解译补充数据。使用HEVC的规范及系统可能 需要编码器产生某些SEI消息或可定义特定类型的所接收SEI消息的特定处置。表1列出 HEVC中所指定的SEI消息且简略地描述其目的。
[0064]

【权利要求】
1. 一种解码视频数据的方法，所述方法包括： 针对位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL单 元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI 消息的后缀SEI NAL单元；及 基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述 SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。
2. 根据权利要求1所述的方法，其进一步包括在所述SEI NAL单元包括所述后缀SEI NAL单元时，从存取单元AU提取所述后缀SEI NAL单元，所述存取单元AU至少包含在解码 次序上在所述后缀SEI NAL单元之前的所述AU中的第一视频译码层VCL NAL单元。
3. 根据权利要求2所述的方法，其中所述后缀SEI NAL单元在解码次序上在所述AU中 的所有VCL NAL单元之后。
4. 一种用于解码视频数据的装置，所述装置包括处理器，所述处理器经配置以：针对 位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL单元类型值 指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后 缀SEI NAL单元；及基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL 单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。
5. 根据权利要求4所述的装置，其中所述处理器经配置以在所述SEI NAL单元包括所 述后缀SEI NAL单元时，从存取单元AU提取所述后缀SEI NAL单元，所述存取单元AU至少 包含在解码次序上在所述后缀SEI NAL单元之前的所述AU中的第一视频译码层VCLNAL单 J Li 〇
6. 根据权利要求5所述的装置，其中所述后缀SEI NAL单元在解码次序上在所述AU中 的所有VCL NAL单元之后。
7. -种用于解码视频数据的装置，所述装置包括： 用于针对位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL 单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀 SEI消息的后缀SEI NAL单元的装置；及 用于基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所 述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据的装置。
8. 根据权利要求7所述的装置，其进一步包括用于在所述SEI NAL单元包括所述后缀 SEI NAL单元时，从存取单元AU提取所述后缀SEI NAL单元的装置，所述存取单元AU至少 包含在解码次序上在所述后缀SEI NAL单元之前的所述AU中的第一视频译码层VCLNAL单 J Li 〇
9. 根据权利要求8所述的装置，其中所述后缀SEI NAL单元在解码次序上在所述AU中 的所有VCL NAL单元之后。
10. -种具有存储于其上的指令的计算机可读存储媒体，所述指令在经执行时使得处 理器进行以下操作： 针对位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL单 元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI 消息的后缀SEI NAL单元；及 基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述 SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。
11. 根据权利要求10所述的计算机可读存储媒体，其进一步包括使得所述处理器在所 述SEI NAL单元包括所述后缀SEI NAL单元时，从存取单元AU提取所述后缀SEI NAL单元 的指令，所述存取单元AU至少包含在解码次序上在所述后缀SEI NAL单元之前的所述AU 中的第一视频译码层VCL NAL单元。
12. 根据权利要求11所述的计算机可读存储媒体，其中所述后缀SEI NAL单元在解码 次序上在所述AU中的所有VCL NAL单元之后。
13. -种产生包含视频数据的位流的方法，所述方法包括： 确定补充增强信息SEI消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包 含与经编码视频数据有关的数据； 将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值， 所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元， 及所述SEI消息为前缀SEI消息还是后缀SEI消息；及 产生至少包含所述SEI NAL单元的位流。
14. 根据权利要求13所述的方法，其中产生所述经编码位流包括将所述SEI NAL单元 封装于存取单元AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为后缀SEI NAL 单元时，所述SEI NAL单元在解码次序上在所述AU中的第一视频译码层VCL NAL单元之后。
15. 根据权利要求14所述的方法，其中产生所述位流进一步包括将所述SEI NAL单元 封装于所述AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为所述后缀SEI NAL 单元时，所述SEI NAL单元在解码次序上进一步接在所述AU中的最后VCLNAL单元之后。
16. -种用于产生包含视频数据的位流的装置，所述装置包括处理器，所述处理器经配 置以：确定补充增强信息SEI消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息 包含与经编码视频数据有关的数据；将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值，所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL 单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及产生至 少包含所述SEI NAL单元的位流。
17. 根据权利要求16所述的装置，其中所述处理器经配置以将所述SEI NAL单元封装 于存取单元AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为后缀SEI NAL单元 时，所述SEI NAL单元在解码次序上在所述AU中的第一视频译码层VCL NAL单元之后。
18. 根据权利要求17所述的装置，其中所述处理器经配置以将所述SEI NAL单元封装 于所述AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为所述后缀SEI NAL单元 时，所述SEI NAL单元在解码次序上进一步接在所述AU中的最后VCL NAL单元之后。
19. 一种用于产生包含视频数据的位流的装置，所述装置包括： 用于确定补充增强信息SEI消息为前缀SEI消息还是后缀SEI消息的装置，其中所述 SEI消息包含与经编码视频数据有关的数据； 用于将所述SEI消息封装于SEI NAL单元中的装置，其中所述SEI NAL单元包含NAL 单元类型值，所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及 用于产生至少包含所述SEI NAL单元的位流的装置。
20. 根据权利要求19所述的装置，其中所述用于产生所述位流的装置包括用于将所述 SEI NAL单元封装于存取单元AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为 后缀SEI NAL单元时，所述SEI NAL单元在解码次序上在所述AU中的第一视频译码层VCL NAL单元之后的装置。
21. 根据权利要求20所述的装置，其中所述用于产生所述位流的装置进一步包括用于 将所述SEI NAL单元封装于所述AU中，使得当所述NAL单元类型值指示所述SEI NAL单元 为所述后缀SEI NAL单元时，所述SEI NAL单元在解码次序上进一步接在所述AU中的最后 VCL NAL单元之后的装置。
22. -种具有存储于其上的指令的计算机可读存储媒体，所述指令在经执行时使得处 理器进行以下操作： 确定补充增强信息SEI消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包 含与经编码视频数据有关的数据； 将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值， 所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元， 及所述SEI消息为前缀SEI消息还是后缀SEI消息；及 产生至少包含所述SEI NAL单元的位流。
23. 根据权利要求22所述的计算机可读存储媒体，其中所述使得所述处理器产生所述 位流的指令包括使得所述处理器将所述SEI NAL单元封装于存取单元AU中，使得当所述 NAL单元类型值指示所述SEI NAL单元为后缀SEI NAL单元时，所述SEI NAL单元在解码次 序上在所述AU中的第一视频译码层VCL NAL单元之后的指令。
24. 根据权利要求23所述的计算机可读存储媒体，其中所述使得所述处理器产生所述 位流的指令进一步包括使得所述处理器将所述SEI NAL单元封装于所述AU中，使得当所述 NAL单元类型值指示所述SEI NAL单元为所述后缀SEI NAL单元时，所述SEI NAL单元在解 码次序上进一步接在所述AU中的最后VCL NAL单元之后的指令。
【文档编号】H04N19/573GK104412600SQ201380036313
【公开日】2015年3月11日 申请日期:2013年7月8日 优先权日:2012年7月10日
【发明者】王益魁 申请人:高通股份有限公司