针对编码标准可扩展性的层间参考图片处理的利记博彩app
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2012年9月27日提交的美国临时专利申请No. 61/706, 480的优先权， 其全文内容通过引用并入于此。
技术领域
[0003] 本发明总体上涉及图像。更特别地，本发明实施例涉及针对编码标准可扩展性 (coding-standard scalability)的层间参考图片处理。
【背景技术】
[0004] 在多媒体内容的开发、存储、分发和消费中，音频和视频压缩是关键要素。压缩方 法的选择涉及编码效率、编码复杂度和延时当中的权衡。随着处理能力对计算成本的比率 增大，允许开发考虑到了更高效的压缩的更复杂的压缩技术。例如，在视频压缩中，国际 标准化组织（ISO)的运动图像专家组（MPEG)通过发布MPEG-2、MPEG-4(第2部分）以及 H. 264/AVC(或MPEG-4,第10部分）编码标准来持续改进原始的MPEG-1视频标准。
[0005] 尽管H. 264的压缩效率和成功，现在仍在开发被称为高效率视频编码（HEVC)的 新一代的视频压缩技术。期望ffiVC提供比现有的H. 264 (也称为AVC)标准有所提高的压 缩能力，HEVC 的草案可见于"High efficiency video coding(HEVC)text specification draft 8"，ITU-T/ISO/IEC 视频编码联合组（JCT-VC)文件 JCTVC-J1003, 2012 年 7 月， B. Bross、W. -J. Han、G. J. Sullivan、J. -R. Ohm 和 T. Wiegand，其全文内容通过引用并入于 此，H. 264公布为"Advanced Video Coding for neneric audio-visual services", ITU T Rec.H. 264 and ISO/IEC 14496-10,其全文内容通过引用并入于此。在此如本发明人所认 识到的，预计在今后几年H. 264将仍然是全世界用于分发数字视频的主流视频编码标准。 还认识到，较新的标准比如HEVC应当允许后向兼容现有的标准。
[0006] 如在此所使用的，术语"编码标准"表示可都为基于标准的、开源的或专有的压缩 (编码）和解压（解码）算法，诸如MPEG标准、windows媒体视频（WMV)、flash视频、VP8 等。
[0007] 在这部分中描述的方法是可以实行的方法，但是不一定是先前已经构思或实行的 方法。所以，除非另有表明，否则不应当认为在这部分中描述的任何方法仅仅由于包括在这 个部分中就被当作现有技术。类似地，关于一种或多种方法而发现的问题也不应当认为根 据该部分而已在任何现有技术认识到，除非另有表明。
【附图说明】
[0008] 在附图中，以示例的方式而非限制的方式来例示本发明的实施例，并且其中相同 的附图标记指代相同的要素，其中：
[0009] 图1描绘了根据本发明实施例的支持编码标准可扩展性的编码系统的示例性实 现；
[0010] 图2A和图2B描绘了根据本发明实施例的支持AVC/H. 264和HEVC编解码器可扩 展性的编码系统的示例性实现；
[0011] 图3描绘了根据本发明实施例的带有裁切窗口的分层编码的示例；
[0012] 图4描绘了根据本发明实施例的针对隔行图片的层间处理的示例；
[0013] 图5A和图5B描绘了根据本发明实施例的支持编码标准可扩展性的层间处理的示 例；
[0014] 图6描绘了根据本发明实施例的针对信号编码模型可扩展性的RPU处理的示例；
[0015] 图7描绘了根据本发明实施例的示例性编码过程；
[0016] 图8描绘了根据本发明实施例的示例性解码过程；并且
[0017] 图9描绘了根据本发明实施例的示例性解码RPU过程。
【具体实施方式】
[0018] 在此描述针对编码标准可扩展性的层间参考图片处理。给定了由符合第一编码标 准（如H.264)的基本层（base layer，BL)编码器编码的基本层信号，参考处理单元（RPU) 过程根据基本层以及一个或多个增强层（enhancement layer，EL)中的输入信号的特性来 产生参考图片和RPU参数。这些层间参考帧可以由符合第二编码标准（如HEVC)的增强层 编码器使用，以压缩（编码）一个或多个增强层的信号，并且将其与基本层结合以形成可扩 展的比特流。在接收器中，在用符合第一编码标准的BL解码器对BL流进行解码后，解码器 可以应用收到的RPU参数从解码后的BL流产生层间参考帧。这些参考帧可以由符合第 二编码标准的EL解码器用来对编码的EL流进行解码。
[0019] 在以下描述中，出于讲解的目的，阐述了众多具体细节以便提供对本发明的全面 理解。不过显而易见，可以在没有这些具体细节的情况下实践本发明。在其他示例中，没有 详尽地描述熟知的结构和设备，以免不必要地使本发明模糊不清。
[0020] 综述
[0021] 在此描述的示例性实施例涉及针对编码标准可扩展性的层间参考图片处理。在一 个实施例中，视频数据被编码成编码标准分层比特流。给定了基本层（BL)和增强层（EL) 信号，使用符合第一编码标准的BL编码器把BL信号编码为BL流。响应于BL信号和EL信 号，参考处理单元（RPU)确定RPU处理参数。响应于RPU处理参数和BL信号，RPU产生层 间参考信号。通过使用符合第二编码标准的EL编码器，EL信号被编码成经编码的EL流， 其中对EL信号的编码至少部分地基于层间参考信号。
[0022] 在另一个实施例中，接收器对收到的可扩展比特流进行解复用（demultiplex)以 产生经编码的BL流、经编码的EL流和RPU数据流。符合第一编码标准的BL解码器对经编 码的BL流进行解码以产生经解码的BL信号。具有RPU的接收器也可以对RPU数据流进行 解码以确定RPU处理参数。响应于RPU处理参数和BL信号，RPU可以产生层间参考信号。 符合第二编码标准的EL解码器可以对经编码的EL流进行解码以产生经解码的EL信号，其 中对经编码的EL流的解码至少部分地基于层间参考信号。
[0023] 基于分层的编码标准可扩展性
[0024] 诸如MPEG-2、MPEG-4(第2部分）、H. 264、flash等之类的压缩标准正在全世界范 围内使用，用于通过诸如DVD盘或蓝光盘之类的各种介质传递数字内容，或者用于在空中、 电缆或宽带上进行广播。由于开发出了诸如ffiVC之类的新视频编码标准，如果它们支持与 现有标准的某种向后兼容，则新标准的采用可能增加。
[0025] 图1描绘了支持编码标准可扩展性的系统的示例性实现的实施例。编码器包括基 本层（BL)编码器（110)和增强层（EL)编码器（120)。在实施例中，BL编码器110是传统 编码器，诸如MPEG-2或H. 264编码器，而EL编码器120是新标准编码器，诸如HEVC编码器。 但是，本系统可应用于已知或未来编码器的任何组合，无论它们是基于标准的还是专有的。 本系统还可以扩展为支持两种以上的编码标准或算法。
[0026] 根据图1，输入信号可以包括两个或更多个信号，例如基本层（BL)信号102以及一 个或更多个增强层（EL)信号（如EL 104)。用BL编码器110压缩（或编码）信号BL 102 以产生经编码的BL流112。由EL编码器120压缩信号EL 104以产生经编码的EL流122。 对这两种流进行多路复用（如通过MUX 125)以产生经编码的可扩展比特流127。在接收器 中，解复用器OEMUX 130)可以分离这两种经编码的比特流。传统解码器（例如BL解码器 140)只能对基本层132进行解码以产生BL输出信号142。但是，支持新编码方法的解码器 (EL解码器120)还可以对由经编码的EL流134提供的附加信息进行解码，以产生EL输出 信号144。BL解码器140 (如MPEG-2或H. 264解码器）对应于BL编码器110。EL解码器 150 (如HEVC解码器）对应于EL编码器120。
[0027] 与同时联播系统相比，这种可扩展系统可以通过适当地探索层间预测，即通过考 虑来自更低层（如102)的可用信息来对增强层信号（如104)进行编码，来提高编码效率。 由于BL编码器和EL编码器符合不同的编码标准，所以在实施例中，可以通过单独的处理单 元，即编码参考处理单元（RPU) 115,来实现编码标准可扩展性。
[0028] RPU 115可以被认为是A. Tourapis等人在2010年6月30日提交并且公布为WO 2011/005624 的 PCT 申请 PCT/US2010/040545"Encoding and decoding architecture for format compatible 3D video delivery〃中描述的RPC设计的扩展，其全文内容通过引入 并入于此。除非另有相反的指定，否则以下对RPU的描述对编码器的RPU和解码器的RPU都 适用。涉及视频编码的领域中的普通技术人员在阅读了本公开后将理解差异，并且将能够 在编码专用、解码专用以及一般的RPU描述、功能和过程之间进行区分。在图1中所描绘的 视频编码系统的背景内，（RPU) 115根据对不同的RPU滤波器和过程进行选择的一组规则， 基于来自BL编码器110的解码图像来产生层间参考帧。
[0029] RPU 115使处理能够在区域级别上自适应，其中根据图片/序列的每个区域的特 性来处理该区域。RPU 115可以使用水平、垂直或二维（2D)的滤波器、边缘自适应或基于频 率的依赖区域的滤波器，以及/或者像素复制滤波器或者其他方法或装置来进行隔行、去 隔行、滤波、上采样和其他图像处理。
[0030] 编码器可以选择RPU过程并输出区域处理信号，所述区域处理信号作为输入数据 被提供给解码器RPU(如135)。信令（如117)可以逐区域地指定处理方法。例如，与诸如 数量、尺寸、形状和其他特性之类的区域属性有关的参数可以在RPU数据有关的数据头中 指定。某些滤波器可以包括固定的滤波器系数，在这种情况下滤波器系数不需要由RPU显 式地发信号告知。其他处理模式可以包括显式模式，其中诸如系数值之类的处理参数被显 式地发信号告知。也可以按照每个颜色分量来指定RPU过程。
[0031] RI^