一种设备能力协商的方法和装置制造方法
【专利摘要】本发明公开了一种设备能力协商的方法，包括：第一设备接收第二设备发送的多层视频数据请求；第一设备向第二设备发送应答信息，应答信息包括以下信息的至少之一：解码多层视频码流所需的解码能力信息、解码多层视频码流中各层所需的解码能力信息、解码多层视频码流中不同输出层组合所需的解码能力信息。本发明还公开了一种设备能力协商的装置。
【专利说明】一种设备能力协间的方法和装置
【技术领域】
[0001] 本发明涉及视频编解码【技术领域】，尤其涉及一种设备能力协商的方法和装置。
【背景技术】
[0002] 正在制定的基于高性能视频编码（H. 265/High Efficiency Video Coding, HEVC)标准兼容的三维视频（Three-Dimensional Video,3DV)编码标准 MV-HEVC(HEVC Multi-view video coding extension framework)和可伸缩视频编码（Scalable high-efficiency video coding, SHVC)中，采用了统一的高层结构设计。这个统一的设计 结构基于"多层视频编码"的概念，将MV-HEVC的不同视点和可伸缩编码的不同可伸缩层均 抽象为"层（Layer)"，并使用层标识序号（Layerld)来标识不同的视点和可伸缩层。
[0003] 在多层视频编码标准草案中，使用档次（Profile)、等级（Tier)、级别（Level)来表 示解码码流所需的解码器资源需求，即（P，T，L)。同时，在会话建立过程中，解码器可以使 用（P，T，L)来说明其自身的最大解码能力。当解码器的最大解码能力满足解码码流所需 的解码器资源需求时，解码器可正确解码码流。在目前的多层视频编码标准草案中，声明解 码整个多层视频编码码流所需的累积资源对应的（P，T，L)要求，声明解码各层所需资源对 应的（P，T，L)要求。其中，累积资源需求对应的（P，T，L)的标识索引值可以与H. 265/HEVC 基本层（即不包含扩展标准的H. 265/HEVC Versionl标准）的（P，T，L)标识索引值相同， 但对应的具体参数值不同。例如，在H. 265/HEVC Versionl标准中，Main档次下Level标 识序号为3. 1时对应的MaxLumaPs参数值是983040 ;在SHVC标准扩展中，Scalable Main 档次下累积资源需求的Level标识序号为3. 1时对应的MaxLumaPs参数值是2 X 983040 = 1966080。而解码各层所需资源对应的（P，T，L)的标识索引值对应的参数值与H. 265/HEVC Versionl标准相同。
[0004] 在JCT-VC标准组织的技术提案JCTVC-R0043中，指出了使用上述方法在码流中标 识解码能力的缺陷，并提出在上述信息之外，对多层视频编码码流的可能或需要使用的不 同输出层的组合（即Partition)，进一步分别标识其对解码器解码资源的需求。这样，两种 不同的解码器（使用现有H. 265/HEVC Versionl解码器实现的多层视频编码解码器和直接 实现的多层视频编码解码器）均可判断是否能够正确解码码流。
[0005] 现有方法虽然能够充分地标识解码多层视频编码码流所需的解码器能力，但在通 信会话建立之初，终端解码器没有任何关于其即将接收的多层视频编码码流信息，因此，无 法直接提供所需的输出层信息供服务器端判断和选择所发送的码流。如果在此之前服务器 将其码流的详细信息发送给终端、再由终端进行选择，则其会话建立过程中需要多次往复 应答，效率较低，时间延迟较大。并且，在网络通信状况发生变化时，如网络传输速率由低变 高，为充分利用网络资源获得最佳用户体验质量，服务器需要重新发送码流的详细信息，终 端选择当前条件下最佳的输出层组合并反馈服务器请求码流。这样往复多次的会话过程增 加了网络负担，占用终端处理资源。
【发明内容】
[0006] 为解决现有存在的技术问题，本发明期望提供一种设备能力协商的方法和装置。
[0007] 本发明提供了一种设备能力协商的方法，所述方法包括：
[0008] 第一设备接收第二设备发送的多层视频数据请求；
[0009] 所述第一设备向第二设备发送应答信息，所述应答信息包括以下信息的至少之 一：解码多层视频码流所需的解码能力信息、解码多层视频码流中各层所需的解码能力信 息、解码多层视频码流中不同输出层组合所需的解码能力信息。
[0010] 其中，所述第二设备发送的多层视频数据请求中包括所述第二设备的解码能力信 息；
[0011] 所述第二设备的解码能力信息包括：所述第二设备所具有的解码多层视频码流的 能力信息、和/或所述第二设备所具有的解码基本层视频码流的能力信息。
[0012] 其中，所述应答信息放置在以下一个或多个位置上发送给所述第二设备：
[0013] 会话协商协议的数据载荷；参数集Parameter Set ;补充增强信息SEI ;多层视频 码流；系统层信息单元；自定义数据信息单元；外部信息单元。
[0014] 其中，所述解码能力信息为多层视频编码标准中档次Profile、等级Tier、级别 Level参数限定的解码器处理能力指标。
[0015] 其中，所述解码器处理能力指标包括：图像包含亮度采样点的最大数量，编码图像 缓冲区CPB的最大容量，图像可划分的分片划分Slice segment的最大数量，图像可划分的 瓦片Tile的最大行数，图像可划分的瓦片的最大列数，亮度分量的最大采样率，最大码率， 最大压缩比。
[0016] 本发明还提供了一种设备能力协商的方法，所述方法包括：
[0017] 第二设备向第一设备发送多层视频数据请求，所述请求中包括：所述第二设备所 具有的解码多层视频码流的能力信息、和/或所述第二设备所具有的解码基本层视频码流 的能力信息；
[0018] 所述第二设备接收所述第一设备发送的应答信息。
[0019] 其中，所述应答信息包括以下信息的至少之一：解码多层视频码流所需的解码能 力信息、解码多层视频码流中各层所需的解码能力信息、解码多层视频码流中不同输出层 组合所需的解码能力信息。
[0020] 其中，应答信息位于以下一个或多个位置上发送给所述第二设备：
[0021] 会话协商协议的数据载荷；参数集Parameter Set ;补充增强信息SEI ;多层视频 码流；系统层信息单元；自定义数据信息单元；外部信息单元。
[0022] 本发明还提供了一种设备能力协商的装置，所述装置应用于第一设备，所述装置 包括：
[0023] 请求接收单元，用于接收第二设备发送的多层视频数据请求；
[0024] 应答发送单元，用于向第二设备发送应答信息，所述应答信息包括以下信息的至 少之一：解码多层视频码流所需的解码能力信息、解码多层视频码流中各层所需的解码能 力信息、解码多层视频码流中不同输出层组合所需的解码能力信息。
[0025] 其中，所述第二设备发送的多层视频数据请求中包括所述第二设备的解码能力信 息；所述第二设备的解码能力信息包括：所述第二设备所具有的解码多层视频码流的能力 信息、和/或所述第二设备所具有的解码基本层视频码流的能力信息。
[0026] 其中，应答发送单元进一步用于，将所述应答信息放置在以下一个或多个位置上 发送给所述第二设备：
[0027] 会话协商协议的数据载荷；参数集Parameter Set ;补充增强信息SEI ;多层视频 码流；系统层信息单元；自定义数据信息单元；外部信息单元。
[0028] 其中，所述解码能力信息为多层视频编码标准中档次Profile、等级Tier、级别 Level参数限定的解码器处理能力指标。
[0029] 其中，所述解码器处理能力指标包括：图像包含亮度采样点的最大数量，编码图像 缓冲区CPB的最大容量，图像可划分的分片划分Slice segment的最大数量，图像可划分的 瓦片Tile的最大行数，图像可划分的瓦片的最大列数，亮度分量的最大采样率，最大码率， 最大压缩比。
[0030] 本发明还提供了一种设备能力协商的装置，所述装置应用于第二设备，所述装置 包括：
[0031] 请求发送单元，用于向第一设备发送多层视频数据请求，所述请求中包括：所述第 二设备所具有的解码多层视频码流的能力信息、和/或所述第二设备所具有的解码基本层 视频码流的能力信息；
[0032] 应答接收单元，用于接收所述第一设备发送的应答信息。
[0033] 其中，所述应答信息包括以下信息的至少之一：解码多层视频码流所需的解码能 力信息、解码多层视频码流中各层所需的解码能力信息、解码多层视频码流中不同输出层 组合所需的解码能力信息。
[0034] 其中，所述第一设备发送的应答信息位于以下一个或多个位置上：
[0035] 会话协商协议的数据载荷；参数集Parameter Set ;补充增强信息SEI ;多层视频 码流；系统层信息单元；自定义数据信息单元；外部信息单元。
[0036] 本发明所提供的一种设备能力协商的方法和装置，在第二设备向第一设备发送多 层视频数据请求时，将所述第二设备的解码能力信息告知第一设备；第一设备向第二设备 发送应答时，解码多层视频码流所需的解码能力信息、和/或解码多层视频码流中各层所 需的解码能力信息、和/或解码多层视频码流中不同输出层组合所需的解码能力信息告知 第二设备。通过以上方式完成设备能力的协商，使得会话建立过程中无需多次往复应答，提 高了能力协商的效率，降低了时延，减轻了网络负担，优化了设备处理资源。
【专利附图】
【附图说明】
[0037] 图1为本发明实施例一的设备能力协商的方法流程图；
[0038] 图2为本发明实施例二的设备能力协商的方法流程图；
[0039] 图3为本发明实施例三的设备能力协商的装置结构示意图；
[0040] 图4为本发明实施例四的设备能力协商的装置结构示意图。
【具体实施方式】
[0041] 下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
[0042] 实施例一
[0043] 本发明实施例一提供的一种设备能力协商的方法，如图1所示，该方法包括：
[0044] 步骤101，第一设备接收第二设备发送的多层视频数据请求。
[0045] 较佳的，所述第二设备发送的多层视频数据请求中包括第二设备的解码能力信 息；第二设备的解码能力信息包括：第二设备所具有的解码多层视频码流的能力信息、和/ 或第二设备所具有的解码基本层视频码流的能力信息。其中，所述基本层码流是指HEVC Versionl的码流。
[0046] 步骤102,第一设备向第二设备发送应答信息，所述应答信息包括以下信息的至少 之一：解码多层视频码流所需的解码能力信息、解码多层视频码流中各层所需的解码能力 信息、解码多层视频码流中不同输出层组合所需的解码能力信息。
[0047] 较佳的，应答信息放置在以下一个或多个位置上发送给所述第二设备：
[0048] 会话协商协议的数据载荷；参数集（Parameter Set);补充增强信息 (Supplemental Enhancement Information，SEI);多层视频码流；系统层信息单元；自定义 数据信息单元；外部信息单元。
[0049] 也就是说，第一设备可以将解码多层视频码流所需的解码能力信息、和/或解码 多层视频码流中各层所需的解码能力信息、和/或解码多层视频码流中不同输出层组合所 需的解码能力信息，放置在会话协商协议的数据载荷中发送给第二设备；
[0050] 第一设备也可以将解码多层视频码流所需的解码能力信息、和/或解码多层视频 码流中各层所需的解码能力信息、和/或解码多层视频码流中不同输出层组合所需的解码 能力信息，放置在多层视频编码标准的参数集（Parameter Set)单元中发送给第二设备；
[0051] 第一设备也可以将解码多层视频码流所需的解码能力信息、和/或解码多层视频 码流中各层所需的解码能力信息、和/或解码多层视频码流中不同输出层组合所需的解码 能力信息，放置在多层视频编码标准的补充增强信息（SEI)单元中发送给第二设备；
[0052] 第一设备还可以将包含解码多层视频码流所需的解码能力信息、和/或解码多层 视频码流中各层所需的解码能力信息、和/或解码多层视频码流中不同输出层组合所需的 解码能力信息的多层视频码流发送给第二设备；
[0053] 第一设备还可以将解码多层视频码流所需的解码能力信息、和/或解码多层视频 码流中各层所需的解码能力信息、和/或解码多层视频码流中不同输出层组合所需的解码 能力信息，放置在对应的系统层信息单元、和/或自定义数据信息单元、和/或外部信息单 元中发送给第二设备。
[0054] 当然，第一设备也可以采用以上任意组合的方式，来向第二设备发送解码多层视 频码流所需的解码能力信息、和/或解码多层视频码流中各层所需的解码能力信息、和/或 解码多层视频码流中不同输出层组合所需的解码能力信息。
[0055] 具体的，解码能力信息可以为多层视频编码标准中档次（Profile)、等级（Tier)、 级别（Level)参数限定的解码器处理能力指标。
[0056] 解码器处理能力指标包括但不限于：图像包含亮度采样点的最大数量，编码图像 缓冲区（CPB)的最大容量，图像可划分的分片划分（Slice segment)的最大数量，图像可划 分的瓦片（Tile)的最大行数，图像可划分的瓦片的最大列数，亮度分量的最大采样率，最 大码率,最大压缩比。
[0057] 以上实施例一所述的设备能力协商的方法，应用于第一设备，所述第一设备可以 向第二设备发送多层视频编码码流。
[0058] 实施例二
[0059] 本发明实施例二提供的一种设备能力协商的方法，如图2所示，该方法包括：
[0060] 步骤201，第二设备向第一设备发送多层视频数据请求，所述请求中包括：第二设 备所具有的解码多层视频码流的能力信息、和/或第二设备所具有的解码基本层视频码流 的能力信息。
[0061] 步骤202,第二设备接收第一设备发送的应答信息。
[0062] 具体的，应答信息包括以下信息的至少之一：解码多层视频码流所需的解码能力 信息、解码多层视频码流中各层所需的解码能力信息、解码多层视频码流中不同输出层组 合所需的解码能力信息。
[0063] 较佳的，应答信息可以位于以下一个或多个位置上发送给第二设备：
[0064] 会话协商协议的数据载荷；参数集（Parameter Set) ;SEI单元；多层视频码流；系 统层信息单元；自定义数据信息单元；外部信息单元。
[0065] 以上实施例二所述的设备能力协商的方法，应用于第二设备，所述第二设备可以 接收多层视频编码码流。
[0066] 实施例三
[0067] 对应实施例一所述设备能力协商的方法，本发明的实施例三提供了一种第一设 备，如图3所示，该设备包括 ：
[0068] 请求接收单元10,用于接收第二设备发送的多层视频数据请求；
[0069] 应答发送单元20,用于向第二设备发送应答信息，应答信息包括以下信息的至少 之一：解码多层视频码流所需的解码能力信息、解码多层视频码流中各层所需的解码能力 信息、解码多层视频码流中不同输出层组合所需的解码能力信息。
[0070] 其中，第二设备发送的多层视频数据请求中包括第二设备的解码能力信息；所述 第二设备的解码能力信息包括：第二设备所具有的解码多层视频码流的能力信息、和/或 第二设备所具有的解码基本层视频码流的能力信息。
[0071] 较佳的，应答发送单元20进一步用于，将应答信息放置在以下一个或多个位置上 发送给第二设备：
[0072] 会话协商协议的数据载荷；参数集（Parameter Set) ;SEI单元；多层视频码流；系 统层信息单元；自定义数据信息单元；外部信息单元。
[0073] 其中，解码能力信息为多层视频编码标准中Profile、Tier、Level参数限定的解码 器处理能力指标。
[0074] 解码器处理能力指标包括：图像包含亮度采样点的最大数量，编码图像缓冲区 (CPB)的最大容量，图像可划分的分片划分（Slice segment)的最大数量，图像可划分的瓦 片（Tile)的最大行数，图像可划分的瓦片的最大列数，亮度分量的最大采样率，最大码率， 最大压缩比。
[0075] 本发明实施例还提供了一种包含上述实施例三所述设备能力协商的装置的第 一设备，上述请求接收单元10和应答发送单元20可由第一设备的通信功能芯片结合中 央处理器（CPU，Central Processing Unit)、微处理器（MPU，Microprocessing Unit)、 数字信号处理器（DSP，Digital Signal Processor)或可编程逻辑阵列（FPGA，Field - Programmable Gate Array)共同实现。
[0076] 实施例四
[0077] 对应实施例二所述设备能力协商的方法，本发明的实施例四提供了一种第二设 备，如图4所示，该设备包括 ：
[0078] 请求发送单元30,用于向第一设备发送多层视频数据请求，请求中包括：第二设 备所具有的解码多层视频码流的能力信息、和/或第二设备所具有的解码基本层视频码流 的能力信息；
[0079] 应答接收单元40,用于接收第一设备发送的应答信息。
[0080] 其中，应答信息可以包括以下信息的至少之一：解码多层视频码流所需的解码能 力信息、解码多层视频码流中各层所需的解码能力信息、解码多层视频码流中不同输出层 组合所需的解码能力信息。
[0081] 较佳的，第一设备发送的应答信息可以位于以下一个或多个位置上：会话协商协 议的数据载荷；参数集（Parameter Set) ;SEI单元；多层视频码流；系统层信息单元；自定 义数据信息单元；外部信息单元。
[0082] 本发明实施例还提供了一种包含上述实施例四所述设备能力协商的装置的第二 设备，上述请求发送单元30和应答接收单元40可由第二设备的通信功能芯片结合CPU、 MPU、DSP或FPGA共同实现。
[0083] 需要说明的是，本发明实施例的设备能力协商的方法可以适用于终端与服务器之 间，也就是说，本发明实施例的设备能力协商方法可以是指，一台终端向服务器请求多层视 频码流过程中，该终端与服务器之间进行能力协商的方法；所述第一设备为服务器，第二设 备为终端。
[0084] 本发明实施例的设备能力协商的方法可以适用于两台终端之间，也就是说，本发 明实施例的设备能力协商方法可以是指，一台终端向另一台终端请求多层视频码流过程 中，这两台终端之间进行能力协商的方法；所述第一设备为所述的一台终端，第二设备为所 述的另一台终端。
[0085] 本发明实施例中的第二设备可使用前述实施例中第二设备请求数据的方法，向第 一设备请求多层视频编码码流和/或传输流和/或媒体文件。本发明实施例中的第二设备 可以是视频通信应用中的码流接收播放设备，例如：手机、计算机、服务器、机顶盒、便携式 移动终端、数字摄像机、电视广播系统设备等。
[0086] 本发明实施例中的第一设备可使用前述实施例中第一设备发送应答信息的方法， 向第二设备发送包含有解码多层视频码流所需的解码能力信息、和/或解码多层视频码流 中各层所需的解码能力信息、和/或解码多层视频码流中不同输出层组合所需的解码能力 信息的应答。本发明实施例中的第一设备可以是视频通信应用中的相关码流生成和/或发 送设备，例如：手机、计算机、服务器、机顶盒、便携式移动终端、数字摄像机、电视广播系统 设备等。
[0087] 实施例五
[0088] 本实施例五提供一个终端向服务器请求多层视频码流过程中，与服务器进行能力 协商的方法。本实施例以MV-HEVC码流为例进行说明，SHVC码流处理方式与此类同。
[0089] 在服务器上，存在有3层的MV-HEVC码流，分别是L0、L1和L2。服务器可以根据 需求对4层MV-HEVC码流进行码流提取和编辑操作，解码不同输出层的组合对应的码流所 需解码能力如下表1所示：
[0090]
【权利要求】
1. 一种设备能力协商的方法，其特征在于，所述方法包括： 第一设备接收第二设备发送的多层视频数据请求； 所述第一设备向第二设备发送应答信息，所述应答信息包括以下信息的至少之一：解 码多层视频码流所需的解码能力信息、解码多层视频码流中各层所需的解码能力信息、解 码多层视频码流中不同输出层组合所需的解码能力信息。
2. 根据权利要求1所述设备能力协商的方法，其特征在于，所述第二设备发送的多层 视频数据请求中包括所述第二设备的解码能力信息； 所述第二设备的解码能力信息包括：所述第二设备所具有的解码多层视频码流的能力 信息、和/或所述第二设备所具有的解码基本层视频码流的能力信息。
3. 根据权利要求1所述设备能力协商的方法，其特征在于，所述应答信息放置在以下 一个或多个位置上发送给所述第二设备： 会话协商协议的数据载荷；参数集Parameter Set ;补充增强信息SEI ;多层视频码流； 系统层信息单元；自定义数据信息单元；外部信息单元。
4. 根据权利要求1、2或3所述设备能力协商的方法，其特征在于，所述解码能力信息为 多层视频编码标准中档次Profile、等级Tier、级别Level参数限定的解码器处理能力指标。
5. 根据权利要求4所述设备能力协商的方法，其特征在于，所述解码器处理能力指标 包括：图像包含亮度采样点的最大数量，编码图像缓冲区CPB的最大容量，图像可划分的分 片划分Slice segment的最大数量，图像可划分的瓦片Tile的最大行数，图像可划分的瓦 片的最大列数，亮度分量的最大采样率，最大码率，最大压缩比。
6. -种设备能力协商的方法，其特征在于，所述方法包括： 第二设备向第一设备发送多层视频数据请求，所述请求中包括：所述第二设备所具有 的解码多层视频码流的能力信息、和/或所述第二设备所具有的解码基本层视频码流的能 力信息； 所述第二设备接收所述第一设备发送的应答信息。
7. 根据权利要求6所述设备能力协商的方法，其特征在于，所述应答信息包括以下信 息的至少之一：解码多层视频码流所需的解码能力信息、解码多层视频码流中各层所需的 解码能力信息、解码多层视频码流中不同输出层组合所需的解码能力信息。
8. 根据权利要求7所述设备能力协商的方法，其特征在于，应答信息位于以下一个或 多个位置上发送给所述第二设备： 会话协商协议的数据载荷；参数集Parameter Set ;补充增强信息SEI ;多层视频码流； 系统层信息单元；自定义数据信息单元；外部信息单元。
9. 一种设备能力协商的装置，其特征在于，所述装置应用于第一设备，所述装置包括： 请求接收单元，用于接收第二设备发送的多层视频数据请求； 应答发送单元，用于向第二设备发送应答信息，所述应答信息包括以下信息的至少之 一：解码多层视频码流所需的解码能力信息、解码多层视频码流中各层所需的解码能力信 息、解码多层视频码流中不同输出层组合所需的解码能力信息。
10. 根据权利要求9所述设备能力协商的装置，其特征在于，所述第二设备发送的多层 视频数据请求中包括所述第二设备的解码能力信息；所述第二设备的解码能力信息包括： 所述第二设备所具有的解码多层视频码流的能力信息、和/或所述第二设备所具有的解码 基本层视频码流的能力信息。
11. 根据权利要求9所述设备能力协商的装置，其特征在于，应答发送单元进一步用 于，将所述应答信息放置在以下一个或多个位置上发送给所述第二设备： 会话协商协议的数据载荷；参数集Parameter Set ;补充增强信息SEI ;多层视频码流； 系统层信息单元；自定义数据信息单元；外部信息单元。
12. 根据权利要求9、10或11所述设备能力协商的装置，其特征在于，所述解码能力信 息为多层视频编码标准中档次Profile、等级Tier、级别Level参数限定的解码器处理能力 指标。
13. 根据权利要求12所述设备能力协商的装置，其特征在于，所述解码器处理能力指 标包括：图像包含亮度采样点的最大数量，编码图像缓冲区CPB的最大容量，图像可划分的 分片划分Slice segment的最大数量，图像可划分的瓦片Tile的最大行数，图像可划分的 瓦片的最大列数，亮度分量的最大采样率，最大码率，最大压缩比。
14. 一种设备能力协商的装置，其特征在于，所述装置应用于第二设备，所述装置包 括： 请求发送单元，用于向第一设备发送多层视频数据请求，所述请求中包括：所述第二设 备所具有的解码多层视频码流的能力信息、和/或所述第二设备所具有的解码基本层视频 码流的能力信息； 应答接收单元，用于接收所述第一设备发送的应答信息。
15. 根据权利要求14所述设备能力协商的装置，其特征在于，所述应答信息包括以下 信息的至少之一：解码多层视频码流所需的解码能力信息、解码多层视频码流中各层所需 的解码能力信息、解码多层视频码流中不同输出层组合所需的解码能力信息。
16. 根据权利要求15所述设备能力协商的装置，其特征在于，所述第一设备发送的应 答信息位于以下一个或多个位置上： 会话协商协议的数据载荷；参数集Parameter Set ;补充增强信息SEI ;多层视频码流； 系统层信息单元；自定义数据信息单元；外部信息单元。
【文档编号】H04N19/30GK104093028SQ201410291451
【公开日】2014年10月8日 申请日期:2014年6月25日 优先权日:2014年6月25日
【发明者】李明, 吴平, 尚国强, 谢玉堂 申请人:中兴通讯股份有限公司