专利名称：利用区域检测的资源自适应视频编码系统及其使用的方法
技术领域：
本发明涉及在诸如视频编码器/编解码器的设备内使用的编码。
背景技术：
视频编码已经成为现代视频处理设备的重要问题。健壮的编码算法允许以减少的带宽传输视频信号并且以更少的存储器存储视频信号。然而，这些编码方法的准确性面临正在变得习惯于更高分辨率和更好图形质量的用户的详细审查。已经颁布了许多编码方法的标准，包括还被称为MPEG-4部分10或高级视频编码(AVC)的H. 264标准。虽然该标准提出了许多强有力的技术，可能有改进这些方法的实现的性能和速度的进一步改进。通过对这些系统和本发明进行比较，本领域技术人员将明了常规和传统方法的其它限制和缺点。
图1给出了根据本发明的实施例的视频处理设备125的方框图表示；图2给出了根据本发明的实施例的区域标识信号产生器150的方框图表示；图3给出了根据本发明的另一实施例的区域检测模块320的方框图表示；图4给出了根据本发明的另一实施例的区域检测模块320'的方框图表示；图5给出了根据本发明的实施例的视频编码系统102的方框图表示；图6给出了根据本发明的实施例的视频分发系统175的方框图表示；图7给出了根据本发明的实施例的视频存储系统179的方框图表示；和图8给出了根据本发明的实施例的方法的流程图表示。
具体实施例方式图1给出了根据本发明的实施例的视频处理设备125的方框图表示。特别地，视频处理设备125包括接收模块100，诸如机顶盒、电视接收机、个人计算机、有线电视接收机、卫星广播接收机、宽带调制解调器、3G收发器或能够从诸如广播缆线系统、广播卫星系统、hternet、数字视频盘播放器、数字视频记录器或其它视频源之类的一个或多个源接收视频信号110的其它信息接收器或收发器。视频编码系统102耦接到接收模块100以对一个或多个视频信号110进行编码、速率转换(transrate)和/或转码(transcode)以便形成经处理的视频信号112。在本发明的实施例中，视频信号110可以包括广播视频信号，诸如电视信号、高清晰度电视信号、增强高清晰度电视信号或直接或通过一个或多个卫星或其它中继站通过无线介质或通过缆线网络、光网络或其它传输网络传输的其它广播视频信号。另外，可以从存储的视频文件产生视频信号110、从记录介质一诸如磁带、磁盘或光盘一回放视频信号110，并且视频信号110可以包括在公共或私有网络一诸如局域网、广域网、城域网或 Internet——上传输的流视频信号。视频信号110可以包括具有若干视频格式中的任意一种格式的模拟视频信号，所述视频格式包括国家电视系统委员会制式(NTSC)、逐行倒相制式(PAL)或顺序传送与存储彩色电视系统制式(SECAM)。经处理的视频信号112符合数字视频编解码器标准，诸如 H. 264.MPEG-4部分10高级视频编码(AVC)，或其它数字格式，诸如运动图像专家组(MPEG) 格式(诸如 MPEGl、MPEG2 或 MPEG4)、Quicktime 格式、Real Media 格式、Windows Media Video(WMV)或音视频交错格式(AVI)、或标准或专有的另一数字视频格式。视频编码系统102包括区域标识信号产生器150和编码工具75。特别地，区域标识信号产生器150可以通过运动检测、聚类、统计模式识别、句法模式识别或通过其它检测方法操作，以检测视频信号110的特定图像(帧或场)或图像组中关注的空间区域或时间区域，诸如视频信号110中图像序列内的一时间段。另外，作为对其的响应，区域标识信号产生器150产生标识检测到的关注区域的区域标识信号。视频编码系统102的编码器部分操作多个编码工具75以通过量化和数字化产生具有特定图像质量的经处理的视频信号112。当检测到关注区域时，编码工具被调整到更高质量。例如，可以调整编码工具75以与至少一个图像的在关注区域之外的部分相比，给关注区域分配更小量化、更高分辨率或其它更高质量，以便与该图像的在该区域之外的部分相对比，在编码该区域时提供更高质量的图像。另外，视频编码系统102可以调整编码工具75以便在对关注区域编码时使用比在未检测到并且标识出关注区域时所使用的更高的分辨率、量化等。以这种方式，当与视频信号110的其它区域相比时，视频编码系统102可以在关注区域，诸如视觉重要性更大的区域，中分配更多可用计算资源和/或产生更高视频质量。例如，可以检测人的头部和肩部，并且可以在这些区域内利用更多资源以便产生更高质量的编码。在另一个例子中，还可以检测表现出更大程度的运动或更大复杂性的时间段，并且可以在这些时间段期间利用更多资源以便产生更高质量编码。除了视觉质量改进之外，本发明可用于最佳地分配CPU能力以便满足实时要求。例如，当对复杂序列编码时，处理可能比实时慢。当区域标识信号产生器150检测到视频编码系统102的运行比某个实时安全极限慢时，可以产生使得编码器调整一个或多个编码工具75的编码质量参数的区域标识信号， 以便降低关注的空间或时间区域之外的质量，从而省出计算资源。将结合下面结合图2-8描述的许多可选功能和特征更详细地描述区域标识信号产生器150和编码工具75。图2给出了根据本发明的实施例的区域标识信号产生器150的方框图表示。特别地，区域标识信号产生器150包括用于检测至少一个图像中的检测区域322的区域检测模块320，其中所述区域基于该检测区域。在操作中，区域检测模块320可以检测可能需要更高图像质量的特定图案或其它关注区域的存在。这种图案的例子是人脸或其它脸，然而，可以同样地实现其它图案，包括符号、文本、重要图像和特定于应用的图案以及其它图案。区域标识信号产生器150可选择地包括区域清理模块324，该区域清理模块3M诸如通过形态操作，基于检测区域322产生干净区域326。区域标识信号产生器150还可以包括区域生长模块328，该区域生长模块3 扩展干净区域326以便产生区域标识信号330，该区域标识信号330标识该区域包含关注图案。例如，考虑图像310包括人脸并且区域标识信号产生器150产生对应于人脸的区域的情况，区域检测模块320可以基于对与面部特征相对应的像素颜色值——诸如肤色——的检测而产生检测区域322。区域清理模块可以产生包含这些面部特征的更连续区域，并且区域生长模块可以使该区域生长，以便包括周围的头发和其它图像部分，以便确保整个脸部被包括在由区域标识信号330标识的区域内。编码部分可以使用区域标识信号 330操作，以便强化面部区域的质量，同时潜在地削弱图像的其它部分的质量。应当注意，如果脸部有更高的感光度和辨识性，对于观看者来说整个图像可能具有更高质量。图3给出了根据本发明的另一实施例的区域检测模块320的方框图表示。在这个实施例中，区域检测模块320通过检测图像310中的颜色操作。颜色偏差校正模块340从图像310产生颜色偏差校正图像342。颜色空间变换模块344从颜色偏差校正图像342产生颜色变换图像346。颜色检测模块根据颜色变换图像346的颜色，产生检测区域322。例如，根据结合图4讨论的检测人脸的例子，颜色检测模块348可以操作来在变换空间——诸如变换YCb(；空间的Cb(；子空间——中使用椭圆皮肤模型来检测颜色变换图像346中对应于肤色的颜色。特别地，可以基于高斯肤色分布的假设来构造对应于恒定Mahalanobis距离的轮廓的参数椭圆，以基于Cb(；子空间内的二维投影来标识检测区域 322。作为例子，可以出于这个目的使用与来自Heinrich-Hertz研究所图像数据库的肤色片对应的853，571个像素，然而，在本发明的更宽范围内可以同样使用其它例子。在一种简化的方法中，可以使用基于实际图像的样本产生的查找表来近似上面描述的建模方法。以此方式，可以在单个步骤中确定检测结果，诸如对检测区域322的标识。图4给出了根据本发明的另一实施例的区域检测模块320'的方框图表示。在这个实施例中，诸如图像310的图像被变换到另一个域内的变换图像311。由区域检测模块 500在图像310的原始域内执行检测，并且还由区域检测模块504在变换图像311的变换域内执行检测。由比较模块510比较检测判定506和508，以便确定检测区域322。在本发明的实施例中，区域检测模块500在YUV域中以与区域检测模块320类似的方式对图像310进行操作。图像变换模块502将图像310变换到RGB域，并且区域检测模块504在RGB域中操作。如果区域检测模块500或区域检测模块504做出这种检测，则比较模块510可以用信号表示区域包含关注图案。以这种方式，可以通过替换域，诸如RGB 域，内的平行检测来补偿YUV建模中可能的性能损失。图5给出了根据本发明的实施例的视频编码系统102的方框图表示。特别地，视频编码系统102根据H. 264标准、MPEG-4标准、VC-I (SMPTE标准421M)或其它标准的许多功能和特征操作，以便对通过信号接口 198接收的视频输入信号110进行编码、速率变换和转码。
视频编码系统102包括具有信号接口 198的编码器部分103、处理模块230、运动补偿模块对0、存储器模块232和编码模块236。可以使用单个处理设备或多个处理设备实现处理模块230。这种处理设备可以是微处理器、协处理器、微控制器、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑器件、状态机、逻辑电路、模拟电路、数字电路和/或基于存储在存储器(诸如存储器模块20 内的操作指令处理信号(模拟的和/或数字的)的任意设备。存储器模块232可以是单个存储器设备或多个存储器设备。这种存储器设备可以包括硬盘驱动器或其它盘驱动器、只读存储器、随机存取存储器、 易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存、高速缓存存储器和/或存储数字信息的任意设备。注意，当处理模块通过状态机、模拟电路、数字电路和/或逻辑电路实现其一个或多个功能时，存储对应操作指令的存储器可以嵌入在包含该状态机、模拟电路、数字电路和/或逻辑电路的电路内或在其之外。处理模块230和存储器模块232可以通过总线250耦接到信号接口 198和多个其它模块，诸如区域标识信号产生器150、运动补偿模块240和编码模块236。根据处理模块 230的特定实现，视频编码器102的模块可以以软件、固件或硬件实现。还应当注意，本发明的软件实现可被存储在有形存储介质上，所述介质诸如磁盘或光盘、只读存储器或随机存取存储器，并且还可被生产为一件制品。虽然示出了特定的总线体系结构，但是根据本发明同样可以实现使用一个或多个模块之间的直接连接和/或附加总线的可替换体系结构。运动补偿模块240在视频流的每个帧或场的多个宏块内操作，以产生与每个宏块的最终运动矢量对应的残余亮度和/或色度像素值。编码模块236通过将残余像素值变换编码并且量化为量化变换系数而产生经处理的视频信号112，该量化变换系数可以诸如通过熵编码中的熵编码而被进一步编码，由去块化过滤器过滤，并且作为经处理的视频信号 112而被传输和/或存储。在由编码器102接收数字视频流的转码应用中，在进一步编码、 变换速率或转码之前，可以可选择地全部或部分地解码进入的视频信号。在操作中，运动补偿模块240和编码模块236包括多个编码工具7 和75b，这些编码工具操作以从一个或多个视频信号Iio产生压缩视频流。编码工具7 可以包括运动补偿模块240的基于编码质量参数操作的部分，所述参数诸如运动搜索范围、宏块模式、子像素精度和/或其它运动搜索参数、运动细化参数、模式判定参数或影响运动补偿处理的质量和计算复杂度的其它运动补偿参数。编码工具7 可以进一步包括编码模块236的基于编码质量参数操作以产生经处理的视频信号112的部分，所述参数诸如量化参数(QP)、 量化矩阵和/或参考图像频率或编码模块236使用的其它编码参数。如前所述，当区域标识信号产生器150产生指示检测到关注的空间或时间区域的区域标识信号，诸如区域标识信号330时，编码器部分103调整编码工具7 和75b的一个或多个编码质量参数，以与关注区域之外的部分相比，在关注区域内产生更高质量的编码。图6给出了根据本发明的实施例的视频分发系统175的方框图表示。特别地，经处理的视频信号112通过传输路径122被传输到视频解码器104。视频解码器104又可以操作以便对经处理的视频信号解码，以便在诸如电视机10、计算机20或其它显示设备的显不设备上显不。传输路径122可以包括根据无线局域网协议——诸如802. 11协议、WIMAX协议、 蓝牙协议等——操作的无线路径。另外，传输路径可以包括根据有线协议——诸如通用串
7行总线协议、以太网协议或其它高速协议——操作的有线路径。图7给出了根据本发明的实施例的视频存储系统179的方框图表示。特别地，设备11是具有内置数字视频记录器功能的机顶盒、独立的数字视频记录器、DVD记录器/播放器或存储经处理的视频信号112以便在诸如电视机12的视频显示设备上显示的其它设备。虽然视频编码器102被示出为单独设备，但是其还可被结合在设备11内。虽然示出了这些特定设备，但是视频存储系统179可以包括硬盘驱动器、闪存设备、计算机、DVD刻录机或能够根据结合此处描述的本发明的特征和功能描述的方法和系统产生、存储、解码和/ 或显示组合视频流220的任意其它设备。图8给出了根据本发明的实施例的方法的流程图表示。特别地，给出了一种结合根据图1-8所描述的一个或多个功能和特征使用的方法。在步骤400，基于多个编码工具的操作产生经处理的视频信号，每个编码工具具有至少一个编码器质量参数。在步骤402，该方法确定在至少一个图像中是否检测到关注区域。在步骤404，当检测到关注图案时产生区域标识信号。在步骤406，响应于区域标识信号调整多个编码工具中的至少一个编码工具的至少一个编码质量参数。在本发明的实施例中，步骤406包括调整多个编码工具中的至少一个编码工具的至少一个编码质量参数，以便与至少一个图像的在关注区域之外的部分相比，在关注区域内产生更高质量的编码。步骤406还可以包括响应于区域标识信号调整多个编码工具中每一个的至少一个编码质量参数。在一种操作模式中，所述至少一个图像包括图像序列，并且关注区域包括跨所述图像序列内的多个图像的时间段。所述多个编码质量参数可以包括量化参数、量化矩阵、运动搜索范围、宏块模式、子像素精度和/或参考图片频率。如前所述，视频编码系统的编码器部分，诸如编码器系统102，通过量化和数字化产生具有特定图像质量的经处理的视频信号。当检测到关注区域时，与所述一个或多个图像在该区域之外的部分相比，给关注区域分配更小量化、更高分辨率或其它更高的质量。与所述图像的在该区域之外的部分相对比，在对该区域编码时，这提供了更高质量的图像。例如，当对所述区域内的宏块编码时，编码器部分使用比在没有检测到所述图案并且没有标识所述区域时通常使用的更高的分辨率、量化等。可以通过不同方式实现这种质量变化。例如，在比特分配方法中，可以基于图像的一部分在关注区域之内还是在关注区域之外，调整量化参数和速率。还可以使用其它方法。例如，可以分配计算能力，以便与所述区域之外的编码相比偏重所述区域内的编码。在这种方法中，可以调整编码参数，诸如预先定义的运动估计搜索范围、子像素运动估计精度、参考帧数目和宏块模式候选数目，以便增加在关注区域内使用的计算量，和/或减少在关注区域之外使用的计算量。可以实施本发明，例如，以便使用更少比特实现类似的视觉质量，或使用相同数目的比特以便实现更高的视觉质量。另外，可以更快地执行编码处理以便实现类似的视觉质量，或可以采用类似的处理时间以便实现更高的视觉质量。以此方式，编码处理可以着重于用户关心的图像区域。在优选实施例中，使用0. 35微米或更小的CMOS技术实现各种电路组件。然而在本发明的宽泛范围内，可以使用集成或非集成的其它电路技术。
虽然此处已经明确描述了本发明的各种功能和特征的特定组合，但是可以有这些特征和功能的其它组合，其不受此处公开的特定示例的限制，并且被明确地包括在本发明的范围内。本领域的技术人员将明了，此处可能使用的术语“大体”或“近似地”给其对应项和/或项之间的相对性提供工业可接受容限。这种工业可接受容限的范围从小于百分之一到百分之二十，并且相应于但不限于组件值、集成电路处理变化、温度变化、上升和下降时间和/或热噪声。这种项之间的相对性的范围从百分之几的不同到量级的不同。本领域的普通技术人员还将明了，此处可能使用的术语“耦接”包括直接耦接和通过另一个组件、元件、电路或模块的间接耦接，其中对于间接耦接，中间组件、元件、电路或模块不改变信号的信息，而是可以调整其电流电平、电压电平和/或功率电平。本领域的普通技术人员还将明了，推导耦接(即，根据推导一个元件耦接到另一个元件)包括两个元件之间以与“耦接”相同的方式的直接和间接耦接。本领域的普通技术人员还将明了，此处可能使用的术语“满意地比较”指两个或多个元件、项、信号等之间的比较提供所希望的关系。例如，当所希望的关系是信号1的幅度大于信号2的幅度时，那么当信号1的幅度大于信号2的幅度时或当信号2的幅度小于信号1的幅度时，实现满意的比较。由于在本发明的各个实施例的描述中使用了术语模块，模块包括执行一个或多个功能(诸如处理输入信号以便产生输出信号)的以硬件、软件和/或固件实现的功能块。如此处使用的，模块可以包括自身是模块的子模块。因此，此处已经描述了一种用于实现视频编码系统的装置和方法，以及包括优选实施例的若干实施例。此处描述的本发明的各个实施例具有使得本发明区别于现有技术的特征。本领域的技术人员将明了，可以按照多种方法修改公开的发明，并且可以采取上面特别提出和描述的优选形式之外的许多实施例。因此，旨在以所附权利要求覆盖本发明的落在本发明的真实精神和范围内的所有修改。
9
权利要求
1.一种用于将视频流编码为经处理的视频信号的系统，所述视频流包括至少一个图像，所述系统包括区域标识信号产生器，用于检测至少一个图像中的关注区域，并且当检测到所述关注区域时产生区域标识信号；和耦接到所述区域标识信号产生器的编码器部分，所述编码器部分基于多个编码工具的操作产生所述经处理的视频信号，每个编码工具具有至少一个编码质量参数，其中所述编码器部分响应于所述区域标识信号调整所述多个编码工具中的至少一个编码工具的至少一个编码质量参数。
2.如权利要求1所述的系统，其中当所述区域标识信号指示检测到所述关注区域时， 所述编码器部分调整所述多个编码工具中的至少一个编码工具的至少一个编码质量参数以与所述至少一个图像在所述关注区域之外的部分相比，在所述关注区域内产生更高质量的编码。
3.如权利要求1所述的系统，其中所述编码器部分响应于所述区域标识信号调整所述多个编码工具的至少一个编码质量参数。
4.如权利要求1所述的系统，其中所述至少一个图像包括图像序列，并且所述关注区域包括跨所述图像序列内的多个图像的时间段。
5.如权利要求4所述的系统，其中所述区域标识信号产生器包括 用于检测所述图像序列内的运动量的运动检测模块。
6.如权利要求1所述的系统，其中所述区域标识信号产生器包括 用于检测所述至少一个图像中的脸部的区域检测模块。
7.如权利要求1所述的系统，其中所述多个编码质量参数包括下列中的至少一个量化参数和量化矩阵。
8.如权利要求1所述的系统，其中所述多个编码质量参数包括下列中的至少一个 运动搜索范围、宏块模式和子像素精度。
9.如权利要求1所述的系统，其中所述多个编码质量参数包括参考图片频率。
10.一种用于将视频流编码为经处理的视频信号的方法，所述视频流包括至少一个图像，所述方法包括基于多个编码工具的操作而产生所述经处理的视频信号，其中每个编码工具具有至少一个编码质量参数；检测所述至少一个图像内的关注区域； 当检测到所述关注区域时，产生区域标识信号；和响应于所述区域标识信号，调整所述多个编码工具中的至少一个编码工具的至少一个编码质量参数。
11.如权利要求10所述的方法，其中调整至少一个编码质量参数包括调整所述多个编码工具中的至少一个编码工具的至少一个编码质量参数以与所述至少一个图像在所述关注区域之外的部分相比，在所述关注区域内产生更高质量的编码。
12.如权利要求10所述的方法，其中调整至少一个编码质量参数包括 响应于所述区域标识信号调整所述多个编码工具的至少一个编码质量参数。
13.如权利要求10所述的方法，其中所述至少一个图像包括图像序列，并且所述关注区域包括跨所述图像序列内的多个图像的时间段。
14.如权利要求10所述的方法，其中所述多个编码质量参数包括下列中的至少一个量化参数和量化矩阵。
15.如权利要求10所述的方法，其中所述多个编码质量参数包括下列中的至少一个 运动搜索范围、宏块模式和子像素精度。
16.如权利要求10所述的方法，其中所述多个编码质量参数包括参考图片频率。
全文摘要
本公开利用区域检测的资源自适应视频编码系统及其使用的方法。用于将包括至少一个图像的视频流编码为压缩视频信号的系统包括区域标识信号产生器，用于检测至少一个图像中的关注区域，并且当检测到所述关注区域时产生区域标识信号。编码器部分基于多个编码工具的操作产生所述经处理的视频信号，每个编码工具具有至少一个编码质量参数。所述编码器部分响应于所述区域标识信号调整所述多个编码工具中的至少一个编码工具的至少一个编码质量参数。
文档编号H04N7/26GK102340665SQ20111016805
公开日2012年2月1日 申请日期2011年6月22日 优先权日2010年7月20日
发明者刘洋, 潘峰 申请人:Vixs系统公司