专利名称：一种roi编码方法及其系统的利记博彩app
技术领域：
本发明涉及视频编码技术领域，特别是涉及一种ROI编码方法及其系统。
背景技术：
H.264是国际电信联盟(ITU)推出的视频编码标准，它集成了以往视频编码器的 很多优点，如I帧宏块的多模式选择、1/4像素的运动矢量、多参考帧、采用了 De-blocking 技术等，这些特性使得H. 264的编码效率有了很高提升。然而，在视频监控领域所记录的视 频数据量较大，这就需要较高的压缩比。感兴趣区域(Region of Interest, R0I)编码可以在有效地保留用户感兴趣区域 数据的基础之上尽可能压缩背景区域的数据，作为JPEG2000的一个特性越来越受到关注， 视频监控中对ROI清晰度控制是一种很迫切的业务应用。图1示出了目前视频监控编解码系统采用前景和背景划分模式进行编码的示意。 目前，在对前景、背景进行H. 264视频编码时，只采用一个Slice条带编码，码率控制算法只 针对Slice层内部的前景区域清晰度增强。该方案中只能在宏块层进行码率控制。这样的 方案限制了清晰度增强的范围。因此，目前亟需能够灵活设置前景和背景显示清晰度的ROI编码方案。
发明内容
本发明的目的在于提供一种ROI编码方法及其系统，用以实现在ROI编码过程中 根据需要灵活设置前景和背景显示清晰度，为此，本发明采用如下技术方案一种ROI编码方法，应用于视频监控编解码系统，该方法包括以下步骤视频监控编解码系统获取用户在该系统的图像显示窗口所选择的前景区域和背 景区域，以及用户选择的前景区域图像质量等级；视频监控编解码系统根据所述前景区域图像质量等级确定前景区域和背景区域 的码率分配比例，并根据该码率分配比例分配前景区域和背景区域的码率；视频监控编解码系统根据前景区域和背景区域的码率，分别对前景区域和背景区 域进行灵活宏块次序FMO编码。上述方法中，前景区域图像质量等级越高，则对前景区域分配的码率比例越高。上述方法中，视频监控编解码系统对前景区域和背景区域进行编码时，还包括设 置前景区域的NALU优先级高于背景区域的NALU优先级；所述视频监控编解码系统在解码时，根据NALU优先级使用对应的解码方式分别 对前景区域和背景区域进行解码，并将解码后的图像显示于所述图像显示窗口 ；其中，高 NALU优先级所对应的解码方式的压缩率低于低NALU优先级所对应的解码方式。上述方法中，所述视频监控编解码系统中的云台控制窗口与所述图像显示窗口重 叠；所述视频监控编解码系统根据用户在云台控制窗口区域的鼠标拖拽操作，确定视频监控系统摄像头云台的旋转角度，并根据确定出的旋转角度控制摄像头云台的旋转；所述视频监控编解码系统将旋转后的云台上的摄像头所采集的图像显示于所述 图像显示窗口。上述方法中，所述方法还包括所述视频监控编解码系统根据用户在所述图像显 示窗口区域的鼠标滚动操作，确定前景区域的缩放比例，并根据确定出的缩放比例控制图 像显示窗口中的前景区域的缩放。一种视频监控编解码系统，包括获取模块，用于获取用户在该系统的图像显示窗口所选择的前景区域和背景区 域，以及获取用户选择的前景区域图像质量等级；码率分配模块，用于根据所述获取模块获取到的前景区域图像质量等级，确定前 景区域和背景区域的码率分配比例，并根据该码率分配比例分配前景区域和背景区域的码 率；编码器，用于根据所述码率分配模块所分配的前景区域和背景区域的码率，分别 对前景区域和背景区域进行灵活宏块次序FM0编码。上述视频监控编解码系统中，所述码率分配模块具体用于，前景区域图像质量等 级越高，则对前景区域分配的码率比例越高。上述视频监控编解码系统中，还包括解码器；所述编码器还用于，在对前景区域和背景区域进行编码时，设置前景区域的NALU 优先级高于背景区域的NALU优先级；所述解码器，用于根据NALU优先级使用对应的解码方式分别对前景区域和背景 区域进行解码，并将解码后的图像显示于所述图像显示窗口 ；其中，高NALU优先级所对应 的解码方式的压缩率低于低NALU优先级所对应的解码方式。上述视频监控编解码系统中，所述视频监控编解码系统中的云台控制窗口与所述 图像显示窗口重叠；所述系统还包括云台控制模块；所述获取模块还用于，获取用户在云台控制窗口区域的鼠标拖拽操作；所述云台控制模块，用于根据所述获取模块获取到的用户在云台控制窗口区域的 鼠标拖拽操作，确定视频监控系统摄像头云台的旋转角度，并根据确定出的旋转角度控制 摄像头云台的旋转；所述系统的图像显示模块将旋转后的云台上的摄像头所采集的图像显示于所述 图像显示窗口。上述视频监控编解码系统还包括前景区域缩放控制模块；所述获取模块还用于，获取用户在所述图像显示窗口区域的鼠标滚动操作；所述前景区域缩放控制模块，用于根据所述获取模块获取到的用户在图像显示窗 口区域的鼠标滚动操作，确定前景区域的缩放比例，并根据确定出的缩放比例控制图像显 示窗口中的前景区域的缩放。本发明的有益技术效果包括通过将前景区域的图像质量划分为不同等级，以及根据不同等级设置前景区域和 背景区域的码率分配比例，从而在前景和背景的Slice层间实现码率控制。同时，采用FM0 方式对前景和背景进行编码，可分别在前景和背景的Slice内部的宏块层实现码率控制，从而能够灵活设置前景和背景显示清晰度。
图1为现有技术中单Slice实现R0I编码的示意图；图2为本发明实施例提供的R0I编码流程示意图；图3为现有技术中显示窗口和云台控制窗口分离的示意图；图4为本发明实施例中鼠标拖拽控制云台各方向转动的示意图；图5为本发明实施例提供的视频监控编解码系统的结构示意图。
具体实施例方式目前，已经可以采用FM0(flexible Macroblock Order，灵活宏块次序)来实现 H. 264感兴趣区域编码。FM0将编码宏块(MB)序列映射到不同的Slice中。一个Slice是 一个独立的预测编码单元。FM0划分图像的模式各种各样，重要的有矩形模式(即前景和背 景)等。但FM0技术并未运用到视频监控编解码系统的编码过程。针对现有技术存在的上述问题，本发明实施例在H. 264的FM0编码技术的基础上， 对前景区域采用Slice层和Slice内部的宏块层的两层码率控制，从而实现更加精密的码 率控制，并提高了前景区域图像清晰度调整范围。下面结合附图对本发明实施例进行详细描述。图2示出了本发明实施例所提供的R0I编码流程，如图所示，该流程可包括步骤201，视频监控编解码系统根据用户的操作，确定前景区域和背景区域。该步骤中，用户可在视频监控编解码系统所提供的图像显示窗口内，使用鼠标圈 定一部分区域作为前景区域(如使用矩形框框出)，则其余部分作为背景区域。步骤202，视频监控编解码系统根据确定出的前景和背景区域，采用FM0进行编 码。该步骤中，根据FM0编码规则，视频监控编解码系统中的编码器将前景区域作为 一个单独的Slice编码，背景区域作为一个单独的Slice编码，即采用H. 264中的FM0类型 2(即前景和背景模式)进行编码。其中，前景区域(即R0I)的NALU优先级可设置为比背 景区域的NALU优先级要高一些。NALU优先级是现有视频编码系统中存在的参数，但不同视 频编码系统对该优先级参数的定义可以不同。在本发明实施例中，NALU优先级高则表示编 码时所分配的码率相对NALU优先级低的区域要高，在解码时，NALU优先级高则表示可采用 相对较小压缩率的算法对相应区域的图像进行显示。具体的，由于解码器可根据不同NALU 优先级采用不同的缩放算法，因此将前景区域的NALU优先级设置得高一些，可在进行解码 时，对前景区域采用较小压缩率的算法，而使用较大压缩率的算法处理背景区域，这样可以 使前景区域的清晰度高于背景区域。步骤203，当用户需要调整前景清晰度时，视频监控编解码系统根据用户提高或降 低前景区域清晰度的操作，确定相应的码率分配比例，并根据该码率分配比例调整前景区 域和背景区域的码率分配，并采用FM0进行编码。前景Slice的图像质量通常要高于背景部分。本发明实施例中，可将前景图像质 量设为几个等级。随着等级升高，前景图像清晰度提高，背景图像越发模糊，此时的码率控制算法调整码率分配比例，即，将更多的码率分配给前景，从而实现在Slice层间进行码率 控制；而前景和背景的Slice内部，则依然按照FM0方式在宏块层进行码率控制。例如，可为 前景图像质量设置两个等级最高级和次高级；次高级时，图像直接压缩传输前景Slice， 不再对背景Slice编码传输，此时码率控制算法将所有的码率分配给前景部分；最高级时， 直接对前景图像采用无损PCM(Pulse Code Modulation，脉冲编码调制)压缩方式，此时后 端解码图像为编码前的原始图像。可以看出，在该种方案中的码率控制算法采用Slice层 和Slice内部的宏块层的两层进行更加精密的码率控制。在具体实现时，当用户通过键盘或鼠标等输入设备操作视频监控编解码系统提供 的前景区域清晰度控制功能按键时，视频监控编解码系统可捕获到用户的操作，并根据用 户的操作确定是提高前景区域的清晰度还是降低当前前景区域的清晰度，并根据用户的操 作确定需要调整的幅度，从而确定出对应的质量等级。然后根据确定出的质量等级所对应 的前景和背景的码率分配比例，对当前的前景和背景的码率分配进行调整，并按照调整后 的码率分配采用FM0进行编码，其中，在每个Slice内部依然采用现有的FM0进行码率控 制。其中，前景区域的NALU优先级可设置为比背景区域的NALU优先级要高一些。具体的，当用户按动键盘上的“向上移动”按键时，该操作事件可被计算机操作系 统捕获，计算机操作系统可将捕获的事件传递给视频监控编解码系统，视频监控编解码系 统可根据该事件判断出用户需要提高前景区域的图像质量，于是，视频监控编解码系统根 据当前前景区域和背景区域的码率分配确定更高一级的质量等级所对应的码率分配方案， 然后根据该码率分配方案，提高当前前景区域的码率，并相应降低背景区域的码率。当用户 按动键盘上的“向下移动”按键时，同理，视频监控编解码系统可将当前前景区域的码率降 低，并适当提高背景区域的码率。在本发明的另一实施例中，视频监控编解码系统可允许用户在选取前景和背景区 域后，再通过键盘或鼠标操作选择前景质量等级，然后在用户选择编码命令功能键后，根据 用户所选择的前景和背景以及前景质量等级，采用上述方式对视频进行编码，从而实现在 Slice层间和Slice内部的宏块层的两层进行更加精密的码率控制。现有视频监控编解码系统中，图像显示窗口和云台控制窗口分离，如图3所示。在 这种情况下，通过云台控制窗口控制镜头云台(Pan Tilt Zoom, PTZ)上的视频监控摄像头 的旋转角度时，人眼既需要观看显示窗口中的图像，又要关注云台控制窗口内的按键，容易 引起人眼疲劳，且对R0I跟踪操作不便捷。为了解决上述问题，本发明的另一实施例，在结合上述实施例的基础上，将图像显 示窗口和PTZ(Pan Tilt Zoom，镜头云台)控制按键进行有机的结合，从而提供了一种便捷 有效的实现方案。在该实施例中，在视频监控编解码系统的后端显示窗界面上，将云台控制窗口与 图像显示窗口重叠在一起，并规定通过鼠标在云台控制窗口中操纵PTZ，即，在图像显示窗 口内可使用鼠标按键拖拽进行PTZ各向转动控制，比如，鼠标按键后上下拖拽，控制PTZ前 后向转动；鼠标按键后左右拖拽，控制PTZ左右向转动等。进一步的，云台控制窗口设置为 透明，当鼠标的光标移到云台控制窗口区域时，可显示不同方向的箭头，以指示用户控制摄 像头不同方向和角度的运动，视频监控编解码系统可将旋转后的云台上的摄像头所采集的 图像显示于图像显示窗口。图4示出了鼠标可拖拽PTZ在8个方向上转动的示意图。
PTZ转动过程中镜头变焦、光圈调整、快门速度调整，以及云台转速调整等可以通 过本发明实施例中的视频监控编解码系统定义的快捷键进行控制。这样方便右手鼠标控制 方向转动，同时左手进行其他参数调整控制。镜头转动过程中，可重复圈定前景区域。重新圈定的前景区域将按照当前的编码 参数进行编码。在对前景图像质量等级升高时，本实施例还可支持使用鼠标滚轮前后转动控制图 像显示窗口中的图像缩放的功能。例如，前滚可放大图像，后滚可缩小图像。具体的，当鼠 标光标在图像显示窗口区域内时，如果视频监控编解码系统获取到用户前滚鼠标的操作， 则可放大前景区域的图像，如果获取到用户后滚鼠标的操作，则可缩小前景区域的图像，并 且可根据鼠标前滚或后滚操作，确定前景区域图像的缩放比例。随着前滚操作，可只传输前 景部分，此时前景部分可占据整个图像显示窗口，并可随着前滚操作继续对前景部分进行 放大。通过以上描述可以看出，将前景和背景区域的清晰度调整方案与PTZ控制和图像 放大缩小的方案相结合，可在对前景和背景分别单独进行Slice编码的同时，可实现图像 重点关注区域清晰度的动态调整，以及便捷跟踪。基于相同的技术构思，本发明实施例还提供了一种视频监控编解码系统，可应用 于本发明实施例的上述流程。参见图5，为本发明实施例提供的视频监控编解码系统的结构示意图。如图所示， 该视频监控编解码系统可包括获取模块501，用于获取用户在该系统的图像显示窗口所选择的前景区域和背景 区域，以及获取用户选择的前景区域图像质量等级；码率分配模块502，用于根据获取模块501获取到的前景区域图像质量等级，确定 前景区域和背景区域的码率分配比例，并根据该码率分配比例分配前景区域和背景区域的 码率；编码器503，用于根据码率分配模块502所分配的前景区域和背景区域的码率，分 别对前景区域和背景区域进行灵活宏块次序FM0编码。上述视频监控编解码系统中，码率分配模块502可在前景区域图像质量等级越高 的情况下，对前景区域分配的码率比例越高。上述视频监控编解码系统中，编码器503还可在对前景区域和背景区域进行编码 时，设置前景区域的NALU优先级高于背景区域的NALU优先级。该系统还包括解码器(未 在图中示出)，该解码器可根据NALU优先级使用对应的解码方式分别对前景区域和背景区 域进行解码，并将解码后的图像显示于所述图像显示窗口 ；其中，高NALU优先级所对应的 解码方式的压缩率低于低NALU优先级所对应的解码方式。上述视频监控编解码系统中的云台控制窗口与图像显示窗口重叠；所述系统还包 括云台控制模块504。相应的，获取模块501还可获取用户在云台控制窗口区域的鼠标拖拽 操作；云台控制模块504可根据获取模块501获取到的用户在云台控制窗口区域的鼠标拖 拽操作，确定视频监控系统摄像头云台的旋转角度，并根据确定出的旋转角度控制摄像头 云台的旋转。该系统的图像显示模块(未在图中示出)将旋转后的云台上的摄像头所采集 的图像显示于所述图像显示窗口。
上述视频监控编解码系统还可包括前景区域缩放控制模块505。相应的，获取模 块501还可获取用户在图像显示窗口区域的鼠标滚动操作；前景区域缩放控制模块505可 根据获取模块501获取到的用户在图像显示窗口区域的鼠标滚动操作，确定前景区域的缩 放比例，并根据确定出的缩放比例控制图像显示窗口中的前景区域的缩放。本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分 布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上 述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助 软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更 佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行 本发明各个实施例所述的方法。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视本发明的保护范围。
权利要求
一种感兴趣区域ROI编码方法，应用于视频监控编解码系统，其特征在于，包括以下步骤视频监控编解码系统获取用户在该系统的图像显示窗口所选择的前景区域和背景区域，以及用户选择的前景区域图像质量等级；视频监控编解码系统根据所述前景区域图像质量等级确定前景区域和背景区域的码率分配比例，并根据该码率分配比例分配前景区域和背景区域的码率；视频监控编解码系统根据前景区域和背景区域的码率，分别对前景区域和背景区域进行灵活宏块次序FMO编码。
2.如权利要求1所述的方法，其特征在于，前景区域图像质量等级越高，则对前景区域 分配的码率比例越高。
3.如权利要求1所述的方法，其特征在于，视频监控编解码系统对前景区域和背景区 域进行编码时，还包括设置前景区域的NALU优先级高于背景区域的NALU优先级；所述视频监控编解码系统在解码时，根据NALU优先级使用对应的解码方式分别对前 景区域和背景区域进行解码，并将解码后的图像显示于所述图像显示窗口 ；其中，高NALU 优先级所对应的解码方式的压缩率低于低NALU优先级所对应的解码方式。
4.如权利要求1至3任一项所述的方法，其特征在于，所述视频监控编解码系统中的云 台控制窗口与所述图像显示窗口重叠；所述视频监控编解码系统根据用户在云台控制窗口区域的鼠标拖拽操作，确定视频监 控系统摄像头云台的旋转角度，并根据确定出的旋转角度控制摄像头云台的旋转；所述视频监控编解码系统将旋转后的云台上的摄像头所采集的图像显示于所述图像 显不窗口 ο
5.如权利要求4所述的方法，其特征在于，所述方法还包括所述视频监控编解码系统根据用户在所述图像显示窗口区域的鼠标滚动操作，确定前 景区域的缩放比例，并根据确定出的缩放比例控制图像显示窗口中的前景区域的缩放。
6.一种视频监控编解码系统，其特征在于，包括获取模块，用于获取用户在该系统的图像显示窗口所选择的前景区域和背景区域，以 及获取用户选择的前景区域图像质量等级；码率分配模块，用于根据所述获取模块获取到的前景区域图像质量等级，确定前景区 域和背景区域的码率分配比例，并根据该码率分配比例分配前景区域和背景区域的码率；编码器，用于根据所述码率分配模块所分配的前景区域和背景区域的码率，分别对前 景区域和背景区域进行灵活宏块次序FMO编码。
7.如权利要求6所述的视频监控编解码系统，其特征在于，所述码率分配模块具体用 于，前景区域图像质量等级越高，则对前景区域分配的码率比例越高。
8.如权利要求6所述的视频监控编解码系统，其特征在于，所述系统还包括解码器； 所述编码器还用于，在对前景区域和背景区域进行编码时，设置前景区域的NALU优先级高于背景区域的NALU优先级；所述解码器，用于根据NALU优先级使用对应的解码方式分别对前景区域和背景区域 进行解码，并将解码后的图像显示于所述图像显示窗口 ；其中，高NALU优先级所对应的解 码方式的压缩率低于低NALU优先级所对应的解码方式。
9.如权利要求6至8任一项所述的视频监控编解码系统，其特征在于，所述视频监控编 解码系统中的云台控制窗口与所述图像显示窗口重叠；所述系统还包括云台控制模块；所述获取模块还用于，获取用户在云台控制窗口区域的鼠标拖拽操作； 所述云台控制模块，用于根据所述获取模块获取到的用户在云台控制窗口区域的鼠标 拖拽操作，确定视频监控系统摄像头云台的旋转角度，并根据确定出的旋转角度控制摄像 头云台的旋转；所述系统的图像显示模块将旋转后的云台上的摄像头所采集的图像显示于所述图像显不窗口 ο
10.如权利要求9所述的视频监控编解码系统，其特征在于，所述系统还包括前景区域 缩放控制模块；所述获取模块还用于，获取用户在所述图像显示窗口区域的鼠标滚动操作； 所述前景区域缩放控制模块，用于根据所述获取模块获取到的用户在图像显示窗口区 域的鼠标滚动操作，确定前景区域的缩放比例，并根据确定出的缩放比例控制图像显示窗 口中的前景区域的缩放。
全文摘要
本发明公开了一种ROI编码方法及其系统，应用于视频监控编解码系统，该方法包括视频监控编解码系统获取用户在该系统的图像显示窗口所选择的前景区域和背景区域，以及用户选择的前景区域图像质量等级；视频监控编解码系统根据所述前景区域图像质量等级确定前景区域和背景区域的码率分配比例，并根据该码率分配比例分配前景区域和背景区域的码率；视频监控编解码系统根据前景区域和背景区域的码率，分别对前景区域和背景区域进行灵活宏块次序FMO编码。采用本发明可在Slice层和Slice内部的宏块层的两层进行更加精密的码率控制。
文档编号H04N7/26GK101945287SQ20101050581
公开日2011年1月12日 申请日期2010年10月14日 优先权日2010年10月14日
发明者吴参毅 申请人:杭州华三通信技术有限公司