专利名称：视频编、解码方法和视频编、解码装置的利记博彩app
技术领域：
本发明涉及视频编解码技术，尤其涉及一种视频编码方法、视频解码方法和视频
编码装置、视频解码装置。
背景技术：
在视频监控应用中，主要关心一些异常事件(如入侵、越线、徘徊等)、运动目标和 特殊目标(如人脸、车牌等)。随着技术的发展，这些原本靠人工监视并分析的工作，逐渐被 机器分析替代，即采集被监控区域的视频图像，对所述视频图像进行智能视频分析，得到智 能视频分析结果。 目前，智能视频分析的结果和视频图像数据本身是相互独立存在的，二者还没有 一种统一的格式相关联或相结合，因此无法进行统一传输或存储，不便于日后分析和检索。
发明内容
有鉴于此，本发明中一方面提供一种视频编码方法和视频解码方法，另一方面提
供一种视频编码装置和视频解码装置，以便使智能视频分析结果和视频图像数据统一传输
或存储，方便日后分析和检索。 本发明所提供的视频编码方法，包括 采集视频图像，并对所述视频图像进行智能视频分析，得到智能视频分析结果对 应的智能分析信息； 对所述视频图像进行编码，根据同步嵌入规则，将对应智能分析信息的语法嵌入 当前进行编码的同步视频图像的编码单元头语法中，得到嵌入了智能分析信息的视频编码 数据。 较佳地，所述编码单元头语法包括图像头语法或条带头语法。 较佳地，所述对应智能分析信息的语法包括N个智能分析信息单元，N为大于或 等于1的整数。 较佳地，所述对应智能分析信息的语法进一步包括智能分析信息标志，在所述智 能分析信息标志设置为有效时，设置所述N个智能分析信息单元。 较佳地，所述每个智能分析信息单元包括用于表示智能分析信息单元类别的信 息类别元素和用于表示该类别信息关键参数的信息参数元素。 较佳地，该方法进一步包括将所述智能分析信息单元类别划分为两个或两个以 上的层次，所述每个信息类别元素用N个比特位表示，所述N个比特位中的高位用于表示高 层次的类别，所述N个比特位中的低位用于表示低层次的类别。 较佳地，所述智能分析信息单元类别划分为两个层次，所述高层次的类别包括事 件类别和/或目标类别。 较佳地，所述低层次的类别包括对应事件类别的入侵、越线、逆行、遗留、遗失、徘 徊、尾随、聚集、突然变速、翻越、喷涂、遮挡、火灾、烟雾、爆炸、遗洒、低速、超速、碰撞、拥堵中的任意1个或任意组合；和/或，对应目标类别的运动目标、人脸、人体、人体中的设定部 位、车牌、各类型汽车、轮船、动物中的任意1个或任意组合。
本发明所提供的视频解码方法，包括 对视频编码数据进行解码，根据解码的视频图像编码单元头语法中对应智能分析 信息的语法，得到与所述视频图像同步的智能分析信息。
较佳地，所述对应智能分析信息的语法包括设置智能分析信息标志； 在所述智能分析信息标志设置为有效时，设置N个智能分析信息单元，N为大于或
等于1的整数。 较佳地，所述根据解码的视频图像编码单元头语法中对应智能分析信息的语法， 得到与所述视频图像同步的智能分析信息包括 判断当前解码的视频图像编码单元头语法中的智能分析信息标志，在所述智能分 析信息标志有效时，获取之后的N个智能分析信息单元。
本发明所提供的视频编码装置，包括
视频采集单元，用于采集视频图像； 智能分析单元，用于对所述视频图像进行智能视频分析，得到智能视频分析结果 对应的智能分析信息； 信息提供控制单元，用于根据同步嵌入规则，将所述智能分析单元得到的智能分 析信息提供给视频编码单元； 视频编码单元，用于对所述视频采集单元采集的视频图像进行编码，并根据同步 嵌入规则，将对应智能分析信息的语法嵌入当前进行编码的视频图像的编码单元头语法 中，得到嵌入了智能分析信息的视频编码数据。
较佳地，所述视频编码单元包括 语法生成子单元，用于根据同步嵌入规则以及信息提供控制单元提供的智能分析 信息，生成对应智能分析信息的语法； 编码子单元，用于对所述视频采集单元采集的视频图像进行编码，将来自所述语
法生成子单元的对应智能分析信息的语法嵌入当前进行编码的视频图像的编码单元头语
法中，得到嵌入了智能分析信息的视频编码数据。 本发明所提供的视频解码装置，包括 视频解码单元，用于对视频编码数据进行解码； 智能分析信息获取单元，用于根据解码的视频图像编码单元头语法中对应智能分 析信息的语法，得到与所述视频图像同步的智能分析信息。 从上述方案可以看出，本发明中通过在视频压縮编码数据中以固定的格式嵌入智 能分析信息(如各种异常事件信息或运动目标、特殊目标等)，即将对应智能分析信息的语 法嵌入当前进行编码的视频图像的编码单元头(如图像头或条带头)语法中，得到嵌入了 智能分析信息的视频编码数据，该智能分析信息与压縮编码的视频数据一起传输或存储， 与视频画面同步，便于分析和检索。 此外，解码时通过解析图像编码单元头(如图像头或条带头)中对应智能分析信 息(如各种异常事件信息或运动目标、特殊目标等)的相关语法，即可获得每帧图像对应的 智能分析信息。当需要对智能分析信息进行定位检索时，只需要解析并查询图像编码单元头(如图像头或条带头)中对应智能分析信息的相关语法，不需要对视频图像全部解码，因 此可以实现快速检索，此外该检索过程可以用机器或软件程序实现，替代人工检索，提高效 率，节约成本。
图1为本发明中嵌入智能分析信息的视频编解码的系统流程示意图；
图2为本发明实施例中视频编码方法的示例性流程图；
图3为本发明实施例中视频编码装置的示例性结构图；
图4为本发明实施例中视频解码装置的示例性结构图。
具体实施例方式
本发明实施例中，考虑到在视频数据压縮编码时，常划分为图像(picture)和/或
条带(slice)等编码单元。而在视频压縮编码标准中，每一帧图像和/或每一个条带等都
定义了相应的头语法结构，用于在编解码器之间传递相关信息，如帧号、图像或条带类型、
量化参数等等。因此，本发明实施例中，为了使智能分析信息与视频图像数据同步，便于对
特定视频图像的分析和检索，考虑在图像头语法或条带头语法等编码单元头语法中嵌入对
应智能分析信息的语法，使得压縮编码的视频序列中包含同步的智能分析信息。 图1为本发明中嵌入智能分析信息的视频编解码的系统流程示意图。首先，通过
视频采集得到视频图像，并同时根据视频图像进行智能视频分析，得到智能视频分析结果
对应的智能分析信息，根据同步嵌入规则，将得到的智能分析信息提供给视频编码，视频编
码根据同步嵌入规则，将对应智能分析信息的语法嵌入当前进行编码的视频图像的编码单
元头语法中，得到嵌入了智能分析信息的视频编码数据用于传输或存储，从而完成视频的
编码过程。然后视频编码数据经过传输或存储后提供给解码端进行视频解码，根据解码的
视频图像编码单元头语法中对应智能分析信息的语法，得到与所述视频图像同步的智能分
析信息。同时，得到的视频图像可用于显示播放，从而完成视频的解码过程。 下面结合实施例和附图，对本发明进一步详细说明。 图2为本发明实施例中视频编码方法的示例性流程图。如图2所示，该流程包括 如下步骤 步骤201，采集视频图像。 步骤202，对所述视频图像进行智能视频分析，得到智能视频分析结果对应的智能 分析信息。 步骤203，对所述视频图像进行编码，根据同步嵌入规则，将对应智能分析信息的 语法嵌入当前进行编码的同步视频图像的编码单元头语法中，得到嵌入了智能分析信息的 视频编码数据。 相应地，视频编码数据经过存储或传输后到达解码端，解码端可对视频编码数据 进行解码，并根据解码的视频图像编码单元头语法中对应智能分析信息的语法，得到与所 述视频图像同步的智能分析信息。同时，得到的视频图像可用于显示播放。
其中，智能分析信息的语法可表示为
{
智能分析信息单元数N ; for(i = 0 ;i < N ;i++) { 智能分析信息单元[i]; } } 其中，智能分析信息单元数N，代表该帧图像或该条带内存在的智能分析信息单元 数量。具体实现时，可用8-bit (比特)数据表示，表示范围为0 255。 相应地，在解码端解码时，若当前解码的视频图像编码单元头语法中存在智能分 析信息，则获取该智能分析信息。 进一步地，智能分析信息的语法中还可进一步包括智能分析信息标志，并在该智
能分析信息标志为有效时，表示其后存在智能分析信息。如下所示 { 智能分析信息标志； 如果智能分析信息标志为有效，则存在 { 智能分析信息单元数N; for(i = 0 ;i < N ;i++) { 智能分析信息单元[i]; } } } 其中，智能分析信息标志可用1-bit数据表示，例如，可用"1"表示有效，用"0"表 示无效。反之亦然。 相应地，在解码端解码时，可判断当前解码的视频图像编码单元头语法中的智能 分析信息标志，在所述智能分析信息标志有效时，获取之后的智能分析信息。 具体实现时，智能分析信息单元具体可包括以下元素 { 信息类别元素； 信息参数元素； 信息扩展参数存在标志； 如果信息扩展参数存在标志为有效，则存在 { 信息扩展参数长度； 信息扩展参数元素； } } 其中，信息类别元素，代表该智能分析信息单元的类别，包括各种异常事件、运动目标、特殊目标(人脸、车牌)等，每一类占据一个类别。进一步地，可保留若干类别，用于 以后根据技术发展或应用需求而扩展或用户自定义。优选的，信息类别元素可以用8-bit 表示，表示范围为0 255。 进一步的，可以把信息类别划分为两个或多个层次。例如，将信息类别划分为父类 和子类两个层次。对于用N个比特位表示的信息类别元素，父类可占用比特位的高M位，子 类可占用比特位的低N-M位。优选的，对于上述用用8-bit表示的信息类别元素，父类可占 据高2位，并可用"00"代表"事件"，"01"代表"目标"。相应地，子类可占据低6位，并且 对应"事件"的子类可包括入侵、越线、逆行、遗留、遗失、徘徊、尾随、聚集、突然变速、翻越、 喷涂、遮挡、火灾、烟雾、爆炸、遗洒、低速、超速、碰撞、拥堵等等；对应"目标"的子类可包括 运动目标、人脸、人体(可以进一步细分为人头、头发、五官、上半身、躯干、腿部等人体中的 设定部位)、车牌、汽车(可以进一步细分为大客车、卡车、小轿车等)、轮船、动物等等。例 如，若入侵事件的子类别号为6，则可以表示为"0000，0110"，若人脸目标的子类别号为1， 则可以表示为"0100，0001"。或者，也可以父类占据高1位，并可用"0"代表"事件"，"1"代 表"目标"。相应地，子类可占据低7位。 当然，实际应用中，信息类别也可不划分层次，则信息类别元素可直接表示为入 侵、越线、逆行、遗留、遗失、徘徊、尾随、聚集、突然变速、翻越、喷涂、遮挡、火灾、烟雾、爆炸、 遗洒、低速、超速、碰撞、拥堵等事件或运动目标、人脸、人体、人体中的设定部位、车牌，各类 型汽车、轮船、动物等目标中的一种。 信息参数元素，代表该类信息的一些关键参数，根据信息类别分配不同数量的字 节。优选的，对于"事件"信息，信息参数元素长度为l个字节。例如，对于入侵事件，该参数 可以为入侵目标个数和/或入侵的区域标识(存在多个入侵区域时，每个被触发入侵区域 的编号)。对于"目标"信息，信息参数元素包括目标ID号、目标位置、目标大小。优选的， 目标ID号可占据2个字节，目标水平位置可占据2个字节(存储目标矩形框左上角在图像 中的水平位置，可以是以像素或宏块为单位)，目标垂直位置可占据2个字节(存储目标矩 形框左上角在图像中的垂直位置，可以是以像素或宏块为单位)，目标水平方向大小可占据 2个字节(可以是以像素或宏块为单位)，目标垂直方向大小可占据2个字节(可以是以像 素或宏块为单位)。 信息扩展参数存在标志，代表该信息单元是否包含信息扩展参数元素。优选的，用 l-bit数据表示，"1"表示有效，"0"表示无效。 信息扩展参数长度，代表其后信息扩展参数元素的长度，以比特或字节为单位。优 选的，用8-bit数据表示。 信息扩展参数元素，代表信息的扩展参数。例如，对于车牌目标，扩展参数为车牌 号，优选的，该元素长度为7个字节，每个字节对应一个车牌照字符；对于运动目标，扩展参 数包括运动速度和方向。等等。 实际应用中，智能分析信息还可以有其它的表示方法，此处不再一一列举。 以上对本发明实施例中的图像编解码方法进行了详细描述，下面再对本发明实施
例中的编解码装置进行详细描述。 图3为本发明实施例中视频编码装置的示例性结构图。如图3所示，该装置包括 视频采集单元、智能分析单元、信息提供控制单元和视频编码单元。
其中，视频采集单元用于采集视频图像。 智能分析单元用于对所述视频图像进行智能视频分析，得到智能视频分析结果对 应的智能分析信息。 信息提供控制单元用于根据同步嵌入规则，将所述智能分析单元得到的智能分析 信息提供给视频编码单元。 视频编码单元用于对所述视频采集单元采集的视频图像进行编码，并根据同步嵌 入规则，将对应智能分析信息的语法嵌入当前进行编码的视频图像的编码单元头语法中， 得到嵌入了智能分析信息的视频编码数据。 具体实现时，视频编码单元可包括语法生成子单元和编码子单元。 其中，语法生成子单元用于根据同步嵌入规则以及信息提供控制单元提供的智能
分析信息，生成对应智能分析信息的语法。 编码子单元用于对所述视频采集单元采集的视频图像进行编码，将来自所述语法 生成子单元的对应智能分析信息的语法嵌入当前进行编码的视频图像的编码单元头语法 中，得到嵌入了智能分析信息的视频编码数据。 图4为本发明实施例中视频解码装置的示例性结构图。如图4所示，该装置包括 视频解码单元和智能分析信息获取单元。进一步地，还可以包括显示单元。
其中，视频解码单元用于对视频编码数据进行解码。 智能分析信息获取单元用于根据解码的视频图像编码单元头语法中对应智能分
析信息的语法，得到与所述视频图像同步的智能分析信息。 显示单元用于将视频解码单元解码出的视频图像进行显示播放。 本发明实施例中视频编码装置和视频解码装置中各单元的具体实现过程可与本
发明实施例中的视频编码方法和视频解码方法中的相应实现过程一致，此处不再一一赘述。 可见，本发明实施例中，通过在视频压縮编码数据中嵌入智能分析信息，便于智能 视频分析信息与视频数据同步传输和存储，利于日后检索和分析。并且利用统一的语法格 式，在图像头或条带头语法中嵌入智能分析信息，既保证不同编解码器之间信息的兼容，又 不破坏视频图像的固有内容。需要按智能分析信息检索视频内容时，只需要解码并解析图 像或条带头相应语法就能快速定位视频位置，不需要对视频全部解码，检索效率高，而且可 以实现用机器检索代替人工检索。 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保 护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本 发明的保护范围之内。
权利要求
一种视频编码方法，其特征在于，该方法包括采集视频图像，并对所述视频图像进行智能视频分析，得到智能视频分析结果对应的智能分析信息；对所述视频图像进行编码，根据同步嵌入规则，将对应智能分析信息的语法嵌入当前进行编码的同步视频图像的编码单元头语法中，得到嵌入了智能分析信息的视频编码数据。
2. 如权利要求1所述的方法，其特征在于，所述编码单元头语法包括图像头语法或条 带头语法。
3. 如权利要求1所述的方法，其特征在于，所述对应智能分析信息的语法包括N个智 能分析信息单元，N为大于或等于1的整数。
4. 如权利要求3所述的方法，其特征在于，所述对应智能分析信息的语法进一步包括 智能分析信息标志，在所述智能分析信息标志设置为有效时，设置所述N个智能分析信息 单元。
5. 如权利要求4所述的方法，其特征在于，所述每个智能分析信息单元包括用于表示 智能分析信息单元类别的信息类别元素和用于表示该类别信息关键参数的信息参数元素。
6. 如权利要求5所述的方法，其特征在于，该方法进一步包括将所述智能分析信息单元类别划分为两个或两个以上的层次，所述每个信息类别元素用N个比特位表示，所述N 个比特位中的高位用于表示高层次的类别，所述N个比特位中的低位用于表示低层次的类 别。
7. 如权利要求6所述的方法，其特征在于，所述智能分析信息单元类别划分为两个层次，所述高层次的类别包括事件类别和/或目标类别。
8. 如权利要求7所述的方法，其特征在于，所述低层次的类别包括对应事件类别的入侵、越线、逆行、遗留、遗失、徘徊、尾随、聚集、突然变速、翻越、喷涂、遮挡、火灾、烟雾、爆炸、遗洒、低速、超速、碰撞、拥堵中的任意1个或任意组合；和/或，对应目标类别的运动目标、 人脸、人体、人体中的设定部位、车牌、各类型汽车、轮船、动物中的任意1个或任意组合。
9. 一种视频解码方法，其特征在于，该方法包括对视频编码数据进行解码，根据解码的视频图像编码单元头语法中对应智能分析信息 的语法，得到与所述视频图像同步的智能分析信息。
10. 如权利要求9所述的方法，其特征在于，所述对应智能分析信息的语法包括设置 智能分析信息标志；在所述智能分析信息标志设置为有效时，设置N个智能分析信息单元，N为大于或等于1的整数。
11. 如权利要求io所述的方法，其特征在于，所述根据解码的视频图像编码单元头语法中对应智能分析信息的语法，得到与所述视频图像同步的智能分析信息包括判断当前解码的视频图像编码单元头语法中的智能分析信息标志，在所述智能分析信息标志有效时，获取之后的N个智能分析信息单元。
12. —种视频编码装置，其特征在于，该装置包括 视频采集单元，用于采集视频图像；智能分析单元，用于对所述视频图像进行智能视频分析，得到智能视频分析结果对应的智能分析信息；信息提供控制单元，用于根据同步嵌入规则，将所述智能分析单元得到的智能分析信 息提供给视频编码单元；视频编码单元，用于对所述视频采集单元采集的视频图像进行编码，并根据同步嵌入 规则，将对应智能分析信息的语法嵌入当前进行编码的视频图像的编码单元头语法中，得 到嵌入了智能分析信息的视频编码数据。
13. 如权利要求12所述的装置，其特征在于，所述视频编码单元包括 语法生成子单元，用于根据同步嵌入规则以及信息提供控制单元提供的智能分析信息，生成对应智能分析信息的语法；编码子单元，用于对所述视频采集单元采集的视频图像进行编码，将来自所述语法生 成子单元的对应智能分析信息的语法嵌入当前进行编码的视频图像的编码单元头语法中， 得到嵌入了智能分析信息的视频编码数据。
14. 一种视频解码装置，其特征在于，该装置包括 视频解码单元，用于对视频编码数据进行解码；智能分析信息获取单元，用于根据解码的视频图像编码单元头语法中对应智能分析信 息的语法，得到与所述视频图像同步的智能分析信息。
全文摘要
本发明公开了一种视频编码方法、解码方法和视频编码装置、解码装置。其中，视频编码方法包括采集视频图像，并对所述视频图像进行智能视频分析，得到智能视频分析结果对应的智能分析信息，对所述视频图像进行编码，根据同步嵌入规则，将对应智能分析信息的语法嵌入当前进行编码的同步视频图像的编码单元头语法中，得到嵌入了智能分析信息的视频编码数据。视频解码方法包括对视频编码数据进行解码，根据解码的视频图像编码单元头语法中对应智能分析信息的语法，得到与所述视频图像同步的智能分析信息。本发明所公开的技术方案，能够使智能视频分析结果和视频图像数据统一传输或存储，方便日后分析和检索。
文档编号H04N7/26GK101742286SQ200810225749
公开日2010年6月16日 申请日期2008年11月11日 优先权日2008年11月11日
发明者邱嵩, 高飞, 黄英 申请人:北京中星微电子有限公司;中星电子股份有限公司