基于视频移动设备的双向视频编解码系统及其方法
【专利摘要】本发明公开了一种实现低复杂度编解码的基于视频移动设备的双向视频编解码系统及其方法，其通过移动终端低复杂度视频编码器对I帧采用H.264帧内编码方式，对P帧采用块分类压缩采样编码方式，生成压缩后的码流，作为转码器的输入码流；基于云服务器的转码器对P帧采用多假设最优预测重构解码并生成多假设运动估计矢量和残差，采用H.264标准中的4X4块整数变换与量化，生成残差帧变换码流，发送到移动终端中的视频解码器端；移动终端低复杂度视频解码器，对I帧采用H.264帧内解码，对P帧利用多假设运动估计矢量生成预测帧，进一步利用残差码流生成重构P帧。本发明把复杂的多假设最优预测移至转码器端，同时降低编码器和解码器的复杂性，满足移动设备上双向视频监控应用的需要。
【专利说明】基于视频移动设备的双向视频编解码系统及其方法
【技术领域】
[0001] 本发明是属于视频编码领域，尤其是涉及一种基于移动设备的双向视频编解码系 统及其方法。
【背景技术】
[0002] 在移动互联网快速发展背景依托下，移动视频监控技术成为其中发展的重中之 重。移动视频监控突破了地域的限制，实现了远程监控，同时用户也提出了更高的需求，随 着手机及Pad的发展，人们每天使用手机的频率及时间越来越长，监控不再满足于在监控 室里、在PC上来实现，手机作为客户端进行监控的需求日益显现。移动终端不仅仅具有视 频解码功能，更具有视频采集与解码功能，这对双向视频编解码系统提出了新的要求：由于 无线视频编码器电池容量、数字处理能力和运算能力有限，要求无线视频编码器低功耗、低 复杂度；同时无线设备作为解码端，要求无线视频编码器低功耗、低复杂度。
[0003] 目前大多数移动视频监控产品都支持当今的视频压缩编码标准--MPEG-x系列 或H.26x系列标准，这些标准因编码器承担了运动估计、变换、量化、熵编码及相应解码等 大量高复杂计算，使得编码复杂度是解码的5?10倍以上。分布式视频编码在编码时各帧 独立编码，只采用帧内编码方式，二解码是利用边信息进行联合解码，将运动估计、运动补 偿等高计算复杂度的模块移至解码端，从而使得编码端简单。因此，编码复杂度与解码复杂 度是一对矛盾，而双向视频编解码系统需要编码和解码都具有低复杂度，则需要重新设计 编解码系统结构。
【发明内容】
[0004] 为克服现有技术上的不足，针对基于移动设备的双向视频编解码系统要求低复杂 度的编码器，同时要求低复杂度的解码器的应用场合，本发明目的是在于提供一种移动终 端上低复杂度视频编解码器的双向视频编解码系统及其方法，从移动设备视频采集输入， 低复杂度编码传输至云服务器端进行视频转码，转码后的码流传输至低复杂度编解码系 统，把复杂的运算采用先进的云端完成，实现移动设备双向视频编解码功能。
[0005] 为实现上述目的，本发明的技术方案如下：
[0006] -种基于视频移动设备的双向视频编解码系统，该系统包括移动终端低复杂度视 频编码器、云服务器端转码器和移动终端低复杂度视频解码器。
[0007] 所述移动终端低复杂度视频编码器，接受摄像头采集并A/D转换的数字视频信 号，进行低复杂度编码，生成压缩后的码流、通过无线传输网络发送到云服务器端，作为转 码器的输入码流；
[0008] 所述基于云服务器的转码器：接收来自移动终端发送的压缩视频码流，将输入的 视频流完全还原为空间域，然后再按照移动终端低复杂度视频解码器的格式要求将其重新 编码为另一种格式视频码流，通过无线传输网络发送到移动终端中的视频解码器端；
[0009] 所述移动终端低复杂度视频解码器，接收来自云服务端发送的压缩视频码流，进 行解码，生成重构视频码流，用于浏览及播放。
[0010] 一种基于视频移动设备的双向视频编解码方法，其特征是包括下列步骤：
[0011] (1)基于视频移动设备的编码步骤，接收摄像头采集并A/D转换的数字视频信 号，进行低复杂度编码，生成压缩后的码流、通过无线传输网络发送到所述云服务器端转码 器；
[0012] (2)基于云服务器的转码步骤，用于接收来自移动终端发送的压缩视频码流，将输 入的视频流完全还原为空间域，然后按照移动终端低复杂度视频解码器的格式要求将该空 间域重新编码为另一种格式视频码流，通过无线传输网络发送到移动终端中的视频解码器 端；
[0013] (3)基于视频移动设备的低复杂度解码，即移动终端视频解码步骤；用于接收来 自云服务端发送的压缩视频码流，进行解码，生成重构视频码流，在显示器中播放。
[0014] 本发明的有益效果：
[0015] 本发明针对基于移动设备的双向视频编解码系统要求低复杂度的编码器，同时要 求低复杂度的解码器的应用场合，设计从移动设备视频采集输入、编码、传输至云服务器端 进行视频转码，把复杂的多假设运动预测运算在高性能云端完成，转码后的码流传输至移 动设备解码，实现移动设备双向视频编解码功能。
[0016] 相对与现有的视频编解码系统，本发明的创新点体现在以下几点：
[0017] 1)设计了低复杂度的编码器，该编码器对帧内编码帧（P帧）采用常规H. 264帧内 编码方式，对P帧引入压缩感知技术，对P帧与其参考帧I帧的差值进行基于块的压缩感知 测量，对测量值进行编码传输，压缩比较高，避免了复杂的运动估计运算；
[0018] 2)设计了云服务器端基于多假设预测的转码器，把复杂的多假设运动估计移到转 码端，并采用多假设最优预测方法，提高预测精度，生成多假设运动估计矢量，并采用残差 压缩感知重构生成预测残差，与传统压缩感知重构相比，残差压缩感知重构更稀疏，重构效 果进一步提1? ;
[0019] 3)设计了低复杂度的解码器，直接利用转码器发送的多假设运动估计矢量生成预 测帧，降低了解码复杂度；
[0020] 4)设计了基于移动设备的双向视频编解码系统，该系统编解码接口格式符合目 前主流的视频编解码标准，把复杂的运算移到云服务器端，既使编码端简单，又使解码端简 单。
[0021] 下面结合附图和实施例对本发明做进一步的说明。
【专利附图】
【附图说明】
[0022] 图1是本发明的双向视频编解码系统结构框图；
[0023] 图2是本发明的移动终端低复杂度编码器结构框图；
[0024] 图3是本发明的云终端视频转码器结构框图；
[0025] 图4是本发明的帧间多假设最优预测示意图；
[0026] 图5是本发明的移动终端低复杂度解码器结构框图；
[0027] 图6是本发明的编解码方法和其他编解码方法的编码性能对比图。
【具体实施方式】
[0028] 为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合
【具体实施方式】，进一步阐述本发明。
[0029] 本发明提出的基于移动设备的双向视频编解码系统，既可以用软件完成，也可以 用嵌入式硬件系统来实现。图1给出了本发明提出双向视频编解码系统的结构框图，其中 的视频采集输入可以是手机摄像头，传感网络摄像头等一些低能量设备的视频输入终端； 编码器与解码器可以用软件实现，也可以嵌入式并行机作为移动终端，编解码器集成在同 一移动终端设备中；视频转码器一般情况是高性能服务器；网络可以是有线也可以是无线 网络。
[0030] 参见图2, 一种基于移动设备的双向视频编解码方法，其特征是包括如下步骤：
[0031] 1、基于视频移动设备的低复杂度编码：
[0032] 如图2所示，对输入图像进行帧模式判断，把帧分为帧内编码帧（I帧）、帧间编码 帧（P帧）进行编码。对I帧采用H. 264帧内模式编码；对P帧，采用对当前帧P帧与其参 考帧之间残差帧进行给予块压缩感知测量方式编码。其特征是包括如下步骤：
[0033] 步骤1 :移动终端通过自身的摄像头进行视频图像采集，设定帧组（G0P)的最大帧 数L，每个G0P的第一帧作为帧内编码帧（I帧），其余作为帧间编码帧（P帧）；
[0034] 步骤2 :对I帧进行H. 264帧内编码，生成I帧码流，通过传输网络发送到云服务 器转码器端；
[0035] 步骤3 :生成残差帧：用当前帧间编码帧（P帧）P与其参考帧I的差值来生成残差 帧D，即残差帧为：
[0036] D(x, y) = P (x, y)-I (x, y) (1)
[0037] 其中（x，y)为帧像素的坐标。
[0038] 步骤4 :对残差帧进行16 X 16块划分，分别计算各块的绝对残差和SAD，第K块的 绝对残差和SADk的计算如下：
[0039]
【权利要求】
1. 一种基于视频移动设备的双向视频编解码系统，其特征在于，该系统包括： 移动终端低复杂度视频编码器，用于接收摄像头采集并A/D转换的数字视频信号，进 行低复杂度编码，生成压缩后的码流、通过无线传输网络发送到所述云服务器端转码器； 云服务器端转码器，用于接收来自移动终端发送的压缩视频码流，将输入的视频流完 全还原为空间域，然后按照移动终端低复杂度视频解码器的格式要求将该空间域重新编码 为另一种格式视频码流，通过无线传输网络发送到移动终端中的视频解码器端； 移动终端低复杂度视频解码器，用于接收来自云服务端发送的压缩视频码流，进行解 码，生成重构视频码流，在显示器中播放。
2. 根据权利1所述的一种基于视频移动设备的双向视频编解码系统的编解码方法，其 特征在于：其方法包括如下步骤： (1) 基于视频移动设备的编码步骤，接收摄像头采集并A/D转换的数字视频信号，进行 低复杂度编码，生成压缩后的码流、通过无线传输网络发送到所述云服务器端转码器； (2) 基于云服务器的转码步骤，用于接收来自移动终端发送的压缩视频码流，将输入的 视频流完全还原为空间域，然后按照移动终端低复杂度视频解码器的格式要求将该空间域 重新编码为另一种格式视频码流，通过无线传输网络发送到移动终端中的视频解码器端； (3) 基于视频移动设备的低复杂度解码，即移动终端视频解码步骤；用于接收来自云 服务端发送的压缩视频码流，进行解码，生成重构视频码流，在显示器中播放。
3. 根据权利2所述的一种基于视频移动设备的双向视频编解码系统的编解码方法，其 特征在于：所述的基于视频移动设备的编码步骤，其方法步骤包括如下： (11) .移动终端通过自身的摄像头进行视频图像采集，设定帧组的最大帧数L ; (12) .每个定帧组的第一帧作为帧内编码帧进行编码，生成I帧码流，通过传输网络发 送到云服务器转码器端； (13) .生成残差帧；用当前帧间编码帧P与其参考帧I的差值来生成残差帧D，即残差 帧D为： D(x, y) = P(x, y)-I (x, y) (1) 其中（x，y)为帧像素的坐标； (14) .根据关键帧与当前帧间编码帧P之间相同位置块之间的绝对平均差，把当前帧 间编码帧P中的图像块分成静止块、小变化块和大变化块； (15) .对当前帧间编码帧P进行块划分，按块独立进行测量，采用一个与块相同尺寸的 测量矩阵；对当前帧间编码帧P的静止块、小变化块和大变化块采用不同的测量率进行测 量； (16) .将块测量值矢量及块类型进行量化、熵编码，向云服务器转码器端传输每个P帧 块的块类型和测量值数据； (17) .对帧模式信息码流的熵编码：按照帧的次序以帧头信息方式对每帧进行模式信 息编码，模式码流采用熵编码压缩后发送到解码端。
4. 根据权利3所述的一种基于视频移动设备的双向视频编解码系统的编解码方法，其 特征在于：所述步骤（12)中，每个定帧组的第一帧作为帧内编码帧进行H. 264帧内编码。
5. 根据权利3所述的一种基于视频移动设备的双向视频编解码系统的编解码方法，其 特征在于：所述步骤（15)中，对当前帧间编码帧P进行16 X 16块划分；S卩，设&表示输入 图像D的第j块以光栅扫描得到的矢量表示，尺寸为162X 1，则对应的块测量值矢量yj表 示为： Yj = Φβ^· (2) 其中，ΦΒ为ΜβΧ 162的随机置乱DCT测量矩阵，则测量率Rm = Μβ/162。
6. 根据权利3所述的一种基于视频移动设备的双向视频编解码系统的编解码方法，其 特征在于：所述步骤（17)中，所述帧头信息用1个bit表示：0表示I帧，1表示Ρ帧。
7. 根据权利2所述的一种基于视频移动设备的双向视频编解码系统的编解码方法，其 特征在于：所述步骤（2)的基于云服务器的转码步骤，具体包括以下步骤： (21) .从传输信道接收码流，对帧模式码流进行熵解码； (22) .读出帧组GOP的长度信息L ; (23) .读取帧模式信息，分为I帧和P帧； (24) .对I帧采用相应的内解码器解码，并保存在帧缓存器中，作为同一帧组中P帧的 参考巾贞； (25) .对P帧，接收并解码出当前第j块的块类型，并解出相应长度的测量值矢量yj， 求解式（3)找出与参考帧参考块的最稀疏表示
(3) 其中，ΦΒ为MBX 162的随机置乱DCT测量矩阵，Hj相当于字典，Hj的每一列由假设块数 据列向量化组成，假设块数据选自帧组中已解码P帧内与当前块相邻位置的图像块，对于 每一块，用迭代Tikhonov正则化解法直接求出Aj，相当于当前块的多假设运动估计矢 量权重列向量，简称多假设运动估计矢量：
(4) 其中λ为尺度参数，控制式（4)中Tikhonov正则化项的影响程度；并利用字典Η」来 求解当前块的预测值$，巧相当于多个假设块的线性组合： 力， (5) 将得到的P帧的所有预测块按位置顺序组合在一起，得到P帧的边信息帧X。 (26) .利用P帧的所有块测量值y和边信息文得到P帧与与参考帧之间的残差帧义； (27) .对残差帧文采用H. 264标准中的4 X 4块整数变换、量化，生成残差帧变换码流； (28) .将步骤（25)得到的多假设运动估计矢量将步骤（26)得到的残差帧变换码 流进行H. 264标准中的熵编码，生成P帧信息码流； (29) .将步骤（28)得到的P帧信息码流以及从传输信道接收到的I帧信息码流、帧信 息码流进行复接，作为转码器的输出通过网络发送至移动终端解码端。
8. 根据权利2所述的一种基于视频移动设备的双向视频编解码系统的编解码方法，其 特征在于：基于视频移动设备的低复杂度解码，具体包括以下步骤： (31) .从传输信道接收码流，对帧模式码流进行熵解码； (32) .读出帧组GOP的长度信息L ; (33) .读取帧模式信息，分为I帧和P帧； (34) .对I帧采用相应H. 264帧内解码器解码，并保存在帧缓存器中，作为同一帧组中 P帧的参考帧； (35) .对P帧码流进行熵解码，分为残差帧数据码流和多假设运动估计矢量信息； (36) .读取残差帧数据码流，反量化、反整数变换，生成残差帧； (37) .解码出多假设运动估计矢量信息与块位置信息，对于第j块，利用参考帧，选 取已解码P帧内与当前块相邻位置的图像块列向量化生成字典矩阵Η'_，由式（6)生成当前 块的预测块文'：
(6) 将得到的P帧的所有预测块按位置顺序组合在一起，生成P帧的预测帧又'； (38) .对残差帧数据码流反量化、反变换，生成解码残差帧A ; (39) .将预测帧免加上解码残差巾贞左，生成P帧的重构帧户，即
(7); (310).对解码的I帧和P帧通过h. 264去方块滤波器滤波后，按帧序号在视频显示器 中播放。
【文档编号】H04N19/40GK104301730SQ201410542985
【公开日】2015年1月21日 申请日期:2014年10月14日 优先权日:2014年10月14日
【发明者】朱金秀, 张瑶, 倪建军, 张学武, 樊宇航, 任旭东, 倪舒淇 申请人:河海大学常州校区