基于cs测量值多描述的视频编解码方法
【专利摘要】本发明公开了一种基于CS测量值多描述的视频编码方法，编码方法包括：将视频图像序列分为关键帧和CS帧：对关键帧采用基于块的测量、量化、熵编码；对CS帧利用多描述的思想将基于块的测量值分两路描述，分别进行量化、熵编码。解码方法包括：接收关键帧数据后先进行熵解码反量化得到测量值，对关键帧的块初始重构、帧内多假设预测重构；接收CS帧多描述码流后，熵解码反量化；基于多描述的测量值生成；CS帧多描述自适应帧间多假设重构。本发明在不增加编码端复杂度的情况下，提高视频图像重构质量及鲁棒性。
【专利说明】基于CS测量值多描述的视频编解码方法
【技术领域】
[0001] 本发明涉及一种基于CS测量值多描述的视频编码方法，还涉及一种针对该视频 编码的视频编码方法，属于图像通信【技术领域】。
【背景技术】
[0002] 随着多媒体技术的发展，大量的视频数据传输成为迫切的需求。由此带来的网络 拥塞，随机比特错误及数据包丢失给视频数据传输带来巨大挑战。分布式视频压缩感知系 统利用联合稀疏模型（JSM, Joint Sparsity Model)结合压缩感知和分布式视频编码的特 点，在视频编码端对视频数据进行分别压缩感知测量，在解码端利用连续帧相关性生成边 信息实现联合解码。降低编码端复杂度，提高重构质量及系统的鲁棒性。
[0003] 多描述编码（MDC, Multiple Description Coding)为解决高误码环境下数据传输 的抗差错和抗误码率方法，通过将信号分解成多个可独立但同时又有一定相关性的码流并 在多个信道中传输。由于多个信道同时出错概率非常低，即使部分描述码流丢失，仍可得到 可接受的图像质量。收到的描述越多，重建质量越高。
[0004] 现有的多描述方法主要有：基于抽样的多描述编码、基于量化的多描述编码、基于 变换的多描述编码和基于非平等保护的多描述编码：基于抽样的多描述编码利用视频信号 的空间、时间上的相关性，在时间或空间抽样形成多描述，由于视频信号具有空间、时间上 的相关性，因此在时间或空间上抽样形成的多路描述就具有了一定的冗余度，且容易形成 平衡多描述；基于量化的多描述编码是通过对信号源进行不同精度量化和冗余分配相结合 形成多个描述，但基于量化的多描述编码相对较复杂，对实时性要求较高的场合不太适用； 基于相关变换的多描述编码方案将成对相关变换思想引入到多描述编码方案中，但成对相 关变换只适用于两路描述的情况；基于非平等保护的多描述编码方案是将信源码流分成不 同重要程度的数据段，然后使用不同数量的纠错码来保护不同的数据段，但是基于非平等 保护的多描述编码方案要求原始的码流具有一定的质量可分级性，即待编码码流需要具有 不同程度的重要性，实际中使用的编码方法中并非总是能满足这个要求，因此限制了其实 际应用。
【发明内容】
[0005] 本发明的目的在于克服现有技术中的不足，提供一种基于CS测量值多描述的视 频编码方法，能够在不增加编码复杂度的情况下，提高视频图像重构质量及鲁棒性。
[0006] 基于CS测量值多描述的视频编码方法所采用的技术方案具体如下：
[0007] 基于CS测量值多描述的视频编码方法，包括以下步骤：
[0008] 11)将视频帧分为关键帧和CS帧；
[0009] 12)对关键帧编码
[0010] 12a)对关键帧进行基于块的压缩测量，得到基于块的关键帧测量值；
[0011] 12b)对得到的关键帧测量值进行量化、熵编码；
[0012] 13)对CS帧编码
[0013] 13a)对CS帧进行基于块的压缩测量，得到基于块的CS帧测量值；
[0014] 13b)对得到CS帧测量值进行智能多描述编码，形成两路描述；
[0015] 13c)对得到的两路描述分别进行量化、熵编码。
[0016] 步骤12a)、13a)中所述基于块的压缩测量步骤如下：
[0017] 第1步，将拟采样的视频帧分成大小相同、互不重叠的方形图像块；
[0018] 第2步，用随机测量矩阵对图像块其进行压缩采样，得到每个图像块的测量值向 量。
[0019] 步骤12a)中所述基于块的压缩测量中关键帧的测量率大于步骤13a)中CS帧的 测量率。
[0020] 步骤13b)中所述CS帧测量值智能多描述编码过程如下：
[0021] 第1步，将13a)中每一块测量值列向量化；
[0022] 第2步，将列向量化的向量按块顺序组合成测量值矩阵；
[0023] 第3步，采用交织编码将测量值矩阵分解成两路描述：提取测量值矩阵的奇数列 作为第一路描述，并标记为Ml ;提取测量值矩阵的偶数列作为第二路描述，并标记为M2。
[0024] 本发明的另一目的在于提供一种基于CS测量值多描述的视频解码方法，该视频 解码方法是针对前述的基于CS测量值多描述的视频编码而进行的，其所采用的技术方案 是：基于CS测量值多描述的视频解码方法，包括以下步骤：
[0025] 21)关键帧的重构，具体操作步骤如下：
[0026] 21a)在解码端首先对关键帧的码流进行熵解码及反量化，得到每个关键帧帧块的 测量值；
[0027] 21b)对关键帧的每个块测量值进行块初始重构，然后将重构块按照块顺序组合得 到初始重构的关键帧；
[0028] 21c)对初始重构的关键巾贞，利用帧内多假设算法对每一块进行帧内字典构造；
[0029] 21d)利用帧内字典和当前块的信息在测量域通过求解最优化方法得到边信息块， 然后将边信息块按照块顺序组合，得到边信息帧；
[0030] 21f)利用测量矩阵计算边信息帧测量值，然后联合边信息帧的测量值和关键帧的 测量值进行残差稀疏重构，生成残差帧；
[0031] 21g)将残差帧与边信息帧相加，得到重构的关键帧；
[0032] 22) CS帧的重构，具体操作步骤如下：
[0033] 22a)在解码端首先对CS帧的码流进行熵解码及反量化，得到CS帧每个图像块测 量值；
[0034] 22b)判断收到多描述测量值的数目，若只收到一路多描述测量值，跳转至22c)， 若收到两路多描述测量值，跳转至22d);
[0035] 22c)若只收到一路多描述测量值Mi (i = 1，2)，则进一步判断收到的是第一路描 述M1，还是第二路描述M2，并分别进行测量值补充，利用关键帧同位置块测量值与收到测量 值组合成重构块测量值矢量；
[0036] 22d)若收到两路多描述测量值，则将两路多描述测量值按顺序组合成当前CS帧 完整的测量矢量；
[0037] 22e)利用前一关键帧通过帧间多假设预测算法对当前块进行帧间字典构造；
[0038] 22f)利用帧间字典和当前块信息在测量域通过求解最优化方法得到边信息块，然 后按照块顺序进行组合得到边信息帧；
[0039] 22g)利用测量矩阵计算边信息帧的测量值，联合边信息帧和当前CS帧在测量域 进行残差稀疏重构，生成残差巾贞；
[0040] 22h)残差帧与边信息帧相加，得到重构的CS帧。
[0041] 步骤21c)中所述帧内字典构造过程如下：
[0042] 对当前块进行帧内字典构造时，以当前块为中心，确定搜索窗口的位置和尺寸，通 过滑动取块取出搜索窗口中所有参考块，将取得的参考块列向量化后组合成为当前块的字 典。
[0043] 步骤21d)和22f)中的求解最优化方法为先求解稀疏系数
【权利要求】
1. 基于CS测量值多描述的视频编码方法，其特征在于，包括以下步骤： 11) 将视频帧分为关键帧和CS帧； 12) 对关键帧编码： 12a)对关键帧进行基于块的压缩测量，得到基于块的关键帧测量值； 12b)对得到的关键帧测量值进行量化、熵编码； 13) 对CS帧编码： 13a)对CS帧进行基于块的压缩测量，得到基于块的CS帧测量值； 13b)对得到CS帧测量值进行智能多描述编码，形成两路描述； 13c)对得到的两路描述分别进行量化、熵编码。
2. 根据权利要求1所述的基于CS测量值多描述的视频编码方法，其特征在于：步骤 12a)、13a)中所述基于块的压缩测量步骤如下： 第1步，将拟采样的视频帧分成大小相同、互不重叠的方形图像块； 第2步，用随机测量矩阵对图像块其进行压缩采样，得到每个图像块的测量值向量。
3. 根据权利要求1所述的基于CS测量值多描述的视频编码方法，其特征在于：步骤 12a)中所述基于块的压缩测量中关键帧的测量率大于步骤13a)中CS帧的测量率。
4. 根据权利要求1所述的基于CS测量值多描述的视频编码方法，其特征在于：步骤 13b)中所述CS帧测量值智能多描述编码过程如下： 第1步，将13a)中每一块测量值列向量化； 第2步，将列向量化的向量按块顺序组合成测量值矩阵； 第3步，采用交织编码将测量值矩阵分解成两路描述：提取测量值矩阵的奇数列作为 第一路描述，并标记为Ml ;提取测量值矩阵的偶数列作为第二路描述，并标记为M2。
5. 基于CS测量值多描述的视频解码方法，其特征在于，包括以下步骤： 21) 关键帧的重构，具体操作步骤如下： 21a)在解码端首先对关键帧的码流进行熵解码及反量化，得到每个关键帧帧块的测量 值； 21b)对关键帧的每个块测量值进行块初始重构，然后将重构块按照块顺序组合得到初 始重构的关键帧； 21c)对初始重构的关键帧，利用帧内多假设算法对每一块进行帧内字典构造； 21d)利用帧内字典和当前块的信息在测量域通过求解最优化方法得到边信息块，然后 将边信息块按照块顺序组合，得到边信息帧； 21f)利用测量矩阵计算边信息帧测量值，然后联合边信息帧的测量值和关键帧的测量 值进行残差稀疏重构，生成残差巾贞； 21g)将残差帧与边信息帧相加，得到重构的关键帧； 22. CS帧的重构，具体操作步骤如下： 22a)在解码端首先对CS帧的码流进行熵解码及反量化，得到CS帧每个图像块测量 值； 22b)判断收到多描述测量值的数目，若只收到一路多描述测量值，跳转至22c)，若收 到两路多描述测量值，跳转至22d); 22c)若只收到一路多描述测量值Mi (i = 1，2)，则进一步判断收到的是第一路描述M1, 还是第二路描述M2，并分别进行测量值补充，利用关键帧同位置块测量值与收到测量值组 合成重构块测量值矢量； 22d)若收到两路多描述测量值，则将两路多描述测量值按顺序组合成当前CS帧完整 的测量矢量； 22e)利用前一关键帧通过帧间多假设预测算法对当前块进行帧间字典构造； 22f)利用帧间字典和当前块信息在测量域通过求解最优化方法得到边信息块，然后按 照块顺序进行组合得到边信息帧； 22g)利用测量矩阵计算边信息帧的测量值，联合边信息帧和当前CS帧在测量域进行 残差稀疏重构，生成残差巾贞； 22h)残差帧与边信息帧相加，得到重构的CS帧。
6. 根据权利要求5所述的基于CS测量值多描述的视频解码方法，其特征在于：步骤 21c)中所述帧内字典构造过程如下： 对当前块进行帧内字典构造时，以当前块为中心，确定搜索窗口的位置和尺寸，通过滑 动取块取出搜索窗口中所有参考块，将取得的参考块列向量化后组合成为当前块的字典。
7. 根据权利要求5所述的基于CS测量值多描述的视频解码方法，其特征在于：步骤 21d)和22f)中的求解最优化方法为先求解稀疏系数=argmjn|yM-然后由 戈，=AA,得到当前块的最佳预测块，即边信息块对； 其中Du为字典，t表示帧序号，i表示块序号，Ob为块测量矩阵，为当前待解码块 的测量值向量。
8. 根据权利要求5所述的基于CS测量值多描述的视频解码方法，其特征在于：步骤 21f)中所述残差稀疏重构是指首先计算边信息帧的测量值和关键帧的测量值yK之间的 残差测量值k ，然后对残差利用基于块的投影光滑Landwebei算法进行稀疏重构 得到残差巾贞ZK。
9. 根据权利要求5所述的基于CS测量值多描述的视频解码方法，其特征在于：步骤 22c)中测量值补充方法如下： 若收到的描述为测量值的奇数列，即为第一路描述M1，且每一列向量长度为L，则采用 前一关键帧测量值的偶数列对当前CS帧测量值进行补充，并且每一列只取前L个值； 若收到的描述为测量值的偶数列，即为第二路描述M2，且每一列向量长度为L，则采用 前一关键帧测量值的奇数列对当前CS帧测量值进行补充，并且每一列只取前L个值。
10. 根据权利要求5所述的基于CS测量值多描述的视频解码方法，其特征在于：步骤 22e)中所述帧间字典构造过程如下： 对当前块CSi进行帧间字典构造时，选取当前块CSi相同位置的前一关键帧的帧块为中 心，确定搜索窗口的位置和尺寸，通过滑动取块取出搜索窗口中所有参考块，将取得的参考 块列向量化后组合成为当前块CSi的字典。
11. 根据权利要求5所述的基于CS测量值多描述的视频解码方法，其特征在于：步骤 22g)中所述残差稀疏重构是指首先计算边信息帧的测量值和CS帧的测量值yes之间的 残差测量值，然后对残差利用基于块的投影光滑Landweber算法进行稀疏重 构得到残差巾贞Zcs。
【文档编号】H04N19/39GK104333757SQ201410555088
【公开日】2015年2月4日 申请日期:2014年10月17日 优先权日:2014年10月17日
【发明者】张瑶, 朱金秀, 倪建军, 张学武, 裴颖, 程浩, 毛欢欢, 倪舒淇, 汤一彬 申请人:河海大学常州校区