专利名称：一种基于分布式编码技术的多视点视频传输差错控制方法
技术领域：
本发明属于视频编码和处理领域，具体涉及多视点视频压缩编码过程中差错控制算法的研究。
背景技术：
多视点视频压缩在3DTV、自由视点电视和视频监控等领域具有广泛的应用。多视点视频序列是多个摄像机从不同角度拍摄同一场景得到的一组视频信号。相对单视点视频序列而言，由于视点数量的増加，多视点视频序列需要更大的存储空间和更高效的传输效率。多视点视频编码(Multiview video coding,MVC)作为H. 264/AVC标准的扩展，采用分级B帧预测结构，分别利用运动估计和视差估计来消除时域和视点间的冗余性。为了减少编码的复杂度,本发明采用Heinrich-Hertz-Institute(HHI)提出的一种简化的MVC预测结构(称为KS_IPP多视点编码框架)，如图I所示。该编码框架与标准的多视点预测框架相比，在编码性能上略有下降，但是复杂度大大降低。编码结构中包含视点的个数为8，G0P的长度为8。在每个图像组(Group of Picture,GOP)中，Vn表示不同的视点，Tn表示连续的时间点，关键帧为图中有阴影的各帧。视点内时域方向采用分级的B帧的编码结构，而视点间在关键帧则采用传统的IPPP结构进行预测。该编码结构相对于多视点联级编码(Simulcast Video Coding)而言,虽然取得较高的编码效率,但是传输过程更容易受到差错的扩散影响。在多视点视频传输过程中，如果非关键帧发生丢包错误，错误将在视点内部沿着预测方向进行扩散；如果在关键帧发生错误，差错将在时域和相邻视点方向进行扩散，进而造成解码图像质量严重下降。显然，关键帧出错对解码图像的质量的影响将比非关键帧出错带来的影响大。近年来，分布式视频编码受到研究者的广泛关注。分布式视频编码(Wyner-Ziv)WZ编码采用独立编码、联合解码的策略，有效的将编码端的计算复杂度转移至解码端，很好的满足了编码资源有限、解码资源丰富的视频应用环境的需求。由于WZ编码对视频帧进行独立编码，仅考虑WZ编码帧与边信息之间的相关性统计，只要在解码端使用符合相关性的边信息就可以正确解码。因此信道出错不会影响其它图像帧的恢复，具有较强的抗差错性。另外，WZ编码的编码器以信道编码技术为基础。这样，WZ编码不仅能够通过校验数据纠正源信息与边信息之间的误差，还可以纠正信道传输导致的校验位出错。因此，WZ视频编码具有较好的传输鲁棒性，将其应用于差错信道上的多视点视频数据传输已经成为可能。但是在単独的分布式视频编码中，由于难于准确的估计各独立编码信源间的统计相关性，WZ编码的性能仍低于传统的预测视频编码技木。
发明内容
鉴于现有技术的以上不足，本发明的目的在于提出一种结合分布式编码来保护多视点视频关键帧的传输差错控制方法，使之能有效地减小传输差错在视点间和视点内的扩散，保护多视点视频解码重建图像的质量。
本发明的目的通过如下手段来实现。—种基于分布式编码技术的多视点视频传输差错控制方法，用于减小传输差错在视点间和视点内的扩散，保护多视点视频解码重建图像的质量，其特征在于，先进行多视点视频各视点关键帧的传输失真度建模，然后再根据关键帧的失真度来估计所需要纠正传输错误的WZ码率，最后通过率失真代价进行自适应选择WZ帧的差错保护；在编码端，一方面对各视点进行基于运动和视差补偿的预测编码，生成的多视点码流作为主码流在信道上传输；另一方面关键帧根据估计的传输失真度和WZ码率计算率失真代价从而自适应选择是否需要WZ帧的保护，对需要WZ保护的视点关键帧的重建帧再进行WZ帧的编码，生成的WZ比特流作为辅助码流进行传输；在解码端，把受到WZ帧保护的关键帧的差错掩盖帧作为WZ解码的边信息，通过对边信息的纠错完成WZ的解码，包括以下的手段A.编码端A. I关键帧的传输失真度估计
多视点视频关键帧传输失真度模型dc{v,nJ) = E{(X[n-Xirn)2)=(1-P)dcref ，rref 7 f) + p{decr (v,n, /) + dcec(vec ,rcc,k))表示某个视点的关键帧的某个像素在编码端和解码端重建值的均方差的期望，其中尤.,,表示视点V中第n帧第i个像素的原始值，用分别表示该像素在多视点编码端和解码端的重建值；传输失真主要包括三个方面，分别为dec^(V，n，i)表示编码关键帧与掩盖帧像素在编码端重建值之间的失真，dc_ref(vref, rref, j)表示不出错情况下由参考帧像素带来的信道扩散失真，dc ec(vec, rec, k)表示出错情况下由掩盖帧像素带来的信道扩散失真，其中当前编码的关键帧是由前一个视点的关键帧通过视差预测补偿得到，即参考帧和掩盖帧就是前一个视点的关键帧；某个关键帧的总的传输失真度便是某一帧所有像素的失真度之和；其中P表示信道的丢包率；A.2WZ编码码率估计根据关键帧估计的失真度和估计的已解码比特平面，利用源信息和边信息的相关噪声模型在WZ编码端进行码率估计，预测关键帧中某个像素的比特平面尤丨1正确解码所需要的最小码率为R(/C ) =) = -P'::1" X iog(p； )-(1-Pi,) X Iogd - /；；,)其中表示在二进制对称信道下源信息比特平面;^,已知的情况下边信
息的比特平面尤i的条件熵，用P[ L表示源信息比特平面和边信息比特平面尤’二之间的
交叉转移概率，而源信息和边信息的差值在像素域是符合拉普拉斯分布的；A. 3自适应选择WZ帧差错保护通过比较关键帧加入WZ帧保护和没有加入WZ帧保护所需要的率失真代价，自适应的选择是否需要WZ帧差错保护。如果关键帧加入了 WZ帧的保护，此时的率失真代价为人 = A + Dl +D;r +D= + Myjl其中Al表示当前视点的关键帧信源失真，D表示关键帧的已有的传输失真；代表示当前视点关键帧扩散到下一个视点的关键帧的潜在的扩散失真；同样，Al表示当前视点关键帧在时域方向扩散到视点内的潜在扩散失真；Rv, n表示为多视点编码视点关键帧需要的码率；如果关键帧未加入WZ帧的保护，此时的率失真代价为a+MOKJ
其中^<〖为估计的辅助的WZ保护的码率；估计得到Jv,n和之后,如果& > JZ，那么某个视点关键帧将采用WZ帧进行差错保护，否则将不采用WZ帧额外进行差错保护；B.解码端多视点视频码流首先进行视点内和视点间的差错掩盖解码，然后把某个受到WZ帧保护的关键帧的差错掩盖帧作为WZ解码器的边信息，经过对边信息的纠错完成WZ解码，这时边信息的解码图像质量得到恢复；在WZ的解码端，估计过少校验位将通过反馈信道再次向编码端请求，最终完成WZ的完全解码。采用本发明的方法，在KS_IPP多视点编码框架下，多视点视频的关键帧将自适应的采取WZ帧编码进行差错保护。在编码端，采用WZ帧保护的视点关键帧除了进行多视点编码之外，还采用WZ帧进行编码产生辅助码流，在解码端对应的经过差错掩盖的多视点解码帧作为WZ帧解码的边信息。WZ解码过程中通过对边信息的纠错可以提高受到WZ保护的多视点关键帧的重建图像质量，这样传输差错扩散在此被抑制了，进而提高了整个视频序列的解码质量。由于在WZ解码端，WZ保护下的视点关键帧的差错掩盖帧作为分布式解码的边信息，而WZ的码率主要是取决于源信息和边信息之间的统计相关性。因此在这里，WZ码率大小就是纠正关键帧错误所需要的比特数，也就是取决于关键帧的传输失真。所以本发明首先建立了基于视差补偿预测的关键帧传输失真度模型。传输失真不仅包含关键帧本身出错带来的失真，还包含相邻视点关键帧带来的扩散失真。在多视点编码端传输失真度估计的基础上，根据已经解码的比特平面和相关噪声模型进行码率估计，保证WZ帧正确解码所需要传输的最小码率。估计的WZ码率可以衡量需要传送附加码流的多少。根据估计的失真度和WZ码率，可以计算额外加入WZ保护之后的率失真代价，把这个率失真代价与在差错信道下视点关键帧的率失真代价进行比较，然后视点关键帧自适应的选择是否需要额外加入WZ帧进行差错保护。采用本发明方法，通过增加少量的辅助码流能够有效地减小传输差错在视点间的扩散，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。
如下图I多视点视频编码的KS_IPP预测结构示意2本发明方法的基于分布式的多视点视频编码的差错控制示意3加入WZ帧保护的多视点视频编码的容错框架示意图。
具体实施例方式本发明的具体实施过程详述如下。图I是本发明采用的一种简化的KS_IPP预测结构。这种MVC编码结构在编码效率和复杂度之间取的了平衡，具有很强的实用性。除了各视点的关键帧采用了视点间预测夕卜，其余帧均在视点内时域方向采用分级B帧的预测结构。图2是基于分布式的多视点视频编码差错控制流程图。为了防止编解码端重建缓存的漂移，输入WZ编码器的源信息为某个视点关键帧的重建帧，生成的WZ比特流作为辅助码流进行传输。在本发明中，首先需要在像素域估计多视点码流传输所带来的传输失真，传输失真是针对某个特定的丢包率和视点间的掩盖策略进行估计的；然后在WZ编码中利用 已解码的高位比特平面和源信息与边信息的差值概率模型来估计低位比特平面的码率。在估计关键帧的失真度和WZ码率之后，8个视点的关键帧根据率失真代价进行自适应选择是否需要额外加入WZ帧进行差错保护。在解码端，把经过受到WZ保护的视点关键帧的掩盖帧作为WZ帧解码的边信息，通过对边信息进行纠错，使得关键帧图像质量得到了较好的恢复，从而阻止了差错在视点间和视点内的扩散，较好的提高了多视点码流的抗差错性能。图3是加入WZ帧的多视点视频编码的容错框架，在KS_IPP编码框架下，各个视点的关键帧根据率失真代价自适应的选择是否需要额外加入WZ帧进行差错保护。图中表示视点3和视点7的关键帧根据率失真代价选择了 WZ帧编码产生辅助码流进行传输差错的保护。再对本发明的实施方法作下详述A.编码端根据图2所示的基于分布式的多视点编码差错控制流程图，在编码端，一方面对各视点进行基于运动和视差补偿的预测编码，生成的多视点码流作为主码流在信道上传输；另一方面关键帧根据估计的传输失真度和WZ码率计算率失真代价从而自适应选择是否需要WZ帧的保护，对需要WZ保护的视点关键帧的重建帧再进行WZ帧的编码，生成的WZ比特流作为辅助码流进行传输。本发明首先进行多视点视频各视点关键帧的失真度建模，然后再根据关键帧的失真度来估计所需要纠正传输错误的WZ码率，最后通过率失真代价进行自适应选择WZ帧的差错保护。A. I关键帧的传输失真度估计I表示视点V中第n帧第i个像素的原始值，用尤和 分别表示该像素在多视
点编码端和解码端的重建值。假设像素i的参考像素为视点Vref中第rref帧的像素j，预测
残差在编码端的重建值为I。如果像素i在传输过程中发生丢失，在解
码端通过某种错误掩盖算法用视点中第匕。帧的第k个像素进行掩盖。如果出错的是经过WZ帧保护的关键帧，那么还需把经过差错掩盖之后多视点解码像素作为边信息进行WZ帧的解码。假设视频传输过程中丢包率为P，则dc{v,nJ) = E{{rvn-rvn)2} (I)=(1-P)dc ref (vref, rref, j) + p(dec , (v, ’/) + dc ec(vec，rec,k))其中cU Jv，n，i)表示表示编码像素的重建值和掩盖像素重建值的失真，这个失真可以在编码端计算得到。d。(vMf，rMf，j)表示参考像素为视点Vm中第rMf帧的像素j带来的扩散失真，dc ec(vec, rec, k)表示掩盖像素为视点中第帧的像素k带来的扩散失真。从公式(I)可以看出，即使当前编码像素不出错，也可能会由于参考图像出错而带来差错。已经编码像素的传输失真保存在缓冲队列中，供后续的像素失真度计算使用。其它各帧像素的扩散失真通过已经编码的参考帧和掩盖帧的像素扩散失真递推求得。由于在关键帧采用视差补偿预测去除视点之间的相关性，并且当前编码的视点的关键巾贞参考如一个视点的关键巾贞，所以传输失真可以被估计为dc(v, n, i) = (1-p) dc ref (v-1, n, j)+p(dec r(v, n, i)+dc ec(vec, rec, k)) (2)虽然当前希望当前编码关键帧的像素i尽可能多地采用视差补偿预测，但仍然会存在预测效果不佳而采用帧内编码的情况。如果当前编码关键帧的像素采用帧内编码，因为帧内编码像素空域方向的扩散失真很小，基本可以忽略不计，又由于没有参考像素的扩散失真，则传输失真可以被估计为dc (v, n, i) = p (dec r (v, n, i)+dc ec (vec, rec, k)) (3)如果当前编码的关键帧加入了 WZ帧进行保护，那么WZ帧的码率将用来纠正当前视点V第n帧像素i的传输错误，此时的WZ码率大小将会取决于像素i的传输失真。所以下面即对加入WZ帧进行保护的辅助码率进行估计。A. 2WZ编码码率估计在WZ编解码系统中，在WZ编码端源信息尤; 是已知的，而在WZ解码端经过错误掩盖的重建值作为分布式解码的边信息也是已知的。如果已经解码源信息的比特为{I=—1，……,t +1丨,此时对应的边信息为这=—1，……，N表示比特平面的总数，其中t G
。各个比特平面码率估计的关键是求解源信息±=和边信息足&之间的交叉转移概率。分别设I和u为当前待解码系数i量化之后的分段区间的上限和下限，则下面对尤)'>是否为0还是I的条件概率进行估计，从而实现WZ正确解码所需要最小的码率估计。用表示和叉二之间的交叉转移概率，则可以得到
权利要求
1.一种基于分布式编码技术的多视点视频传输差错控制方法，用于减小传输差错在视点间和视点内的扩散，保护多视点视频解码重建图像的质量，其特征在于，先进行多视点视频各视点关键帧的传输失真度建模，然后再根据关键帧的失真度来估计所需要纠正传输错误的WZ码率，最后通过率失真代价进行自适应选择WZ帧的差错保护；在编码端，一方面对各视点进行基于运动和视差补偿的预测编码，生成的多视点码流作为主码流在信道上传输；另一方面关键帧根据估计的传输失真度和WZ码率计算率失真代价从而自适应选择是否需要WZ帧的保护，对需要WZ保护的视点关键帧的重建帧再进行WZ帧的编码，生成的WZ比特流作为辅助码流进行传输；在解码端，把受到WZ帧保护的关键帧的差错掩盖帧作为WZ解码的边信息，通过对边信息的纠错完成WZ解码，包括以下的手段 A.编码端 A. I关键帧的传输失真度估计 多视点视频关键帧传输失真度模型 d^nJ) = E{(X%n-X,n)2} = (1-P)dc_ref (v,,f，rrqf J) + p(decr (ν,η, ) + d，rec，り) 表示某个视点关键帧的某个像素在编码端和解码端重建值的均方差的期望，其中A表示视点V中第η帧第i个像素的原始值，用无' 和尤% 分别表示该像素在多视点编码端和解码端的重建值；传输失真主要包括三个方面，分别为cU^(v，n, i)表示编码关键帧与掩盖帧像素在编码端重建值之间的失真，dc_ref(vref, rref, j)表示不出错情况下由參考帧像素带来的信道扩散失真，表示出错情况下由掩盖帧像素带来的信道扩散失真，其中当前編码的关键帧是由前一个视点的关键帧通过视差预测补偿得到，即參考帧和掩盖帧就是前ー个视点的关键帧；某个关键帧的总的传输失真度便是某ー帧所有像素的失真度之和；其中P表示信道的丢包率； A. 2WZ编码码率估计 根据关键帧估计的失真度和估计的已解码比特平面，利用源信息和边信息的相关噪声模型在WZ编码端进行码率估计，预测关键帧中某个像素的比特平面正确解码所需要的最小码率为RiiC} ニ"(ね I 之:) = -p^> log(め)-(I - O log(l - it,) 其中孖表示在ニ进制对称信道下源信息比特平面已知的情况下边信息的比特平面的条件熵，用表示源信息比特平面和边信息比特平面之间的交叉转移概率，而源信息和边信息的差值在像素域是符合拉普拉斯分布的； A.3自适应选择WZ帧差错保护 通过比较关键帧加入WZ帧保护和没有加入WZ帧保护所需要的率失真代价，自适应的选择是否需要WZ帧差错保护； 如果关键帧加入了 WZ帧的保护，此时的率失真代价为 ‘ ニ K, + D；n +AKi + + 其中Al1表示当前视点的关键帧信源失真D表示关键帧的已有的传输失真ぬ:f表示当前视点关键帧扩散到下一个视点的关键帧的潜在的扩散失真；同样，代^: 表示当前视点关键帧在时域方向扩散到视点内的潜在扩散失真；Rv,n表示为多视点编码视点关键帧需要的码率； 如果关键帧未加入WZ帧的保护，此时的率失真代价为 / =/):X+KJ 其中足=为估计的辅助的WZ保护的码率； 估计得到Jv,η和·C之后,如果ん> JZ，那么某个视点关键帧将采用wz帧进行差错保护，否则将不采用WZ帧额外进行差错保护； B.解码端 多视点视频码流首先进行视点内和视点间的差错掩盖解码，然后把某个受到WZ帧保护的关键帧的差错掩盖帧作为WZ解码器的边信息，经过对边信息的纠错完成WZ解码，这时边信息的解码图像质量得到恢复； 在WZ的解码端，估计过少校验位将通过反馈信道再次向编码端请求，最終完成WZ的完全解码。
全文摘要
本发明公开了一种基于分布式编码技术的多视点视频传输差错控制方法，用于减小传输差错在视点间和视点内的扩散，保护多视点视频解码重建图像的质量。本发明先进行多视点视频各视点关键帧的传输失真度建模，然后再根据关键帧的失真度来估计所需要纠正传输错误的WZ码率，最后通过率失真代价进行自适应选择WZ帧的差错保护。采用本发明方法，通过增加少量的辅助码流能够有效地减小传输差错在视点间的扩散，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。
文档编号H04N13/00GK102740081SQ20121020701
公开日2012年10月17日 申请日期2012年6月21日 优先权日2012年6月21日
发明者刘祥凯, 彭强, 王琼华, 高攀 申请人:西南交通大学