高效平面与立体数字视频编码及解码方法

专利名称：高效平面与立体数字视频编码及解码方法
技术领域：
本发明涉及一种数字视频编与解码技术，特别涉及一种高效平面与立体数字视频编解码技术。
背景技术：
数字视频编码技术从MPEG-2发展到MPEG-4、 AVS及H. 264， 并朝H. 265方向发展，从 标准清晰度朝高清晰度发展，从平面视频编码发展到立体视频编码，为了满足不断发展的视 频编码要求，最大限度的节省带宽资源，具有高压縮比的多种清晰度的平面与立体视频编码 技术已成为迫切需要， 一方面，现有的MPEG-2、 MPEG-4、 AVS及H.加4编码效率还有待提高， 另一方面，在现有的MPEG-2、 MPEG-4、 AVS及H. 264架构下，如何实现立体视频高效编码有待 研究。

发明内容
本发明的目的在于，在现有的MPEG-2、 MPEG-4、 AVS及H. 264的架构下通过相邻抽取 辅助分量编码法、帧(场)内邻宏块估计编码与奇偶场场差编码法大幅度提高编码效率，提 高压縮比，由此编码方法形成相应的解码方法；进一步地，在立体视频中，将左右视频立体信 号中的一幅图像作高效基本编码，另一路按视频差异进行预处理，再根据视频清晰度要求，对 左右视频图像的水平差异与垂直差异或亮度残留纹理或色度残留纹理进行辅助分量编码，得 到高效率立体视频编码方法，由此编码方法形成相应的解码方法；进一步地，将清晰度与立 体视频编码作为统一的问题对待，将清晰度低一级的信号与平面信号作高效编码，通过增加 辅助信息的方式实现高一级清晰度与立体髙效编码，所述多种高效编码方法可以组合，由此 编码方法形成相应的解码方法；通过高效平面或立体视频编码方法及相应的解码方法，广泛 用于数字电视传输、网络电视、视频监控、移动多媒体通信、计算机图像合成及互动多视点 的三维游戏与虚拟现实领域。
本发明第一个方面中， 一种用于高效视频编码的4:1相邻抽取辅助信息编码方法 它由4:1相邻抽取单元、基本图像存储单元、基本宏块0(^+量化+重排序零编码+运动 矢量编码单元、邻图像1存储单元、差异估计位移1单元、差异1及位移存储单元、差异宏 块DCT+量化+重排序零编码+位移矢量编码1单元、邻图像2存储单元、差异估计位移1单元、 差异2及位移存储单元、差异宏块DCT+量化+重排序零编码+位移矢量编码2单元、邻图像3 存储单元、差异估计位移1单元、差异3及位移存储单元、差异宏块DCT+量化+重排序零编 码+位移矢量编码3单元组成。
由相邻抽取单元对视频图像进行相邻抽取后，形成一个基本图像与3个差异图像分别输 入到基本图像存储单元、邻图像l存储单元、邻图像2存储单元及邻图像3存储单元存储， 基本邻图像存储单元经宏块DCT+量化+重，排序零编码+运动矢量编码单元进行宏块分割、DCT 变换、量化、"Z"字型扫描重排序、零编码及运动矢量编码输入到熵编码模块2;邻图像1 存储单元将信号输入到差异估计位移1单元，与来自基本图像存储单元的信号作差值估计与 位移确定，如基本图像是奇行奇列，邻图像1是奇行偶列，则位移1为左移一个像素,经差异1及位移存储单元存储，输入到差异宏块DCT+量化+重排序零编码+位移矢量编码单元,对差异信 号进行宏块分割、DCT变换、量化、"Z"字型扫描重排序、零编码及位移矢量编码形成辅助 分量1输入到熵编码模块2;同样的方法得到辅助分量2与辅助分量3，因采用的是相邻抽取， 处理后将形成大量的"0"，辅助分量1、辅助分量2及辅助分量3所占的信息量很小，实现 了高效率编码压縮。
其对应的解码方法是它由相邻嵌套合成单元、基本图像存储单元、基本宏块IDCT二反 量化+解重排序零编码+运动矢量解码单元、邻图像1存储单元311、差异补偿位移l单元、 差异1及位移存储单元、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码1单元、邻 图像2存储单元、差异估计位移2单元、差异2及位移存储单元、差异宏块IDCT+反量化+解 重排序零编码+位移矢量解码2单元、邻图像3存储单元、差异补偿位移3单元、差异3及位 移存储单元、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码3单元组成。
解码方法是编码方法的逆过程，编码流通过熵解码模块解码后，形成基本分量、辅助分 量l、辅助分量2及辅助分量3计4路信号，基本分量信号通过基本宏快IDCT+反量化+解重 排序零编码+运动矢量解码单元，依次进行运动矢量解码、零解码、反量化运算、反"Z"字 行扫描、IDCT变换及宏块合成，将解码信号输入到基本图像存储单元，辅助分量l的信号输 入到差异宏块IDCT+反量化+解重排序零编码+位移矢量解码单元，依次进行位移矢量解码、 零解码、反量化运算、反"Z"字行扫描及IDCT变换及差异宏块合成，将差异与位移l解码 信号依次输入到差异及位移1存储单元及差异补偿位移1单元，基本图像存储单元的信号同 时还输入到差异补偿位移1单元，两路信号作补偿形成邻图像1信号，存储到邻图像l存储 单元；同样的方法可得到邻图像2信号及邻图像3信号；基本图像信号与邻图像l、邻图像2 及邻图像3信号在3个位移矢量的作用下作相邻嵌套合成，实现了完整的解码。
本发明第二个方面中， 一种用于高效视频编码的16: 1 二级相邻抽取辅助分量高效编码方法
它在所述4: 1相邻抽取辅助分量高效编解码方法的基础上再一次进行了 4:1抽取，使得 基本图像分量像素数变为原来的1/16，再辅以15个辅助分量，由于相邻之间的相关性，辅助 分量信息量较小，从而实现了更大的压縮与更高的编码效率。它由16: l相邻抽取辅助分量高 效编码模块1、熵编码模块2、 16: 1相邻抽取辅助分量高效解码模块3与熵解码模块4组成。 视频信号经16: 1相邻抽取辅助分量高效编码模块1高效编码后，将基本分量与15个辅助分 量输入到熵编码模块2进行熵编码输出高效编码流，解码时，高效编码流经熵解码输出基本 分量与15个辅助分量，再经相邻抽取辅助分量高效解码模块3解码重建视频信号。
它由4:1相邻抽取单元、 一次基本图像存储单元、4: 1基本分量二次相邻抽取高效编码 单元、邻图像l存储单元、差异估计位移l单元、差异l及位移存储单元、4: l辅助分量二 次相邻抽取高效编码1单元、邻图像2存储单元、差异估计位移l单元、差异2及位移存储 单元、4: 1辅助分量二次相邻抽取高效编码、邻图像3存储单元、差异估计位移l单元、差 异3及位移存储单元、4: l辅助分量二次相邻抽取高效编码3单元组成。
由4: 1相邻抽取单元1对视频图像进行相邻抽取后，形成一个基本图像与3个差异图像 分;SU输入到一次基本图像存储单元、邻图像l存储单元、邻图像2存储单元及邻图像3存储 单元存储， 一次基本图像存储单元经4:1基本分量二次相邻抽取高效编码单元处理，处理后 形成基本分量信号、基辅分量1信号、'基辅分量2信号及基辅分量3信号输入到熵编码模块 2;邻图像1存储单元将信号输入到差异估计位移1单元，与来自基本图像存储单元的信号作 差值估计与位移确定，如基本图像是奇行奇列，邻图像1是奇行偶列，则位移1为左移一个像 素，经差异1及位移存储单元存储，输入到4: 1辅助分量二次相邻抽取高效编码1单元处理， 形成一路差异基本分量1及3路差异辅助分量1-3输入到熵编码模块2;同样的方法得到差 异基本分量2及3路差异辅助分量2-3与差异基本分量3及3路差异辅助分量3-3，因采用 的是二相邻抽取，所有处理后将形成大量的"0"，实现了更高高效率编码压縮。所述4:1基 本分量二次相邻抽取高效编码单元、4: 1辅助分量二次相邻抽取高效编码1单元、4: 1辅助分量二次相邻抽取高效编码2单元124及4: 1辅助分量二次相邻抽取高效编码3单元的组成 与实现方法与所述4: 1相邻抽取辅助分量高效编码方法一致。
其对应的解码方法是它由相邻嵌套合成单元、 一次基本图像存储单元、4:1基本分量
二次相邻抽取解码单元、邻图像1存储单元、差异补偿位移1单元、差异1及位移存储单元、
4:1辅助分量高效解码1单元、邻图像2存储单元、差异估计位移2单元、差异2一及位移存 储单元、4:1辅助分量高效解码2单元、邻图像3存储单元、差异补偿位移3单元、差异3 及位移存储单元、4:1辅助分量高效解码3单元组成。
解码方法是编码方法的逆过程，编码流通过熵解码模块解码后，形成基本分量、基辅助 分量1、 2及3计4路信号，差异基本辅助分量1与3路差异辅助分量1-3计4路信号，差异 基本辅助分量2与3路差异辅助分量2-3计4路信号，差异基本辅助分量3与3路差异辅助 分量3-3计4路信号；基本分量、基辅助分量1、 2及3计4路信号经4:1基本分量二次相邻 抽取解码单元处理，形成一次基本图像信号到一次基本图像存储单元存储；差异基本辅助分 量1与3路差异辅助分量1-3计4路信号经4:1辅助分量高效解码1单元高效解码后形成差 异l及位移矢量信号，输入到差异1及位移存储单元存储，存储后输入到差异补偿位移1单 元，在此单元中与来自一次基本图像存储单元的信号作补偿形成邻图像l信号，输入到邻图 像1存储单元；同样的方法形成邻图像2信号输入到邻图像1存储单元及形成邻图像3信号 输入到邻图像3存储单元； 一次基本图像信号与邻图像1、邻图像2及邻图像3信号在3个 位移矢量的作用下作相邻嵌套合成，实现了完整的解码。所述所述4:1基本分量二次相邻抽 取高效解码单元、4: 1辅助分量二次相邻抽取高效解码1单元、4: l辅助分量二次相邻抽取 高效解码2单元及4: 1辅助分量二次相邻抽取高效解码3单元的组成与实现方法与所述4: 1相邻抽取辅助分量高效解码方法一致。
通过所述16: 1相邻抽取辅助分量高效编解码方法可以将1440X1080的高清图像信号转 换为352X288的CIF图像信号，720X576的标清图像信号转换为176X144的QCIF图像信号， 实现高效率的编解码；配合隔行扫描可以采用一次按列2: l抽取、二次按行列4: 1抽取的 8: 1 二级相邻抽取高效编解码方法。
本发明第三个方面中， 一种用于高效视频繊马的9: 1相邻抽取辅助分量高效编码方法它充 分利用一个像素点与周边8个像素点相关的特点实现更高效编解码，其组成与所述4: 1相邻
抽取辅助分量高效编解码方法大体一致，所不同的只是增加了 5路相邻图像处理，编码时，
形成一路基本分量与8路辅助分量到熵编码器；解码时，将一路基本分量与8路辅助分量处 理，形成一路基本图像信号与8路邻图像信号，再进行9: l相邻嵌套重建图像。
本方法也可实现81: 1 二级相邻抽取辅助分量高效编解码方法；还可与l: 4相邻抽取辅 助分 效编解码方法配合使用，实现36: 1 二级相邻抽取辅助分量高效编解码方法；还可 配合隔行扫描可以釆用一次按列2: l抽取、二次按行列9: 1抽取的18: 1 二级相邻抽取高 效编解码方法。
本发明第四个方面中， 一种帧内相邻宏块估计相邻抽取辅助信息编码方法
它由X个相邻抽取辅助分量高效编码宏块单元、第Y个相邻抽取辅助分量高效编码相邻 宏块单元、相邻宏块估计单元、相邻宏块Y差异编码单元及相邻宏块位移矢量编码单元组成 帧内相邻宏块估计相邻抽取编码模块。第Y个相邻抽取辅助分量高效编码相邻宏块单元中的 已编信息及X个相邻抽取辅助分量高效编码宏块单元中的已编信息输入到相邻宏块估计单元， Y宏块与分别X个宏块中的上左相邻宏块、上相邻宏块、上右相邻宏块作差异估计，确定一 个差异最小的作基本宏快；将差异信息输入到相邻宏块Y差异编码单元，Y宏快以基本宏快 作参考的差异宏快Y替代，对差异宏快Y作编码，输入到熵编码模块2，差异宏快Y将由许 多"0"组成，这样就将Y宏快进行了大幅度的编码压縮，提高编码效率；同时Y宏快与相邻 宏快位移信息输入到相邻宏块位移矢量单元进行位移矢量编码，再输入到熵编码模块2，完 成编码。所述相邻宏快估计可采用绝对值最小或MSE均方误差最小或MAD平均绝对块差最小
10为匹配判据，来找到与Y宏快最相近的块；所述场内相邻宏快估计相邻抽取高效编码方法与
之完全一致，也可只采用相邻宏快估计与相邻抽取中的一种；所述相邻抽取可以是所述4: 1
或8: l或9: 1或18: 1等方式。
其对应码方法是它由X个相邻抽取辅助分量高效解码宏块单元、第Y个相邻抽取辅助 分量高效解码相邻宏块单元、相邻宏块补偿单元、相邻宏块Y差异解码单元及相邻宏块位移 矢量解码单元组成帧内相邻宏块估计相邻抽取高效解码模块。输入的编码流经熵解码模块解 码后，输出三路信号， 一路输入到X个相邻抽取辅助分量高效编码宏块单元进行解码，重建 X个相邻宏快，同时解码后的信号输入到相邻宏块补偿单元； 一路输入到相邻宏块Y差异解 码单元进行解码，解码后输入到相邻宏块补偿单元； 一路输入到相邻宏块位移矢量解码单元 进行位移矢量解码，解码后输入到第Y个相邻抽取辅助分量高效解码相邻宏块单元；相邻宏 块补偿单元对输入的两路信号做补偿运算后，将结果输入到第Y个相邻抽取辅助分量高效解 码相邻宏块单元，补偿位移矢量后在第Y个相邻抽取辅助分量高效解码相邻宏块单元中重建 Y宏快。
本发明第五个方面中， 一种奇偶场差估计场内相邻宏块估计相邻抽取高效编码方法-
它由场形成单元、偶场存储单元、奇场存储单元、场差估计高效编码运动矢量编码单元 及场内相邻宏快估计相邻抽取高效编码单元组成奇偶场差估计场内相邻宏块估计相邻抽取高 效编码模块。对隔行扫描信号直接将奇偶场信号分别输入到奇场存储单元与偶场存储单元， 对逐行扫描信号经场形成单元处理分出奇偶场信号分别输入到奇场存储单元与偶场存储单 元；奇场存储单元输出两路信号， 一路输入到场内相邻宏快估计相邻抽取高效编码单元作高 效编码，其方法与所述帧内相邻宏快估计相邻抽取高效编码方法一致，再输入到熵编码模块 进一步做高效编码； 一路输入到场差估计运动矢量单元；偶场存储单元将偶场信号输入到场 差估计运动矢量单元；在场差估计运动矢量单元中，偶场信号以奇场信号作为参考作场差估 计，同时偶场相对奇场位移为下移一行像素，对场差信号与运动矢量做高效编码输入到熵编 码模块进一步做高效编码，所述场差估计高效编码可采用与所述帧内相邻宏快估计相邻抽取 高效编码方法一样的方法。
其对应解码方法是它由场形成单元、偶场存储单元、奇场存储单元、场差补偿高效解码 与运动矢量解码单元及场内相邻宏快估计相邻抽取高效解码单元组成奇偶场差估计场内相邻 宏块估计相邻抽取高效解码模块。编码流信号输入到熵解码模块进行熵解码，解码信号分成两 路一路输入到场内相邻宏快估计相邻抽取高效解码单元依次进行相邻宏快解码与相邻抽取
解码，解码结果分别输入到奇场存储单元、场差补偿高效解码与运动矢量解码单元； 一路输入
到场差补偿高效解码与运动矢量解码单元进行解码，结果输入到场差补偿高效解码与运动矢
量解码单元；在场差补偿高效解码与运动矢量解码单元中，以奇场信号为参考，进行场差补偿
与运动矢量补偿，形成偶场信号,输入到偶场存储单元，奇场存储单元与偶场存储单元中的奇 偶场信号，输入到场形成单元，直接将奇偶场信号分别依次输出，对逐行扫描信号经场形成单 元处理形成帧信号输出。
所述奇偶场差估计场内相邻宏块估计相邻抽取高效解码方法可只采用奇偶场差估计、相
邻宏快估计与相邻抽取中的一种或任意两种或全部；所述相邻抽取可以是所述4: 1或8: 1 或9: 1或18: l等方式。
本发明第六个方面中，一种奇偶场差估计场间预测高效编码方法
编码后的场图像序列由I奇场、P偶场21、 Bl奇场、Bl偶、B2奇场、B2偶场、P奇场、 B3偶场组成。奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H. 264架构下的帧 图像I帧、B帧与P帧一致，I奇场作运动预测形成P奇场，Bl、 B2奇场均由I奇场作运动 预测及P奇场作反向预测得到；P偶场由I奇场作差异估计得到，M偶场由P偶场作运动预 测及Bl奇场作场f差估计得到，B2偶场由P偶场作运动预测及B2奇场作场差估计得到，B3偶 场均由P偶场作运动预测及B3奇场作场差估计得到，编码后形成的场序列图像依次为由I奇场、P偶场、Bl奇场、Bl偶场、B2奇场、B2偶场、P奇场、B3偶场。所述场序列图像同MPEG-2 或1 ^6-4或八乂5或}1 264架构下的帧图像序列一样，P场与B场的数目可以有多种，同时B
场可以由前面场与后面场作双向预测得到。
其对应的解码方法是解码后的场图像序列由奇场1、偶场l、岢场2、偶场2、竒场3、 偶场3、奇场4与偶场4组成。场间解码过程与场间编码过程相逆，己编码的I奇场、P偶场、 Bl奇场、Bl偶、B2奇场、B2偶场、P奇场、B3偶场图像序列输入到解码单元后，先进行奇 场I解码得到奇场1;由奇场1作参考，通过P偶场场差异补偿得到解码的偶场1;以奇场1 作参考，通过P奇场作运动补偿得到奇场4;以奇场l作参考，通过I奇场作运动补偿及通 过P竒场作反向补偿对Bl奇场解码得到奇场2;以奇场1作参考，通过I奇场作运动补偿、 通过P奇场作反向补偿对B2奇场解码得到奇场3;以奇场1作参考，通过I奇场作场差补偿， 对P偶场解码得到偶场1;以偶场1作参考，通过P偶场作运动补偿及通过P奇场作场差补 偿，对B3偶场解码得到偶场4;以偶场l作参考，通过P偶场作运动补偿及通过B1奇场作 场差补偿，对B2偶场解码得到偶场3;以偶场l作参考，通过P偶场作运动补偿及通过B2 竒场作场差补偿，对B1偶场解码得到偶场2;解码后输出的视频序列依次为奇场1、偶场l、 奇场2、偶场2、奇场3、偶场3、奇场4与偶场4;对隔行扫描终端直接输出，对逐行扫描 终端，则将对应的奇偶场嵌套合成形成帧l、帧2、帧3与帧4视频图像信号序列。
本发明第七个方面中， 一种立体奇偶场差估计场内相邻宏块估计相邻抽取高效编码方法-它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元、运 动矢量编码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差异估计单元及左 右图像差异辅助分量高效编码单元组成立体隔行扫描场差估计场内邻宏快估计邻抽取高效编 码模块。左图像信号输入到左图像隔行处理单元，对隔行扫描信号直接输出，对逐行扫描信号
转化为隔行扫描信号输出；处斑后输入到隔行扫描场差估计场内邻宏快估计邻抽取高效编码 单元进行高效编码，将结果输入到熵编码模块进一步实现高效编码；来自右图像单元21的信 号输入到右图像隔行扫描位移处理单元22进行处理，对于隔行扫描信号，只做位移处理，对 逐行扫描信号，除位移处理外，还要进行隔行处理，将一帧图像转换为奇偶两场图像；处理 的结果输入到左右差异估计单元，以来自左图像隔行处理单元的信号为参考，得到左右图像 的差异信号，输入到左右差异辅助分量高效编码单元作高效编码，将其结果输入到熵编码模 块进一步作高效熵编码，所述左右差异辅助分量高效编码单元对辅助分量的高效编码方法可 采用隔行扫描场差估计场内邻宏快估计邻抽取高效编码方法；同时左右差异估计单元输出运 动矢量信号到运动矢量编码单元作编码，并将编码的结果输入到熵编码模块作高效编码。
其对应的解码方法是它左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽 取高效解码单元、运动矢量解码单元、右图像单元、右图像隔行位移处理处理单元、左右图 像差异补偿单元及左右图像差异辅助分量高效解码单元组成立体隔行扫描场差估计场内邻宏 快估计邻抽取高效解码模块。待解码的编码流信号经熵解码模块熵解码后，输出三路信号 一路输入到隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元进行解码，输出左图像的 已解码奇偶场信号到左图像隔行处理单元，对隔行显示终端直接输出隔行扫描的奇偶场序列 信号，对逐行显示终端，将奇偶场信号嵌套合成帧序列信号输出，同时左图像隔行处理单元 还将处理后的信号输入到左右差异补偿单元做参考信号； 一路输入到运动矢量解码单元作运 动矢量解码，再输入到左图像隔行处理单元以形成左图像场序列信号；还有一路输入到左右 善异辅助分量高效解码单元，解码出差异信号输入到左右差异补偿单元，在左右差异补偿单 元中，一以来自左图像隔行处理单元的场序列信号作参考，输出重建的右图像场序列信号到右 图像隔行扫描位移处理单元作处理，对隔行显示终端直接输出隔行扫描的奇偶场序列信号， 对逐行显示终端，将奇偶场信号嵌套合成帧序列信号，输出到右图像单元，至此完成解码。
所述编码解码方法中左右图像可以互换；所述相邻抽取可以是所述4: l或8: 1或9: 1 或18: l等方式。本发明第八个方面中， 一种精细立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解 码方法
它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单7t、运 动矢量编码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差异估计单元、左 右图像差异辅助分量高效编码单元、亮色纹理垂直差异估计单元、重建右图像单元、左右图 像差异补偿单元及亮色纹理垂直差异高效编码单元组成立体隔行扫描场差估计场内邻宏快估 计邻抽取高效编码模块D
它的实现方法是在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效编码方法 的基础上，通过重建右图像，找出右图像与重建右图像之间的亮色纹理及垂直差异，将差异 作为另一路辅助分量进行高效编码，从而实现精细高效立体编码重建的左图像信号与重建 的左右图像差异分量信号被输入到左右图像差异补偿单元，以重建的左图像信号作参考，将 重建的左右图像差异分量信号与之做补偿运算，得到重建的右图像信号；原始右图像信号从 右图像单元输入到亮色纹理垂直差异估计单元，原始右图像信号与解码重建的右图像信号之
间存在亮度纹理、色度纹理及垂直差异，为实现精细立体编码对其进行差异估计运算；差异 估计的运算结果输入到亮色纹理垂直差异高效编码单元中作高效编码，高效编码结果被输入 到熵编码模块进一步高效编码，从而完成整过编码过程。所述重建的左图像信号与重建的左 右差异信号如表现为己编码信号，则在左右图像差异补偿单元中还需进行解码处理，以得到 解码后的重建右图像；重建的左图像信号与重建的左右差异信号如表现为已解码码信号，则 在左右图像差异补偿单元中只需进行差异补偿处理，就得到解码后的重建右图像。
其对应的解码方法是它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻 抽取高效解码单元、运动矢量解码单元、精细右图像重建单元、右图像隔行位移处理处理单 元、左右图像差异补偿单元、左右图像差异辅助分量高效解码单元、亮色纹理垂直差异补偿 单元、亮色纹理垂直差异分量解码单元及精细右图像重建单元组成精细立体隔行扫描场差估 计场内邻宏快估计邻抽取高效解码模块。在所述立体隔行扫描差估计邻宏快估计邻抽取辅助 分量高效解码方法的基础上，通过对亮色纹理垂直差异分量解码单元进行解码；解码后的信 号输入到亮色纹理垂直差异补偿单元，以输入到本单元的重建右图像作基本图像，进行亮色 纹理垂直差异补偿，得到解码后的精细右图像；解码是编码的逆过程，当编码方式改变时， 解码方式作相应的改变。
所述编码与解码方法中左右图像可以互换；所述相邻抽取可以是所述4: l或8: 1或9: 1或18: l等方式。
本发明第九个方面中， 一种立体奇偶场差估计场间预测高效编码方法
它的图像序列由左图像与右图象序列两部分组成,其中左图像序列由I奇场、P偶场、Bl 奇场、Bl偶场、B2奇场、BZ偶场、P奇场、B3偶场组成；右图像序列由P奇场、B0偶场、 Bl奇场、Bl偶场、BZ奇场、BZ偶场、B3奇场、B3偶场组成。它实际上是在所述奇偶场差估 计场间预测高效编码方法的基础上，分成了左右图像编码序列。
左右奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H. 264架构下的帧图像 I帧、B帧与P帧一致。对左图像来说，I奇场作运动预测形成P奇场，Bl奇场、B2奇场均 由I奇场作运动预测及P奇场作反向预测得到；P偶场由I奇场作场差估计与运动预测得到， B3偶场由P奇场作场差估计与运动预测得到，Bl偶场与B2偶场均由P偶场作运动预测及B3 偶场作反向预测得到。对右图像来说，I奇场作场差估计形成P奇场，Bl奇场由P奇场作运 动预测及Bl奇场作场差估计得到，B2奇场由P奇场作运动预测及B2奇场作场差估计得到， B3奇场由P奇场作运动预测及B3奇场作场差估计得到；B0偶场由P奇场作场差估计与运动 预测得到，B3偶场由B3奇场作场差估计与运动预测得到，Bl偶场与B2偶场均由B0偶场作 运动预测及B3偶场作反向预测得到。如同MPEG-2或MPEG-4或AVS或H. 264架构下的帧图像 序列一样，P场与B场的数目可以有多种，同时B场可以由前面场与后面场作双向预测得到。
13其对应的解码方法是所述奇偶场差估计场间预测高效解码左图像序列与右图像序列两 部分组成，其中左图像序列部分由左奇场1单元、左偶场.1单元、左奇场2单元、左偶场2 单元、左奇场3单元、左偶场3单元、左奇场4单元与左偶场4单元组成，右图像序列部分 由右奇场1单元、右偶场1单元、右奇场2单元、右偶场2单元、右奇场3单元、右偶场3 单元、右奇场4单元与右偶场4单元组成。
场间解码过程与场间编码过程相逆，已编码的场图像序列输入到解码单元后，对左图像 序列来说，先由奇场I解码得到左奇场1单元，由左奇场l单元作参考，通过I奇场作运动 补偿解码p奇场得到左奇场4单元；以左奇场1单元与左奇场4单元作参考，通过I奇场j乍 运动补偿及P奇场作反向补偿分别解码Bl奇场与B2奇场得到左奇场2单元与左奇场3单元; 以左奇场1单元作参考，通过I奇场作运动补偿与场差补偿解码P偶场得到左偶场1单元， 以左奇场4单元作参考，通过P奇场作运动与场差补偿解码B3偶场得到左偶场4单元，以左 偶场1单元与左偶场4单元作参考，通过P偶场作运动补偿及B3偶场作反向补偿，分别解码 Bl偶场与B2偶场得到左偶场2单元与左偶场3单元。
对右图像序列来说，以左奇场1单元作参考，通过I奇场作场差补偿，解码P偶场得到 右奇场1单元，以右奇场1单元作参考，以P奇场作运动补偿，由Bl奇场、B2奇场及P奇 场作场差补偿，分别解码Bl奇场、B2奇场、B3奇场得到右奇场2单元、右奇场3单元及右 奇场4单元；以右奇场l单元作参考，通过P奇场作运动与场差补偿，解码BO偶场得到右偶 场1单元，以右奇场4单元作参考，通过B3奇场作运动与场差补偿，解码B3偶场得到右偶 场1单元，以右偶场1单元及右偶场4单元作参考，对BO偶场作运动补偿，对B3偶场作反 向补偿，分别解码Bl偶场与B2偶场43得到右偶场2单元与右偶场2单元，至此完成左右图 像场序列解码。对隔行扫描终端直接输出，对逐行扫描终端，则将对应的奇偶场嵌套合成形 成帧K帧2、帧3与帧4视频图像信号序列。所述编码序列改变时，解码序列相应改变。


如图1为本发明的4: 1相邻抽取编码法像素结构图
如图2为本发明的4: 1相邻抽取辅助分量高效编解码原理框图
如图3为本发明的16: 1 二级相邻抽取辅助分量高效编解码原理框图
如图4为本发明的9: 1相邻抽取编码法像素结构图
如图5为本发明的9: 1相邻抽取辅助分量高效编解码原理框图
如图6为本发明的相邻宏块估计相邻抽取高效编解码原理框图
如图7为本发明的奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图
如图8为本发明的奇偶场差估计场间预测高效编解码原理框图
如图9为本发明的立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图 如图10为本发明的精细立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图 如图11为本发明的立体奇偶场差估计场间预测高效编解码原理框图 如图12为本发明的高效平面与立体视频编码流程图 如图13为本发明的高效平面与立体视频解码流程图
具体实施例方式
如图1所示为本发明的4:1相邻抽取编码法像素结构图
—将一帧S或场)图像进行4: 1相邻抽取后，可以形成与原图像高度相关的奇行奇列、奇 行偶列、偶行奇列与偶行偶列四个一帧(或场)，同时这四个帧(或场)具有高度的相关性， 提取其中的一个作为基本帧(或场)，其余的三个与之作预测，可以大幅度减小相邻像素的相 关性，这样就只剩下少量差值信息，将基本帧(或场)采用宏块分割、DCT变换、量化、重 排序与零编码再输入到熵编码，其余的三个差值帧(或场)也采用宏块分割、DCT变换、量化、重排序与零编码再输入到熵编码，差值帧(或场)经量化后将出现大量的非零系数，可 大量减少信息量，作为辅助信息输入到熵编码；也可将经过DCT变换与量化后的基本帧(或 场)与其余3个差值帧(或场)嵌套合成，再按MPEG-2或MPEG-4或AVS或H. 264的架构进 行熵编码；解码的过程与此相反，解码时，按对应的按MPEG-2或MPEG-4或AVS或fi加4解码 后，分解出1个基本帧(或场)与三个差值帧(或场)，将其余的三个差值帧(或场)分别与 基本帧(或场)作补偿形成四个帧(或场)，再进行嵌套，就重建了一帧(或场)图像。本方 法也可在宏块分割后再进行差值估计，解码过程则是对每个差值宏块进行补偿，再嵌套合成 宏块，最后把宏块合成重建了一帧(或场)图像。本方法的极限压縮比可以在现有的MPEG-2 或MPEG-4或AVS或H. 264的基础上再实现超高压缩比。
如图2所示为本发明的4: 1相邻抽取辅助分量高效编解码原理框图 它由相邻抽取辅助分量高效编码模块l、熵编码模块2、相邻抽取辅助分量高效解码模块 3与熵解码模块4组成。视频信号经相邻抽取辅助分量高效编码模块1高效编码后，将基本 分量与3个辅助分量输入到熵编码模块2进行熵编码输出高效编码流，解码时，高效编码流 经熵解码输出基本分量与3个辅助分量，再经相邻抽取辅助分量高效解码模块3解码重建视
频信号。
所述4:1相邻抽取辅助分量高效编码模块1由4:1相邻抽取单元100、基本图像存储单 元101、基本宏块0(^+量化+重排序零编码+运动矢量编码单元102、邻图像1存储单元111、 差异估计位移1单元112、差异1及位移存储单元113、差异宏块00~+量化+重排序零编码+ 位移矢量编码1单元114、邻图像2存储单元121、差异估计位移1单元122、差异2及位移 存储单元123、差异宏块DCT+量化+重排序零编码+位移矢量编码2单元124、邻图像3存储 单元131、差异估计位移1单元132、差异3及位移存储单元133、差异宏块DCT+量化+重排 序零编码+位移矢量编码3单元134组成。
由相邻抽取单元100对视频图像进行相邻抽取后，形成一个基本图像与3个差异图像分 别输入到基本图像存储单元K)l、邻图像l存储单元lll、邻图像2存储单元121及邻图像3 存储单元131存储，基本邻图像存储单元101经宏块0(^+量化+重，排序零编码+运动矢量编 码单元102进行宏块分割、DCT变换、量化、"Z"字型扫描重排序、零编码及运动矢量编码 输入到熵编码模块2;邻图像1存储单元111将信号输入到差异估计位移1单元112，与来自 基本图像存储单元101的信号作差值估计与位移确定，如基本图像是奇行奇列，邻图像1是奇 行偶列，则位移1为左移一个像素，经差异1及位移存储单元113存储，输入到差异宏块DCT+ 量化+重排序零编码+位移矢量编码单元114，对差异信号进行宏块分割、DCT变换、量化、"Z" 字型扫描重排序、零编码及位移矢量编码形成辅助分量1输入到熵编码模块2;同样的方法 得到辅助分量2与辅助分量3，因采用的是相邻抽取，处理后将形成大量的"O"，辅助分量l、 辅助分量2及辅助分量3所占的信息量很小，实现了高效率编码压縮。
—所述4: l相邻抽取辅助分量高效解码模块l由相邻嵌套合成单元300、基本图像存储单 $ 301、基本宏块10(^+反量化+解重排序零编码+运动矢量解码单元302、邻图像1存储单 元311、差异补偿位移1单元312、差异1及位移存储单元313、差异宏块IDCT+反量化+解重 排序零编码+位移矢量解码1单元314、邻图像2存储单元321、差异估计位移2单元322、 差异2及位移存储单元323、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码2单元 3M、邻图像3存储单元331、差异补偿位移3单元332、差异3及位移存储单元333、差异 宏块IDCT+反量化+解重排序零编码+位移矢量解码3单元334组成。
解码方法是编码方法的逆过程，编码流通过熵解码模块4解码后，形成基本分量、辅助 分量l、辅助分量2及辅助分量3计4路信号，基本分量信号通过基本宏快IDCT+反量化+解 重排序零编码+运动矢量解码单元302，依次进行运动矢量解码、零解码、反量化运算、反 "Z"字行扫描、IDCT变换及宏块合成，将解码信号输入到基本图像存储单元301，辅助分量 1的信号输入到差异宏块IDCT+反量化+解重排序零编码+位移矢量解码单元314，依次进行位移矢量解码、零解码、反量化运算、反"Z"字行扫描及IDCT变换及差异宏块合成，将差异 与位移1解码信号依次输入到差异及位移1存储单元313及差异补偿位移1单元312，基本 图像存储单元301的信号同时还输入到差异补偿位移1单元312，两路信号作补偿形成邻图 像1信号，存储到邻图像1存储单元311;同样的方法可得到邻图像2信号及邻图像3信号； 基本图像信号与邻图像1、邻图像2及邻图像3信号在3个位移矢量的作用下作相邻嵌套合 成，实现了完整的解码。
如图3为本发明的16: 1 二级相邻抽取辅助分量高效编解码原理框图
它在所述16: 1相邻抽取辅助分量高效编解码方法的基础上再一次进行了 4:1抽取，使得 基本图像分量像素数变为原来的1/16，再辅以15个辅助分量，由于相邻之间的相关性，辅助 分量信息量较小,从而实现了更大的压縮与更高的编码效率。它由16: l相邻抽取辅助分量高 效编码模块1、熵编码模块2、 16: 1相邻抽取辅助分量高效解码模块3与熵解码模块4组成。
视频信号经16: 1相邻抽取辅助分量高效编码模块1高效编码后，将基本分量与15个辅助分
量输入到熵编码模块2进行熵编码输出高效编码流，解码时，高效编码流经熵解码输出基本 分量与15个辅助分量，再经相邻抽取辅助分量高效解码模块3解码重建视频信号。
所述16: 1相邻抽取辅助分量高效编码模块1由4:1相邻抽取单元100、 一次基本图像 存储单元IOI、 4: 1基本分量二次相邻抽取高效编码单元102、邻图像l存储单元lll、差异 估计位移1单元112、差异1及位移存储单元113、 4: 1辅助分量二次相邻抽取高效编码1 单元114、邻图像2存储单元121、差异估计位移1单元122、差异2及位移存储单元123、 4: 1辅助分量二次相邻抽取高效编码124、邻图像3存储单元131、差异估计位移1单元132、 差异3及位移存储单元133、 4: i辅助分量二次相邻抽取高效编码3单元134组成。
由4: 1相邻抽取单元100对视频图像进行相邻抽取后，形成一个基本图像与3个差异图 像分别输入到一次基本图像存储单元101、邻图像1存储单元111、邻图像2存储单元121及 邻图像3存储单元131存储， 一次基本图像存储单元101经4:1基本分量二次相邻抽取高效 编码单元102处理，处理后形成基本分量信号、基辅分量1信号、基辅分量2信号及基辅分 量3信号输入到熵编码模块2;邻图像1存储单元111将信号输入到差异估计位移1单元112， 与来自基本图像存储单元101的信号作差值估计与位移确定，如基本图像是奇行奇列，邻图 像1是奇行偶列，则位移1为左移一个像素，经差异1及位移存储单元113存储,输入到4: 1 辅助分量二次相邻抽取高效编码1单元处理，形成一路差异基本分量1及3路差异辅助分量 l-3输入到熵编码模块2;同样的方法得到差异基本分量2及3路差异辅助分量2-3与差异基 本分量3及3路差异辅助分量3-3，因采用的是二相邻抽取，所有处理后将形成大量的"0"， 实现了更高高效率编码压縮。所述4:1基本分量二次相邻抽取高效编码单元102、 4: l辅助 分量二次相邻抽取高效编码1单元114、 4: 1辅助分量二次相邻抽取高效编码2单元124及 4: 1辅助分量二次相邻抽取高效编码3单元134的组成与实现方法与所述4: 1相邻抽取辅 助分量高效编码方法一致。
所，I6: 1相邻抽取辅助分量高效解码模块1由相邻嵌套合成单元300、 一次基本图像 存储单元301、 4:1基本分量二次相邻抽取解码单元302、邻图像1存储单元311、差异补偿 位移1 ，元312、差异1及位移存储单元313、 4:1辅助分量高效解码1单元314、邻图像2 存储单，321、差异估计位移2单元322、差异2及位移存储单元323、 4:1辅助分量高效解 码2单元324、邻图像3存储单元331、差异补偿位移3单元332、差异3及位移存储单元333、 4:1辅助分量高效解码3单元334组成。
解码方法是编码方法的逆过程，编码流通过熵解码模块4解码后，形成基本分量、基辅 助分量l、 2及3计4路信号，差异基本辅助分量1与3路差异辅助分量卜3计4路信号，差 异基本辅助分量2与3路差异辅助分量2-3计4路信号，差异基本辅助分量3与3路差异辅 助分量3-3计4路信号；基本分量、基辅助分量1、 2及3计4路信号经4:1基本分量二次相 邻抽取解码单元302处理，形成一次基本图像信号到一次基本图像存储单元301存储；差异基本辅助分量1与3路差异辅助分量1-3计4路信号经4:1辅助分量高效解码1单元314高 效解码后形成差异1及位移矢量信号，输入到差异1及位移存储单元313存储，存储后输入 到差异补偿位移1单元312，在此单元中与来自一次基本图像存储单元301的信号作补偿形 成邻图像l信号，输入到邻图像1存储单元3U;同样的方法形成邻图像2信号输入到邻图 像1存储单元321及形成邻图像3信号输入到邻图像3存储单元Ml; —次基本图像信号与 邻图像l、邻图像2及邻图像3信号在3个位移矢量的作用下作相邻嵌套合成，实现了完整 的解码。所述所述4:1基本分量二次相邻抽取高效解码单元302、 4: 1辅助分量二次相邻抽 取高效解码1单元314、 4: 1辅助分量二次相邻抽取高效解码2单元324及4: 1辅助分量二 次相邻抽取高效解码3单元334的组成与实现方法与所述4: 1相邻抽取辅助分量高效解码方 法一致。
通过所述16: 1相邻抽取辅助分量高效编解码方法可以将1440X1080的高清图像信号转 换为352X288的CIF图像信号，720X576的标清图像信号转换为176X144的QCIF图像信号， 实现高效率的编解码；配合隔行扫描可以采用一次按列2: 1抽取、二次按行列4: 1抽取的 8: 1 二级相邻抽取高效编解码方法。
如图4为本发明的9: 1相邻抽取编码法像素结构图
一个像素点总与周边的8个像素点相邻，因此可以采用一个像素点预测估计周边的8个
像素点，采用9: 1相邻抽取实现更高效率的编码。
将一帧(或场)图像进行9: l相邻抽取后，可以形成与原图像高度相关的l/9像素基本
图像与8个l/9像素邻抽取图像，基本图像的组成规律是:所在行位置为3n-1 (n=l，2，3,4)， 所在列位置为3m-l (m=l，2，3,4)，其余的8个与之作预测，可以大幅度减小相邻像素的相关 性，这样就只剩下少量差值信息，将基本帧(或场)采用宏块分割、DCT变换、量化、重排 序与零编码再输入到熵编码，其余的8个差值帧(或场)也采用宏块分割、DCT变换、量化、 重排序与零编码再输入到熵编码，差值帧(或场)经量化后将出现大量的非零系数，可大量 减少信息量，作为辅助信息输入到熵编码；也可将经过DCT变换与量化后的基本帧(或场) 与其余3个差值帧(或场)嵌套合成，再按MPEG-2或膨￡6-4或&￥5或& 264的架构进行熵 编码；解码的过程与此相反，解码时，按对应的按MPEG-2或MPEG-4或AVS或H. 264解码后， 分解出l个基本帧(或场)与8个差值帧(或场)，将其余的8个差值帧(或场)分别与基本 帧(或场)作补偿形成8个帧(或场)，再进行嵌套，就重建了一帧(或场)图像。本方法也 可在宏块分割后再进行差值估计，解码过程则是对每个差值宏块进行补偿，再嵌套合成宏块， 最后把宏块合成重建了一帧(或场)图像。本方法所述4: l相邻抽取高效编解码方法相比， 都是相邻抽取，图像编解码损伤一致，但编码效率更高，只是计算量要大。 如图5为本发明的9: 1相邻抽取辅助分量高效编解码原理框图
其组成与所述4: 1相邻抽取辅助分量高效编解码方法大体一致，所不同的只是增加了5 路相邻图像处理，编码时，形成一路基本分量与8路辅助分量到熵编码器；解码时，将一路 基本分量与8路辅助分量处理，形成一路基本图像信号与8路邻图像信号，再进行9: l相邻
嵌套重建图像。
本方法也可实现81: 1 二级相邻抽取辅助分量高效编解码方法；还可与l: 4相邻抽取辅 助分 效编解码方法配合使用，实现36: 1 二级相邻抽取辅助分量高效编解码方法；还可 配合隔行扫描可以采用一次按列2: 1抽取、二次按行列9: 1抽取的18: 1 二级相邻抽取高 效编解码方法。
如图6所示为本发明的相邻宏块估计邻抽取高效编解码原理框图
它由帧内相邻宏块估计相邻抽取高效编码模块l、熵编码模块2、帧内相邻宏块估计相邻 抽取高效解码模块3与熵解码模块4组成，帧内相邻宏块估计相邻抽取高效编码模块1在所 述相邻抽取高效编码的基础上进一步实现对相邻宏块之间的估计，大幅度减少相邻宏块的相 关性，从而进一步实现高效编码，其编码结果输入到熵编码模块2进行编码提高编码效率；
17解码是编码的逆过程，编码流输入到熵解码模块4进行熵解码，再输入到帧内相邻宏块解码 模块进行解码，恢复宏块视频矩阵。
所述帧内相邻宏块估计相邻抽取高效编码模块1由X个相邻抽取辅助分量高效编码宏块 单元11、第Y个相邻抽取辅助分量高效编码相邻宏块单元12、相邻宏块估计单元13、相邻 宏块Y差异编码单元14及相邻宏块位移矢量编码单元15组成。第Y个相邻抽取辅助分量高 效编码相邻宏块单元12中的己编信息及X个相邻抽取辅助分量高效编码宏块单元11中的已 编信息输入到相邻宏块估计单元13, Y宏块与分别X个宏块中的上左相邻宏块、上相^I5宏块、 上右相邻宏块作差异估计，确定一个差异最小的作基本宏快；将差异信息输入到相邻宏块Y 差异编码单元14， Y宏快以基本宏快作参考的差异宏快Y替代，对差异宏快Y作编码，输入 到熵编码模块2，差异宏快Y将由许多"0"组成，这样就将Y宏快进行了大幅度的编码压缩， 提高编码效率；同时Y宏快与相邻宏快位移信息输入到相邻宏块位移矢量单元15进行位移矢 量编码，再输入到熵编码模块2，完成编码。所述相邻宏快估计可采用绝对值最小或MSE均 方误差最小或MAD平均绝对块差最小为匹配判据，来找到与/宏快最相近的块；本发明还可 不限于帧内相邻宏快估计，甚至可以在全帧内做Y宏快的相关性估计，编码效率将更高，但 计算量将加大；本实施例说明的是帧内相邻宏快估计与相邻抽取高效编码，对于场内相邻宏 快估计与相邻抽取高效编码方法与之完全一致，实际中也可单独只采用相邻宏快估计与相邻
抽取中的一种；所述相邻抽取可以是所述4: l或8: 1或9: 1或18: 1等方式。
所述帧内相邻宏块估计相邻抽取高效解码模块1由x个相邻抽取辅助分量高效解码宏块 单元31、第Y个相邻抽取辅助分量高效解码相邻宏块单元32、相邻宏块补偿单元33、相邻 宏块Y差异解码单元34及相邻宏块位移矢量解码单元35组成。输入的编码流经熵解码模块 4解码后，输出三路信号， 一路输入到X个相邻抽取辅助分量高效编码宏块单元31进行解码， 重建X个相邻宏快，同时解码后的信号输入到相邻宏块补偿单元33; —路输入到相邻宏块Y 差异解码单元34进行解码，输入到相邻宏块补偿单元33; —路输入到相邻宏块位移矢量解 码单元35进行位移矢量解码，解码后输入到第Y个相邻抽取辅助分量高效解码相邻宏块单元 32;相邻宏块补偿单元33对输入的两路信号做补偿运算后，将结果输入到第Y个相邻抽取辅 助分量高效解码相邻宏块单元32，补偿位移矢量后在第Y个相邻抽取辅助分量高效解码相邻 宏块单元32中重建Y宏快。
如图7所示为本发明的奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图 它由奇偶场差估计场内相邻宏块估计相邻抽取高效编码模块l、熵编码模块2、奇偶场差 估计、场内相邻宏块估计与相邻抽取高效解码模块3及熵解码模块4组成。编码时，奇偶场 差估计场内相邻宏块估计相邻抽取高效编码模块1进行高效编码，编码结果输入到熵编码模 块2再一次进行高效编码；解码过程与编码过程相逆，编码流信号输入到熵解码模块4进行 熵解码，解码结果输入到场内相邻宏块估计与相邻抽取高效解码模块3解码，完成解码过程。 一所述编码过程如工奇偶场差估计场内相邻宏块估计相邻抽取高效编码模块1由场形成 单元ll、偶场存储单元12、奇场存储单元13、场差估计高效编码运动矢量编码单元H及场 内相邻宏快估计相邻抽取高效编码单元15组成。输入的视频信号有两种方式， 一种为隔行扫 描， 一种为逐行扫描，对隔行扫描信号经场形成单元不做处理直接将奇偶场信号分别输入到 奇场存储单元13与偶场存储单元l2，对逐行扫描信号经场形成单元11处理分出奇偶场信号 分别输入到奇场存储单元13与偶场存储单元12;奇场存储单元13输出两路信号， 一路输入 到场内相邻宏快估计相邻抽取高效编码单元15作高效编码，其方法与所述帧内相邻宏快估计 相邻抽取高效编码方法一致，再输入到熵编码模块3进一步做高效编码； 一路输入到场差估 计运动矢量单元14;偶场存储单元12将偶场信号输入到场差估计运动矢量单元14;在场差 估计运动矢量单元14中，偶场信号以奇场信号作为参考作差异估计，同时偶场相对奇场位移 为下移一行像素，对场差信号与运动矢量做高效编码输入到熵编码模块进一步做高效编码， 所述场差估计高效编码可釆用与所述帧内相邻宏快估计相邻抽取高效编码方法一样的方法；
1所述相邻抽取可以是所述4: l或8: 1或9- 1或1S: 1等方式。
所述解码过程如下奇偶场差估计场内相邻宏块估计相邻抽取高效解码模块1由jlf形成 单元3U偶场存储单元3'2、奇场存储单元33、场差补偿高效解码与运动矢量解码单元一34及 场内相邻宏快估计相邻抽取高效解码单元15组成。编码流信号输入到熵解码模块4进行熵解 码，解码信号分成两路一路输入到场内相邻宏快估计相邻抽取高效解码单元15依次进行相 邻宏快解码与相邻抽取解码,解码结果分别输入到奇场存储单元33与场差补偿高效解码与运 动矢量解码单元34; —路输入到场差补偿高效解码与运动矢量解码单元34进行解码，解码结 果输入到场差补偿高效解码与运动矢量解码单元34;在场差补偿高效解码与运动矢量解码单 元34中，以奇场信号为参考，进行场差补偿与运动矢量补偿，形成偶场信号，输入到偶场，储 单元32，奇场存储单元33与偶场存储单元32中的奇偶场信号，输入到场形成单元31，对隔行 扫描信号经场形成单元31不做处理直接将奇偶场信号分别依次输出，对逐行扫描信号经场形 成单元11处理形成帧信号输出。
所述相邻抽取可以是所述4: 1或8: l或9: 1或18: l等方式。 如图8所示为本发明的奇偶场差估计场间预测高效编解码原理框图
所述奇偶场差估计场间预测高效编码编码后的场图像序列由I奇场11、 P偶场21、 Bl奇 场12、 Bl偶22、 B2奇场13、 B2偶场23、 P奇场14、 B3偶场24组成，奇场序列图像及偶场 序列图像同MPEG-2或MPEG-4或AVS或H. 264架构下的帧图像I帧、B帧与P帧一致，I奇场 作运动预测形成P奇场，Bl奇场、B2奇场均由I奇场作运动预测及P奇场作反向预测得到； P偶场由I奇场作差异估计得到，Bl偶场由P偶场作运动预测及Bl奇场作场差估计得到，B2 偶场由P偶场作运动预测及B2奇场作场差估计得到，B3偶场均由P偶场作运动预测及B3奇 场作场差估计得到，编码后形成的场序列图像依次为由I奇场、P偶场、Bl奇场、Bl偶场、 B2奇场、B2偶场、P奇场、B3偶场。本发明只列举了如图5所示的一个实施例，实际中，如 同MPEG-2或MPEG-4或AVS或H. 264架构下的帧图像序列一样，P场与B场的数目可以有多 种，同时B场可以由前面场与后面场作双向预测得到。
所述奇偶场差估计场间预测高效解码图像序列由奇场1、偶场l、奇场2、偶场2、奇场 3、偶场3、奇场4与偶场4组成，场间解码过程与场间编码过程相逆，已编码尚I奇场、P 偶场、Bl奇场、Bl偶、B2奇场、B2偶场、P奇场、B3偶场图像序列输入到解码单元后，先 进行奇场I解码得到奇场1;由奇场l作参考，通过P偶场场差异补偿得到解码的偶场1;以 奇场1作参考，通过P奇场作运动补偿得到奇场4;以奇场1作参考，通过I奇场作运动补 偿及通过P奇场作反向补偿对B1奇场解码得到奇场2;以奇场l作参考，通过I奇场作运动 补偿、通过P奇场作反向补偿对B2奇场解码得到奇场3;以奇场l作参考，通过I奇场作场
差补偿，对P偶场解码得到偶场1;以偶场l作参考，通过P偶场作运动补偿及通过P奇场
作场差补偿，对B3偶场解码得到偶场4;以偶场1作参考，通过P偶场作运动补偿及通过 Bl奇场作场差补偿，对B2偶场解码得到偶场3;以偶场1作参考，通过P偶场作运动补偿 及通过B2奇场作场差补偿，对B1偶场解码得到偶场2;解码后输出的视频序列依次为奇场 1、偶场l、奇场2、偶场2、奇场3、偶场3、奇场4与偶场4;对隔行扫描终端直接输出， 对逐行扫描终端，则将对应的奇偶场嵌套合成形成帧1、帧2、帧3与帧4视频图像信号序列。 本发明只列举了如图8所示的一个实施例，实际中，编码序列改变时，解码序列相应改变。
如图9所示j^本发明的立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图 —它由立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1、熵编码模块2、立体 隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块3及熵解码模块4组成。立体隔行扫 描场差估计场内邻宏快估计邻抽取高效编码模块1在所述隔行扫描差估计邻宏快估计邻抽取 辅助分量高效编码方法的基础上，将左右图像分别采用基本高效编码与辅助分量编码的方式 进行高效编码，一，入到熵编码模块2;解码则是编码的逆过程。
所述立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1由左图像隔行处理单元11、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元12、运动矢量编码单元13、 右图像单元21、右图像隔行位移处理处理单元22、左右图像差异估计单元23及左,图像差 异辅助分量高效编码单元24组成。左图像信号输入到左图像隔行处理单元11,对隔行扫描信 号直接输出，对逐行扫描信号转化为隔行扫描信号输出；处理后输入到隔行扫描场差估计场内 邻宏快估计邻抽取高效编码单元12进行高效编码，将结果输入到熵编码模块2进一步实现高 效编码；来自右图像单元21的信号输入到右图像隔行扫描位移处理单元22进行处理，对于 隔行扫描信号，只做位移处理，对逐行扫描信号，除位移处理外，还要进行隔行处理，将一 帧图像转换为奇偶两场图像，位移的目的是保持左右图像的最大相关性；处理的结果输入到 左右差异估计单元23，以来自左图像隔行处理单元11的信号为参考，得到左右图像的差异 信号，输入到左右差异辅助分量高效编码单元24作高效编码，将其结果输入到熵编码模块2 进一步作高效熵编码，这里所述左右差异辅助分量高效编码单元24对辅助分量的高效编码方 法可采用隔行扫描场差估计场内邻宏快估计邻抽取高效编码方法；同时左右差异估计单元23 还输出运动矢量信号到运动矢量编码单元13作编码，并将编码的结果输入到熵编码模块2作 高效编码。
所述立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块1由左图像隔行处理单 元41、隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元42、运动矢量解码单元43、 右图像单元51、右图像隔行位移处理处理单元52、左右图像差异补偿单元53及左右图像差 异辅助分量高效解码单元54组成。待解码的编码流信号经熵解码模块4熵解码后，输出三路 信号 一路输入到隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元42进行解码，输出 左图像的己解码奇偶场信号到左图像隔行处理单元41，对隔行显示终端直接输出隔行扫描的 奇偶场序列信号，对逐行显示终端，将奇偶场信号嵌套合成帧序列信号输出，同时左图像隔 行处理单元41还将处理后的信号输入到左右差异补偿单元53做参考信号； 一路输入到运动 矢量解码单元43作运动矢量解码，再输入到左图像隔行处理单元以形成左图像场序列信号； 还有一路输入到左右差异辅助分量高效解码单元54，解码出差异信号输入到左右差异补偿单 元53，在左右差异补偿单元53中，以来自左图像隔行处理单元41的场序列信号作参考，输 出重建的右图像场序列信号到右图像隔行扫描位移处理单元52作处理，对隔行显示终端直接 输出隔行扫描的奇偶场序列信号，对逐行显示终端，将奇偶场信号嵌套合成帧序列信号，输 出到右图像单元51，至此完成解码。
本图中左右图像可以互换；所述相邻抽取可以是所述4: l或8: 1或9: 1或18: 1等方式。
如图10所示为本发明的fmffl立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图
它由精细立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1、熵编码模块2、 精细立,隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块3及熵解码模块4组成。精 细立体隔行扫描场差估计场内邻宏快估计邻抽取髙效编码模块1在所述立体隔行扫描差估计 邻宏快估计邻抽取辅助分量高效编码方法的基础上，将左右图像分别采用基本高效编码与辅 助分量编码及亮色纹理垂直差异分量的方式进行高效编码，输入到熵编码模块2;解码则是 编码的逆过程。一 一
一 所述立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1由左图像隔行处理单 元11、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元12、运动矢量编码单元13、 右图像单元21、右图像隔行位移处理处理单元22、左右图像差异估计单元23、左右图像差 异辅助分量高效编码单元24、亮色纹理垂直差异估计单元31、重建右图像单元32、左右图 像差异补偿单元33及亮色纹理垂直差异高效编码单元34组成。
它的实现方法是在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效编码方法 的基础上，通过重建右图像，找出右图像与重建右图像之间的亮色纹理及垂直差异，将差异 作为另一路辅助分量进行高效编码，从而实现精细高效立体编码，其具体实现方法如下
重建的左图像信号与重建的左右图像差异分量信号被输入到左右图像差异补偿单元33，以重建的左图像信号作参考，将重建的左右图像差异分量信号与之做补偿运算，得到重建的 右图像信号到重建右图像单元32;原始右图像信号从右图像单元21输入到亮色纹理垂直差 异估计单元31，原始右图像信号与解码重建的右图像信号之间存在亮度纹理、色度纹理及垂 直差异，为实现精细立体编码对其进行差异估计运算；差异估计的运算结果输入到亮色纹理 垂直差异高效编码单元34中作高效编码，高效编码结果被输入到熵编码模块2进一步高效编 码，从而完成整过编码过程。这里，重建的左图像信号与重建的左右差异信号表现为已编码 信号，则在左右图像差异补偿单元33中还需进行解码处理，以得到解码后的重建右图像；重 建的左图像信号与重建的左右差异信号也表现为已解码码信号，则在左右图像差异补偿单元 33中只需进行差异补偿处理，就得到解码后的重建右图像。
所述精细立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块1由左图像隔行处 理单元41、隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元42、运动矢量解码单元 43、精细右图像重建单元51、右图像隔行位移处理处理单元52、左右图像差异补偿单元53、 左右图像差异辅助分量高效解码单元54、亮色纹理垂直差异补偿单元61、亮色纹理垂直差异 分量解码单元62及精细右图像重建单元63组成。
它的实现方法是在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效解码方法 的基础上，通过对亮色纹理垂直差异分量解码单元62进行解码；解码后的信号输入到亮色纹 理垂直差异补偿单元61,以输入到本单元的重建右图像作基本图像，进行亮色纹理垂直差异 补偿，得到解码后的精细右图像；解码是编码的逆过程，当编码方式改变时，解码方式作相 应的改变。
本图中左右图像可以互换；戶/f述相邻抽取可以是所述4: l或8: 1或9: 1或18: 1等方式。 如图11所示为本发明的立体奇偶场差估计场间预测高效编解码原理框图
所述奇偶场差估计场间预测高效编码由左图像与右图象两部分组成,其中左图像由I奇 场11、 P偶场31、 Bl奇场12、 Bl偶场32、 B2奇场13、 B2偶场33、 P奇场14、 B3偶场34 组成，右图像由P奇场21、 B0偶场41、 Bl奇场22、 Bl偶场42、 B2奇场23、 B2偶场43、 B3奇场24、 B3偶场24组成。它实际上是在所述奇偶场差估计场间预测高效编码方法的基础 上，分成了左右图像编码序列。
左右奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H. 264架构下的帧图像 I帧、B帧与P帧一致。对左图像来说，I奇场11作运动预测形成P奇场14， Bl奇场12、 B2 奇场13均由I奇场11作运动预测及P奇场14作反向预测得到；P偶场31由I奇场11作场 差估计与运动预测得到，B3偶场34由P奇场14作场差估计与运动预测得到，Bl偶场32与 B2偶场33均由P偶场31作运动预测及B3偶场34作反向预测得到。对右图像来说，I奇场 11作场差估计形成P奇场21， Bl奇场22由P奇场21作运动预测及Bl奇场12作场差估计 得到，B2奇场23由P奇场21作运动预测及B2奇场13作场差估计得到，B3奇场24由P奇 场21作运动预测及B3奇场H作场差估计得到；BO偶场41由P奇场21作场差估计与运动 预测得到，B3偶场44由B3奇场24作场差估计与运动预测得到，Bl偶场42与B2偶场43均 由B0偶场41作运动预测及B3偶场44作反向预测得到。本发明只列举了如图8所示的一个 实施例，实际中，如同MPEG-2或MPEG-4或AVS或H,264架构下的帧图像序列一样，P场与B 场的数目可以有多种，同时B场可以由前面场与后面场作双向预测得到。
所述奇偶场差估计场间预测高效解码左图像序列与右图像序列两部分组成，其中左图像 序列部分由左奇场1单元51、左偶场1单元71、左奇场2单元52、左偶场2单元72、左奇 场3单元53、左偶场3单元73、左奇场4单元54与左偶场4单元74组成，右图像序列部分 由右奇场1单元61、右偶场1单元81、右奇场2单元62、右偶场2单元82、右奇场3单元 63、右偶场3单元83、右奇场4单元64与右偶场4单元84组成。
场间解码过程与场间编码过程相逆，己编码的场图像序列输入到解码单元后，对左图像 序列来说，先由奇场I解码得到左奇场1单元51，由左奇场1单元51作参考，通过I奇场11作运动补偿解码P奇场14得到左奇场4单元54;以左奇场1单元51与左奇场4单元54 作参考，通过I奇场]l作运动补偿及P奇场14作反向补偿分别解码Bl奇场与B2奇场得到 左奇场2单元52与左奇场3单元53;以左奇场1单元51作参考，通过I奇场11作运动补 偿与场差补偿解码P偶场31得到左偶场1单元71，以左奇场4单元54作参考，通过P奇场 14作运动与场差补偿解码B3偶场34得到左偶场4单元74，以左偶场1单元71与左偶场4 单元74作参考，通过P偶场31作运动补偿及B3偶场34作反向补偿，分别解码Bl偶场32 与B2偶场33得到左偶场2单元72与左偶场3单元73。
对右图像序列来说，以左奇场1单元51作参考，通过I奇场11作场差补偿，解码P偶 场31得到右奇场1单元61，以右奇场1单元61作参考，以P奇场21作运动补偿，由B1奇 场12、 B2奇场13及P奇场14作场差补偿，分别解码Bl奇场22、 B2奇场23、 B3奇场24得 到右奇场2单元62、右奇场3单元63及右奇场4单元64;以右奇场1单元61作参考，通过 P奇场21作运动与场差补偿，解码B0偶场41得到右偶场l单元81，以右奇场4单元64作 参考，通过B3奇场24作运动与场差补偿，解码B3偶场得到右偶场1单元84，以右偶场1 单元81及右偶场4单元84作参考，对BO偶场41作运动补偿，对B3偶场作反向补偿，分别 解码Bl偶场42与B2偶场43得到右偶场2单元82与右偶场2单元83，至此完成左右图像
场序列解码。对隔行扫描终端直接输出，对逐行扫描终端，则将对应的奇偶场嵌套合成形成 帧l、帧2、帧3与帧4视频图像信号序列。
本发明只列举了如图ll所示的一个实施例，实际中，编码序列改变时，解码序列相应改变。
本图中左右图像可以互换。
如图12所示为本发明的高效平面与立体视频编码流程图
其流程本发明各实施例己述及。 如图13所示为本发明的高效平面与立体视频解码流程图
其流程本发明各实施例已述及。 最后说明以上实施例仅用以说明而非限制本发明的技术方案，尽管本发明已参考上述 实施例进行了详细的说明，但依然可以对本发明进行增减、修改或者等同替换，而不脱离本 发明精神和范围的任何修改或局部替换，其均应被包含在本发明的权利要求范围中。
权利要求
1、一种高效平面与立体视频编解码方法它在现有的MPEG-2、MPEG-4、AVS及H.264的架构下，通过相邻抽取辅助分量编码法、帧(场)内邻宏块估计编码与奇偶场场差编码法大幅度提高编码效率，提高压缩比，由此编码方法形成相应的解码方法；进一步地，在立体视频中，将左右视频立体信号中的一幅图像作高效基本编码，另一路按视频差异进行预处理，再根据视频清晰度要求，对左右视频图像的水平差异与垂直差异或亮度残留纹理或色度残留纹理进行辅助分量编码，得到高效率立体视频编码方法，由此编码方法形成相应的解码方法；进一步地，将清晰度与立体视频编码作为统一的问题对待，将清晰度低一级的信号与平面信号作高效编码，通过增加辅助信息的方式实现高一级清晰度与立体高效编码，所述多种高效编码方法可以组合，由此编码方法形成相应的解码方法。
2、根据权利要求l， 一种用于高效视频编码的4:1相邻抽取辅助信息编解码方法其编码特征在于它由4:]相邻抽取单元、基本图像存储单元、基本宏块DCT+量化+重 排序零编码+运动矢量编码单元、邻图像1存储单元、差异估计位移1单元、差异1及位移 存储单元、差异宏块DCT+量化+重排序零编码+位移矢量编码l单元、邻图像2存储单元、差 异估计位移l单元、差异2及位移存储单元、差异宏块DCT+量化+重排序零编码+位移矢量编 码2单元、邻图像3存储单元、差异估计位移1单元、差异3及位移存储单元、差异宏块0(^+ 量化+重排序零编码+位移矢量编码3单元组成。由相邻抽取单元对视频图像进行相邻抽取后，形成一个基本图像与3个差异图像分别输 入到基本图像存储单元、邻图像l存储单元、邻图像2存储单元及邻图像3存储单元存储， 基本邻图像存储单元经宏块DCT+量化+重,排序零编码+运动矢量编码单元进行宏块分割、DCT 变换、量化、"Z"字型扫描重排序、零编码及运动矢量编码输入到熵编码模块2;邻图像1 存储单元将信号输入到差异估计位移1单元，与来自基本图像存储单元的信号作差值估计与 位移确定,如基本图像是奇行奇列，邻图像1是奇行偶列，则位移1为左移一个像素，经差异1 及位移存储单元存储,输入到差异宏块DCT+量化+重排序零编码+位移矢量编码单元,对差异信 号进行宏块分割、DCT变换、量化、"Z"字型扫描重排序、零编码及位移矢量编码形成辅助 分量1输入到熵编码模块2;同样的方法得到辅助分量2与辅助分量3，因采用的是相邻抽取， 处理后将形成大量的"0"，辅助分量1、辅助分量2及辅助分量3所占的信息量很小，实现 了高效率编码压縮。其对应的解码特征在于它由相邻嵌套合成单元、基木图像存储单元、基本宏块10^+反量化+解重排序零编码+运 动矢量解码单元、邻图像i存储单元311、差异补偿位移1单元、差异1及位移存储单元、 差异宏块IDCT+反量化+解重排序零编码+位移矢量解码1单元、邻图像2存储单元、差异估 计位移2单元、差异2及位移存储单元、差异宏块IDCT+反量化+解重排序零编码+位移矢量 解码2单元、邻图像3存储争元、差异补偿位移3单元、差异3及位移存储单元、差异宏块 IDCT+反量化+解重排序零编码+位移矢量解码3单元组成。解码方法是编码方法的逆过程，编码流通过熵解码模块解码后，形成基本分量、辅助分 量l、辅助分量2及辅助分量3计4路信号，基本分量信号通过基本宏快IDCT+反量化+解重 排序零编码+运动矢量解码单元，依次进行运动矢量解码、零解码、反量化运算、反"Z"字 行扫描、IDCT变换及宏块合成，将解码信号输入到基本图像存储单元，辅助分量l的信号输 入到差异宏块IDCT+反量化+解重排序零编码+位移矢量解码单元，依次进行位移矢量解码、 零解码、反量化运算、反"Z"字行扫描及IDCT变换及差异宏块合成，将差异与位移1解码 信号依次输入到差异及位移1存储单元及差异补偿位移1单元，基本图像存储单元的信号同 时还输入到差异补偿位移1单元，两路信号作补偿形成邻图像l信号，存储到邻图像l存储单元；同样的方法可得到邻图像2信号及邻图像3信号；基本图像信号与邻图像l、邻图像2 及邻图像3信号在3个位移矢量的作用下作相邻嵌套合成，实现了完整的解码。
3、 根据权利要求1与权利要求2， 一种用于高效视频编码的16:1 二级相邻抽取辅助信 息编解码方法，它在所述4: 1相邻抽取辅助分量高效编解码方法的基础上再一次进行了 4:1 抽取，使得基本图像分量像素数变为原来的1/16，再辅以15个辅助分量，由于相邻之间的相 关性，辅助分量信息量较小，从而实现了更大的压縮与更高的编码效率。其编码特征在于:它由4:1相邻抽取单元、 一次基本图像存储单元、4: 1基本分量二次 相邻抽取高效编码单元、邻图像1存储单元、差异估计位移1单元、差异1及位移存储单元、 4: 1辅助分量二次相邻抽取高效编码1单元、邻图像2存储单元、差异估计位移l单元、差 异2及位移存储单元、4: i辅助分量二次相邻抽取高效编码、邻图像3存储单元、差异估计 位移1单元、差异3及位移存储单元、4: l辅助分量二次相邻抽取高效编码3单元组成。由4: l相邻抽取单元l对视频图像进行相邻抽取后，形成一个基本图像与3个差异图像 分别输入到一次基本图像存储单元、邻图像1存储单元、邻图像2存储单元及邻图像3存储 单元存储， 一次基本图像存储单元经4:1基本分量二次相邻抽取高效编码单元处理，处理后 形成基本分量信号、基辅分量l信号、基辅分量2信号及基辅分量3信号输入到熵编码模块 2;邻图像1存储单元将信号输入到差异估计位移1单元，与来自基本图像存储单元的信号作 差值估计与位移确定,如基本图像是奇行奇列，邻图像1是奇行偶列，则位移1为左移一个像 素，经差异1及位移存储单元存储,输入到4: 1辅助分量二次相邻抽取高效编码1单元处理， 形成一路差异基本分量1及3路差异辅助分量1-3输入到熵编码模块2;同样的方法得到差 异基本分量2及3路差异辅助分量2-3与差异基本分量3及3路差异辅助分量3-3，因采用 的是二相邻抽取，所有处理后将形成大量的"0"，实现了更高高效率编码压縮。所述4:1基 本分量二次相邻抽取高效编码单元、4: 1辅助分量二次相邻抽取高效编码1单元、4: 1辅助 分量二次相邻抽取高效编码2单元124及4: 1辅助分量二次相邻抽取高效编码3单元的组成 与实现方法与所述4: 1相邻抽取辅助分量高效编码方法一致。其对应的解码特征在于:它由相邻嵌套合成单元、 一次基本图像存储单元、4:1基本分量 二次相邻抽取解码单元、邻图像1存储单元、差异补偿位移1单元、差异1及位移存储单元、 4:1辅助分量高效解码1单元、邻图像2存储单元、差异估计位移2单元、差异2及位移存 储单元、4:1辅助分量高效解码2单元、邻图像3存储单元、差异补偿位移3单元、差异3 及位移存储单元、4:1辅助分量高效解码3单元组成。解码方法是编码方法的逆过程，编码流通过熵解码模块解码后，形成基本分量、基辅助 分量1、 2及3计4路信号，差异基本辅助分量1与3路差异辅助分量1-3计4路信号，差异 基本辅助分量2与3路差异辅助分量2-3计4路信号，差异基本辅助分量3与3路差异辅助 分量3-3计4路信号；基本分量、基辅助分量1、 2及3计4路信号经4:1基本分量二次相邻 抽取解码单元处理，形成一次基本图像信号到一次基本图像存储单元存储；差异基本辅助分 量1与3路差异辅助分量1-3计4路信号经4:1辅助分量高效解码1单元高效解码后形成差 异l及位移矢量信号，输入到差异l及位移存储单元存储，存储后输入到差异补偿位移1单 元，在此单元中与来自一次基本图像存储单元的信号作补偿形成邻图像1信号，输入到邻图 像1存储单元；同样的方法形成邻图像2信号输入到邻图像1存储单元及形成邻图像3信号 输入到邻图像3存储单元； 一次基本图像信号与邻图像1、邻图像2及邻图像3信号在3个 位移矢量的作用下作相邻嵌套合成，实现了完整的解码。所述所述4:1基本分量二次相邻抽 取高效解码单元、4: 1辅助分量二次相邻抽取高效解码1单元、4: 1辅助分量二次相邻抽取高效解码2单元及4: 1辅助分量二次相邻抽取高效解码3单元的组成与实现方法与所述4:1相邻抽取辅助分量高效解码方法一致。
4、 根据权利要求1、权利要求2及权利要求3， 一种用于高效视频编码的9:1相邻抽取 辅助信息编解码方法，其特征在于它充分利用一个像素点与周边8个像素点相关的特点实现更高效编解码，其组成与所述4: 1相邻抽取辅助分量高效编解码方法大体一致，所不同的 只是增加了 5路相邻图像处理，编码时，形成一路基本分量与8路辅助分量到熵编码器；解 码时，将一路基本分量与8路辅助分量处理，形成一路基本图像信号与8路邻图像信号，再 进行9: l相邻嵌套重建图像。本方法也可实现81: 1 二级相邻抽取辅助分量高效编解码方法；还可与l: 4相邻抽取辅 助分量高效编解码方法配合使用，实现36: 1 二级相邻抽取辅助分量高效编解码方法；还可 配合隔行扫描可以采用一次按列2: l抽取、二次按行列9: 1抽取的18: 1 二级相邻抽取高 效编解码方法。
5、 根据权利要求l、权利要求2、权利要求3及权利要求4， 一种帧内相邻宏块估计相 邻抽取辅助信息编解码方法，其特征在于其编码特征是它由X个相邻抽取辅助分量高效编码宏块单元、第Y个相邻抽取辅助分量 高效编码相邻宏块单元、相邻宏块估计单元、相邻宏块Y差异编码单元及相邻宏块位移矢量编 码单元组成帧内相邻宏块估计相邻抽取编码模块。第Y个相邻抽取辅助分量高效编码相邻宏块 单元中的已编信息及X个相邻抽取辅助分量高效编码宏块单元中的已编信息输入到相邻宏块估 计单元，Y宏块与分别X个宏块中的上左相邻宏块、上相邻宏块、上右相邻宏块作差异估计， 确定一个差异最小的作基本宏快；将差异信息输入到相邻宏块Y差异编码单元，Y宏快以基本 宏快作参考的差异宏快Y替代，对差异宏快Y作编码，输入到熵编码模块2，差异宏快Y将由 许多"0"组成，这样就将Y宏快进行了大幅度的编码压縮，提高编码效率；同时Y宏快与相 邻宏快位移信息输入到相邻宏块位移矢量单元进行位移矢量编码，再输入到熵编码模块2，完 成编码。所述相邻宏快估计可采用绝对值最小或MSE均方误差最小或MAD平均绝对块差最小为 匹配判据，来找到与Y宏快最相近的块。它可只采用相邻宏快估计与相邻抽取中的一种；所述 相邻抽取可以是所述4: l或8: l或9: 1或18: 1等方式；所述场内相邻宏快估计相邻抽取 高效编码方法与所述帧内相邻宏块估计相邻抽取辅助信息编解码方法一致。其对应解码特征是它由X个相邻抽取辅助分量高效解码宏块单元、第Y个相邻抽取辅 助分量高效解码相邻宏块单元、相邻宏块补偿单元、相邻宏块Y差异解码单元及相邻宏块位 移矢量解码单元组成帧内相邻宏块估计相邻抽取高效解码模块。输入的编码流经熵解码模块解码后，输出三路信号， 一路输入到x个相邻抽取辅助分量高效编码宏块单元进行解码，重 建X个相邻宏快，同时解码后的信号输入到相邻宏块补偿单元； 一路输入到相邻宏块Y差异 解码单元进行解码，解码后输入到相邻宏块补偿单元； 一路输入到相邻宏块位移矢量解码单 元进行位移矢量解码，解码后输入到第Y个相邻抽取辅助分量高效解码相邻宏块单元；相邻 宏块补偿单元对输入的两路信号做补偿运算后，将结果输入到第Y个相邻抽取辅助分量高效 解码相邻宏块单元，补偿位移矢量后在第Y个相邻抽取辅助分量高效解码相邻宏块单元中重 建Y宏快。所述编码特征改变，其对应的解码特征作相应的改变。
6、 根据权利要求l、权利要求2、权利要求3、权利要求4及权利要求5， 一种奇偶场差 估计场内相邻宏块估计相邻抽取高效编解码方法，其特征在于其编码特征是它由场形成单元、偶场存储单元、奇场存储单元、场差估计高效编码运动矢量编码单元及场内相邻宏快估计相邻抽取高效编码单元组成奇偶场差估计场内相邻宏块 估计相邻抽取高效编码模块。对隔行扫描信号直接将奇偶场信号分别输入到奇场存储单元与 偶场存储单元，对逐行扫描信号经场形成单元处理分出奇偶场信号分别输入到奇场存储单元与偶场存储单元；奇场存储单元输出两路信号， 一路输入到场内相邻宏快估计相邻抽取高效 编码单元作高效编码，其方法与所述帧内相邻宏快估计相邻抽取高效编码方法一致，再输入到熵编码模块进一步做高效编码； 一路输入到场差估计运动矢量单元；偶场存储单元将偶场 信号输入到场差估计运动矢量单元；在场差估计运动矢量单元中，偶场信号以奇场信号作为 参考作场差估计，同时偶场相对奇场位移为下移一行像素，对场差信号与运动矢量做高效编 码输入到熵编码模块进一步做高效编码，所述场差估计高效编码可采用与所述帧内相邻宏快估计相邻抽取高效编码方法一样的方法。其对jSM码特征是它由场形成单元、偶场存储单元、奇场存储单元、场差补偿高效解码 与运动矢量解码单元及场内相邻宏快估计相邻抽取高效解码单元组成奇偶场差估计场内相邻 宏块估计相邻抽取高效解码模块。编码流信号输入到熵解码模块进行熵解码，解码信号分成两路一路输入到场内相邻宏快估计相邻抽取高效解码单元依次进行相邻宏快解码与相邻抽取 解码，解码结果分别输入到奇场存储单元、场差补偿高效解码与运动矢量解码单元； 一路输入 到场差补偿高效解码与运动矢量解码单元进行解码，结果输入到场差补偿高效解码与运动矢 量解码单元；在场差补偿高效解码与运动矢量解码单元中，以奇场信号为参考，进行场差补偿 与运动矢量补偿，形成偶场信号，输入到偶场存储单元，奇场存储单元与偶场存储单元中的竒 偶场信号，输入到场形成单元，直接将奇偶场信号分别依次输出，对逐行扫描信号经场形成单 元处理形成帧信号输出。所述奇偶场差估计场内相邻宏块估计相邻抽取高效解码方法可只采用奇偶场差估计、相 邻宏快估计与相邻抽取中的一种或任意两种或全部；所述相邻抽取可以是所述4: 1或8: 1 或9: 1或18: 1等方式。
7、 根据权利要求1及权利要求6， 一种奇偶场差估计场间预测高效编解码方法，其特征 在于其编码特征是编码后的场图像序列由I奇场、P偶场21、 Bl奇场、Bl偶、B2奇场、 B2偶场、P奇场、B3偶场组成。奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或 H. 264架构下的帧图像I帧、B帧与P帧一致，I奇场作运动预测形成P奇场，Bl、 B2奇场均 由I奇场作运动预测及P奇场作反向预测得到；P偶场由I奇场作差异估计得到，Bl偶场由 P偶场作运动预测及Bl奇场作场差估计得到，B2偶场由P偶场作运动预测及B2奇场作场差 估计得到，B3偶场均由P偶场作运动预测及B3奇场作场差估计得到，编码后形成的场序列 图像依次为由I奇场、P偶场、Bl奇场、Bl偶场、B2奇场、B2偶场、P奇场、B3偶场。所 述场序列图像同MPEG-2或MPEG-4或AVS或H. 264架构下的帧图像序列一样，P场与B场的 数目可以有多种，同时B场可以由前面场与后面场作双向预测得到。其对应的解码特征是解码后的场图像序列由奇场l、偶场K奇场2、偶场2、奇场3、 偶场3、奇场4与偶场4组成。场间解码过程与场间编码过程相逆，已编码的I奇场、P偶场、 Bl奇场、Bl偶、B2奇场、B2偶场、P奇场、B3偶场图像序列输入到解码单元后，先进行奇 场I解码得到奇场1;由奇场l作参考，通过P偶场场差异补偿得到解码的偶场1;以奇场l 作参考，通过P奇场作运动补偿得到奇场4;以奇场1作参考，通过I奇场作运动补偿及通 过P奇场作反向补偿对Bl奇场解码得到奇场2;以奇场1作参考，通过I奇场作运动补偿、 通过P奇场作反向补偿对B2奇场解码得到奇场3;以奇场1作参考，通过I奇场作场差补偿， 对P偶场解码得到偶场1;以偶场l作参考，通过P偶场作运动补偿及通过P奇场作场差补 偿，对B3偶场解码得到偶场4;以偶场l作参考，通过P偶场作运动补偿及通过B1奇场作 场差补偿，对B2偶场解码得到偶场3;以偶场l作参考，通过P偶场作运动补偿及通过B2 奇场作场差补偿，对B1偶场解码得到偶场2;解码后输出的视频序列依次为奇场l、偶场l、 奇场2、偶场2、奇场3、偶场3、奇场4与偶场4;对隔行扫描终端直接输出，对逐行扫描 终端，则将对应的奇偶场嵌套合成形成帧1、帧2、帧3与帧4视频图像信号序列。
8、 根据权利要求l、权利要求2、权利要求3、权利要求4、权利要求5及权利要求6， 一种立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码方法，其特征在于其编码特征是它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高 效编码单元、运动矢量编码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差 异估计单元及左右图像差异辅助分量高效编码单元组成立体隔行扫描场差估计场内邻宏快估 计邻抽取高效编码模块。左图像信号输入到左图像隔行处理单元，对隔行扫描信号直接输出， 对逐行扫描信号转化为隔行扫描信号输出；处理后输入到隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元进行高效编码，将结果输入到熵编码模块进一步实现高效编码；来自右 图像单元21的信号输入到右图像隔行扫描位移处理单元22进行处通，对于隔行扫描信号， 只做位移处理，对逐行扫描信号，除位移处理外，还要进行隔行处理，将一帧图像转换为奇 偶两场图像；处理的结果输入到左右差异估计单元，以来自左图像隔行处理单元的信号为参 考，得到左右图像的差异信号，输入到左右差异辅助分量高效编码单元作高效编码，将其结 果输入到熵编码模块进一步作高效熵编码，所述左右差异辅助分量高效编码单元对辅助分量 的高效编码方法可采用隔行扫描场差估计场内邻宏快估计邻抽取高效编码方法；同时左右差 异估计单元输出运动矢量信号到运动矢量编码单元作编码，并将编码的结果输入到熵编码模块作高效编码。其对应的解码特征是它左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽 取高效解码单元、运动矢量解码单元、右图像单元、右图像隔行位移处理处理单元、左右图 像差异补偿单元及左右图像差异辅助分量高效解码单元组成立体隔行扫描场差估计场内邻宏 快估计邻抽取高效解码模块。待解码的编码流信号经熵解码模块熵解码后，输出三路信号-一路输入到隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元进行解码，输出左图像的 已解码奇偶场信号到左图像隔行处理单元，对隔行显示终端直接输出隔行扫描的奇偶场序列 信号，对逐行显示终端，将奇偶场信号嵌套合成帧序列信号输出，同时左图像隔行处理单元 还将处理后的信号输入到左右差异补偿单元做参考信号； 一路输入到运动矢量解码单元作运 动矢量解码，再输入到左图像隔行处理单元以形成左图像场序列信号；还有一路输入到左右 差异辅助分量高效解码单元，解码出差异信号输入到左右差异补偿单元，在左右差异补偿单 元中，以来自左图像隔行处理单元的场序列信号作参考，输出重建的右图像场序列信号到右 图像隔行扫描位移处理单元作处理，对隔行显示终端直接输出隔行扫描的奇偶场序列信号， 对逐行显示终端，将奇偶场信号嵌套合成帧序列信号，输出到右图像单元，至此完成解码。 所述编码解码方法中左右图像可以互换。
9、根据权利要求1及权利要求8， 一种精细立体奇偶场差估计场内相邻宏块估计相邻抽 取高效编解码方法，其特征在于-其编码特征是它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高 效编码单元、运动矢量编码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差 异估计单元、左右图像差异辅助分量高效编码单元、亮色纹理垂直差异估计单元、重建右图 像单元、左右图像差异补偿单元及亮色纹理垂直差异高效编码单元组成立体隔行扫描场差估 计场内邻宏快估计邻抽取高效编码模块。它的实现方法是在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效编码方法 的基础上，通过重建右图像，找出右图像与重建右图像之间的亮色纹理及垂直差异，将差异 作为另一路辅助分量进行高效编码，从而实现精细高效立体编码重建的左图像信号与重建 的左右图像差异分量信号被输入到左右图像差异补偿单元，以重建的左图像信号作参考，将 重建的左右图像差异分量信号与之做补偿运算，得到重建的右图像信号；原始右图像信号从 右图像单元输入到亮色纹理垂直差异估计单元，原始右图像信号与解码重建的右图像信号之间存在亮度纹理、色度纹理及垂直差异，为实现精细立体编码对其进行差异估计运算；差异 估计的运算结果输入到亮色纹理垂直差异高效编码单元中作高效编码，高效编码结果被输入 到熵编码模块进一步高效编码，从而完成整过编码过程。所述重建的左图像信号与重建的左 右差异信号如表现为己编码信号，则在左右图像差异补偿单元中还需进行解码处理，以得到 解码后的重建右图像；重建的左图像信号与重建的左右差异信号如表现为已解码码信号，则 在左右图像差异补偿单元中只需进行差异补偿处理，就得到解码后的重建右图像。其对应的解码特征是它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻 抽取高效解码单元、运动矢量解码单元、精细右图像重建单元、右图像隔行位移处理处理单 元、左右图像差异补偿单元、左右图像差异辅助分量高效解码单元、亮色纹理垂直差异补偿单元、亮色纹理垂直差异分量解码单元及精细右图像重建单元组成精细立体隔行扫描场差估 计场内邻宏快估计邻抽取高效解码模块。在所述立体隔行扫描差估计邻宏快估计邻抽取辅助 分量高效解码方法的基础上，通过对亮色纹理垂直差异分量解码单元进行解码；解码后的信 号输入到亮色纹理垂直差异补偿单元，以输入到本单元的重建右图像作基本图像，进行亮色 纹理垂直差异补偿，得到解码后的精细右图像；解码是编码的逆过程，当编码方式改变时， 解码方式作相应的改变。所述编码与解码方法中左右图像可以互换。
10、根据权利要求1权利要求8及权利要求9， 一种立体奇偶场差估计场间预测高效编 码方法，其特征在于其编码特征是它的图像序列由左图像与右图象序列两部分组成，其中左图像序列由I奇 场、P偶场、Bl奇场、Bl偶场、B2奇场、B2偶场、P奇场、B3偶场组成；右图像序列由P 奇场、B0偶场、BL奇场、Bl偶场、B2奇场、B2偶场、B3奇场、B3偶场组成。它实际上是 在所述奇偶场差估计场间预测高效编码方法的基础上，分成了左右图像编码序列。左右奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H. 264架构下的帧图像 I帧、B帧与P帧一致。对左图像来说，I奇场作运动预测形成P奇场，Bl奇场、B2奇场均 由I奇场作运动预测及P奇场作反向预测得到；P偶场由I奇场作场差估计与运动预测得到， B3偶场由P奇场作场差估计与运动预测得到，Bl偶场与B2偶场均由P偶场作运动预测及B3 偶场作反向预测得到。对右图像来说，I奇场作场差估计形成P奇场，B1奇场由P奇场作运 动预测及Bl奇场作场差估计得到，B2奇场由P竒场作运动预测及B2竒场作场差估计得到， B3奇场由P奇场作运动预测及B3奇场作场差估计得到；B0偶场由P奇场作场差估计与运动 预测得到，B3偶场由B3奇场作场差估计与运动预测得到，B1偶场与B2偶场均由B0偶场作 运动预测及B3偶场作反向预测得到。如同MPEG-2或MPEG-4或AVS或H. 264架构下的帧图像 序列一样，P场与B场的数目可以有多种，同时B场可以由前面场与后面场作双向预测得到。其对应的解码特征是所述竒偶场差估计场间预测高效解码左图像序列与右图像序列两 部分组成，其中左图像序列部分由左奇场1单元、左偶场1单元、左奇场2单元、左偶场2 单元、左奇场3单元、左偶场3单元、左奇场4单元与左偶场4单元组成，右图像序列部分 由右奇场1单元、右偶场1单元、右奇场2单元、右偶场2单元、右奇场3单元、右偶场3 单元、右奇场4单元与右偶场4单元组成。场间解码过程与场间编码过程相逆，已编码的场图像序列输入到解码单元后，对左图像 序列来说，先由奇场I解码得到左奇场1单元，由左奇场l单元作参考，通过I奇场作运动 补偿解码P奇场得到左奇场4单元；以左奇场l单元与左奇场4单元作参考，通过I奇场作 运动补偿及P奇场作反向补偿分别解码Bl奇场与B2奇场得到左奇场2单元与左奇场3单元； 以左奇场1单元作参考，通过I奇场作运动补偿与场差补偿解码P偶场得到左偶场1单元， 以左奇场4单元作参考，通过P奇场作运动与场差补偿解码B3偶场得到左偶场4单元，以左 偶场1单元与左偶场4单元作参考，通过P偶场作运动补偿及B3偶场作反向补偿,分别解码 Bl偶场与B2偶场得到左偶场2单元与左偶场3单元。对右图像序列来说，以左奇场l单元作参考，通过I奇场作场差补偿，解码P偶场得到 右奇场1单元，以右奇场1单元作参考，以P奇场作运动补偿，由Bl奇场、B2奇场及P奇 场作场差补偿，分别解码Bl奇场、B2奇场、B3奇场得到右奇场2单元、右奇场3单元及右 奇场4单元；以右奇场l单元作参考，通过P奇场作运动与场差补偿，解码BO偶场得到右偶 场1单元，以右奇场4单元作参考，通过B3奇场作运动与场差补偿，解码B3偶场得到右偶 场l单元，以右偶场1单元及右偶场4单元作参考，对BO偶场作运动补偿，对B3偶场作反 向补偿，分别解码Bl偶场与B2偶场43得到右偶场2单元与右偶场2单元，至此完成左右图 像场序列解码。对隔行扫描终端直接输出，对逐行扫描终端，则将对应的奇偶场嵌套合成形 成帧l、帧2、帧3与帧4视频图像信号序列。所述编码序列改变时，解码序列相应改变。
全文摘要
一种高效平面与立体数字视频编码及解码方法，通过行列相邻抽取辅助分量编码法、帧(场)内邻宏块估计编码与奇偶场场差编码法大幅度提高编码效率，提高压缩比，由此编码方法形成相应的解码方法；在立体视频中，将左右视频立体信号中的一幅图像作高效基本编码，另一路按视频差异进行预处理，再根据视频清晰度要求，对左右视频图像的水平差异与垂直差异或亮度残留纹理或色度残留纹理进行辅助分量编码，得到高效率立体视频编码方法，由此编码方得到相应的解码方法；将清晰度与立体视频编码作为统一对待，将清晰度低一级的信号与平面信号作高效编码，通过增加辅助信息的方式实现高一级清晰度与立体高效编码，所述多种高效编码方法可以组合，由此编码方法形成相应的解码方法。
文档编号H04N13/00GK101547350SQ200810030929
公开日2009年9月30日 申请日期2008年3月28日 优先权日2008年3月28日
发明者陈意辉 申请人:陈意辉