专利名称：降低视频流中的区块效应的方法
技术领域：
本发明是指一种用来降低视频流中的区块效应的方法，尤指一种可侦测 出存在于视频流中的区块效应，并藉由可调整的滤波强度去除所侦测的区块 效应的方法。
背景技术：
随着通信技术及计算机技术的快速演进，影像应用变得越来越多样化。 大部分的影像应用(包括视频会议、手机或公众交换电话网络的视频电话、 网络视频、以及数字电视广播等)都需要使用有效率的数据压缩方法，以将 大量的影像信息转变成适合传输于较窄频宽的通信信道，并使得重建后的影 像数据中有令人满意的影像质量。
为了要对随时间变化的视频序列进行压缩，在时域(Temporal Domain ) 以及在二维空间象限(Two Dimensional Spatial Domain)上的冗余性
(Redundancy)啫卩'义、须尽量;咸氐。在MPEG ( Moving Picture Experts Group ) 标准中，是使用离散余弦转换(Discrete Cosine Transform, DCT)来降低在 二维空间象限上的冗余性，并使用移动补偿(Motion Compensation )的方式 来降低在时间领域上的冗余性。
在已知视频压缩技术中，通常会在输入数据被取样成大小为8x8个像素 的单位(或称为区块，Block)之后再执行DCT转换，而转换参数(DCT Coefficients )则透过使用量化表(Quantization Table )中的量化值(Quantization Values )及对应于视觉特性(Visual Property )的方式量化得出。接下来，透 过运行长度编码(Run Length Coding, RLC )对数据进行压缩。如此一来， 透过DCT处理的数据会从空间领域(Spatial Domain)被转换至频率领域
(Frequency Domain ),并针对人眼所无法察觉的视觉特性进行量化压缩。举 例来说，因为人眼对于高频的变化较不敏锐，因此高频系数会透过较大的步 阶大小(St印Size)进行量化。亦即，量化表可依据外部参数(External Parameters)来决定出，例如显示特性(Display Characteristic )、 乂见影距离(Watching Distance ),和噪声的状况等，以执行适当的量化工作。
请参考图1,图1显示了上述的MPEG压缩中，多个相邻的8x8像素区 块100、 102、 104的示意图。在处理移动影像时，这些区块IOO、 102、 104 会被个别处理，以增大压缩率(Compression Ratio)以及编码效率(Coding Efficiency )。然而，这种"个别的"处理方式，会导致区块间的区块边界(Block Boundary )变的较为明显，而出现可察觉的"区块效应"(Blocking Artifacts )。 在水平区块边界106以及垂直区块边界108皆会产生出方块式型样(Square Patterns,亦即区块效应)，而容易被人眼所察觉出来。
在传统以区块演算为基础的(block-based )视频压缩标准的中，如 MPEG-2，区块效应是一种最容易被察觉出来的人为影像缺陷(Artifact)。因 此，科技界陆续发展出几种可以在解码系统(对个別区块分别进行处理)中 降低区块效应的方法。例如，可以将去区块化滤波器(De-blocking filter )藉 由回路滤波器(Loop filter)或是后制滤波器(Post filter )的形式整合在解码 系统中。不同于回路滤波器，后制滤波器会在解码系统的解码回路外，对已 解码的比特流进行去区块滤波处理。如此一来，后制滤波器即可与原本的视 频压缩标准一并使用。换句话说，后制滤波器可以透过多种可行的实施方式， 很容易地整合于任何标准的解码器的中。
如图1所示，在MPEG-2解码器对画面解码后，区块效应会出现在8x8 像素区块的区块边界上。接着，已知后制滤波器会对该画面中所有的区块进 行去区块处理，以淡化区块间明显的分隔线，进而提升画面中影像的质量。 然而，实际上，并非所有像素区块的区块边界对于人眼来说皆是明显的分隔 线(亦即区块效应)，也因此并不是所有画面中的区块都需要进行去区块处 理。在此情形下，若没有预先进行任何的区块侦测或选^r,而直接对画面中
所有区块进行去区块处理时，将会使某些原本不需要做去区块处理的区块变 模糊，并且消耗系统不必要的计算资源，导致无法最佳化解码系统的效率。
此外，由于解码系统所接收的视频流可能具有不同的影像特性，或可能 由不同的影像来源所产生，例如DVD或数字电视等，因此若将所有8x8 像素区块以相同的滤波强度进行去区块处理，则可能会有影像模糊的现象或 是去区块处理强度不足的情形发生(即区块间仍存在明显分隔线)，进而影 响整体影像的质量。然而，由于MPEG的应用越来越广泛(例如DVD与 数字电视等)，对于MPEG编码视频媒体所能使用的去区块化滤波技术的需求也变得格外地重要。
发明内容
因此，本发明的主要目的即在于提供一种用来降低视频流中的区块效应 的方法及其相关装置。
本发明是公开 一种用来降低视频流中的区块效应的方法，该方法包含有 接收该视频流中的画面，该画面包含有多个宏块，该多个宏块的每一宏块是
由四个区块所组成；找出该画面中量化参数大于第一阈值的区块；根据位于 这些区块的区块边界两侧的相邻两像素的像素差，判断该区块边界是否锐利 及是否为该画面中物体的真实影像边缘；在该区块边界是锐利且不为该画面 中物体的真实影像边缘时，根据该区块边界两侧的相邻两像素的像素差，选 择去区块运算的滤波强度；以及对位于该区块边界两侧的区块进行该去区块 运算。
图1显示已知MPEG压缩中多个相邻的8x8像素区块的示意图2为本发明用来降低视频流中的区块效应的流程的示意第3图为本发明实施例的MPEG-2解码器所解压缩产生的画面中的多个
相邻宏块的示意第4图及第5图分別为本发明实施例的位于具有区块效应的垂直区块边
界及水平区块边界两侧的多个像素的示意第6图和第7图分别为本发明实施例的去区块运算前及去区块运算后对
应于区块边界两侧的像素的像素值的示意图；'以及
第8图为本发明实施例的视频解码系统的功能方块图。
主要组件符号说明 100、 102、 104 106 108 20
区块
水平区块边界 垂直区块边界
流程
200、 210、 220、 230、 240、 250、 260
6
步骤MB1 ~MB9宏块
PI ~P8像素
pix—diff像素差值
TH2第二阈值
TH3第三阈值
80视频解码系统
81视频解码器
82去区块装置
83存储器
810可变长度码解码器
820反量化单元
830反离散余弦转换单元
840运动补偿单元
具体实施例方式
请参考图2，图2为本发明用来降低视频流中的区块效应的流程20的示 意图。流程20是用于符合MPEG-2标准的解码器所产生的视频流，其包含 有下列步骤
步骤200:开始。
步骤210:接收该视频流中的画面。
步骤220:判断该画面中量化参数大于第一阈值的区块。
步骤230:根据分别位于这些区块的区块边界两侧的相邻两像素的像素 差值，判断该区块边界是否锐利(Sharp)及是否为该画面中物体的真实影 像边缘(Real Edge )。
步骤240:选择去区块运算的滤波强度。
步骤250:对位于该区块边界两侧的区块进行该去区块运算。
步骤260:结束。
根据流程20,本发明在接收该视频流中的画面后，首先找出该画面中具 有量化参数(Quantization Parameter)大于第一阈值的区块。接着，本发明 根据分别位于这些区块的区块边界两侧的相邻两像素的像素差值，判断该利且不为该画面中物体的真实影像边缘时，本发明可根据分别位于该区块边 界两侧的相邻两像素的像素差值，选择适当去区块运算的滤波强度，并对该 区块边界两侧的区块进行该去区块运算。其中，该视频流中的该画面包含有
多个宏块(Macro-block),而该多个宏块的每一宏块是由四个8x8像素区块 所组成。
因此，本发明是在进行去区块滤波处理之前，根据MPEG-2解码器所解 码产生的解码信息(如量化参数)及影像特性(如区块间的像素差值)，侦 测出该画面中存在有区块效应的区块及其区块边界，以大幅提升解码系统的 效率。此外，本发明藉由可调节的滤波强度，对具有区块效应的相关区块进 行去区块滤波运算，以有效地去除区块效应，并获得所需的影像质量。关于 本发明流程20的详细操作，请继续参考以下说明。
如本领域具通常知识者所知，MPEG-2解码器所解码产生的解码信息， 如画面中对应于每一宏块的量化参数等信息， 一般可在对该视频流进行解压 缩的过程中获得。其中，量化参数越大，代表用来量化像素值的步阶大小(Step Size)也越大，因此具有较大量化参数的区块相对地也越容易与其它区块形 成区块效应。因此，本发明是藉由判断画面中量化参数大于该第一阚值的区 块，来预先侦测出可能存在有区块效应的区块(步骤220)，并对这些区块的 区块边界进行流程20的后续步骤。
请参考图3,图3为本发明实施例的MPEG-2解码器所解压缩产生的 画面中的多个相邻宏块MB1-MB9的示意图。在第3图中，宏块MB1 -MB9的每一宏块是由四个8x8像素区块所组成。举例来说，若宏块MB5的 量化参数大于该第一阈值，本发明则判断宏块MB5中的每一区块的区块边 界上可能存在有区块效应，也就是说，其每一 区块的区块边界两侧的区块(亦 即第3图中的阴影部分区块)，皆需执行流程20的后续步骤，以消除可能存 在的区块效应。由于去区块滤波运算一般是分别对具有区块效应的垂直区块 边界及水平区块边界进行处理，因此当处理垂直区块边界时，只要左右两相 邻区块中有一 区块的量化参数大于该第 一阈值，本发明则判断该相邻两区块 间可能存在有区块效应；同样地，当处理水平区块边界时，只要上下两相邻 区块中有一区块的量化参数大于该第一阈值，则该相邻两区块间的该水平区 块边界被判断为可能存在有区块效应，而需执行流程20的后续步骤。优选 地，在本发明中该第一阈值不为一定值，其可根据实际影像质量及处理效能
8的需要来做调整。
因此，当画面中一区块的区块边界:f皮判断有区块效应存在时，本发明可 根据位于该区块的区块边界两侧的相邻两像素的像素差值，判断该区块边界
是否锐利(Sharp)及是否为该画面中物体的真实影像边缘(步骤230 )。举 例来说，请参考图4及图5，图4及图5分别为本发明实施例位于具有区块 效应的垂直区块边界及水平区块边界两侧的像素PI ~P8的示意图。首先， 本发明计算位于区块边界两侧的相邻两像素的像素差值pix一diff，亦即图4 及图5中像素P4及P5间的像素值差，其中，像素差值pix—diff优选地以一 正值表示， 其是相等于像素P4及P5间真实像素差值的绝对值。若像素差值 pix—diff大于第二阈值TH2,本发明则判断该区块边界为锐利，并接着判断 该区块边界是否为该画面中物体的真实影像边缘。优选地，在本发明中该第 二阈值不为一定值，其亦可根据实际影像质量及处理效能的需要来做调整。
接下来，本发明根据像素值差值pix—diff,判断该区块边界是否为该画 面中物体的真实影像边缘。若该像素差值pix—diff分别小于第三阈值TH3 乘上该区块边界两侧区块的量化参数所得的乘积，则判断该区块边界不为该 画面中物体的真实影像边缘。到目前为止，若该区块边界被判断为锐利且不 为该画面中物体的真实影像边缘时，代表该区块边界上确实存在有区块缺 陷，因此位于该区块边界两侧的区块须进行后续的去区块滤波运算；相反地， 若该区块边界是该画面中物体的真实影像边缘，则该区块边界不需进行去区 块运算，以避免造成影像模糊的情况。
优选地，本发明可预先根据该区块边界附近影像的平滑度(或称区域影 像特性)，来决定第三阔值TH3，第三阔值TH3可由第一预设数值群组选出， 该第一预设数值群组包含有0.5、 1、 1.5、 2及2.5等数值。举例来说，当该 区块边界附近影像是属于平滑区域(Smooth Region)时，位于该区块边界两 侧的两相邻像素的像素值差异一般可能是区块效应所造成，而不是该画面中 物体的真实影像边缘。因此，对于该画面中的平滑区域，第三阈值TH3可 选择较大值。相反地，当该区块边界附近影像是属于复杂区域(Complex Region)时，位于该区块边界两侧的两相邻像素的像素值差异则很有可能是 画面中物体的真实影像边缘，因此第三阈值TH3可相对选择较小值。因此， 本发明可根据区域影像特性及量化参数，正确地侦测出存在区块效应的区 块，以执行后续的去区块滤波运算，进而避免过度模糊影像或滤波强度不足的情形发生。
当区块边界被判断为锐利且不为该画面中物体的真实影像边缘时，本发 明须对该区块边界两侧的区块进行去区块滤波运算，以降低存在该区块边界 上的区块效应，进而提高影像质量。举例来说，本发明可根据位于该区块边 界两侧的相邻两像素的像素差值pix_diff,选择对应于该区块边界两侧区块 的去区块运算的滤波强度(步骤240)。优选地，该去区块运算的滤波强度 是根据画面质量的需求，将该区块边界两侧的相邻两像素的像素差值 pix一diff乘上多个不同的权重，以提升去区块运算的精确度和弹性，其中， 该多个权重可由第二预设数值群组选出，该第二预设数值群组包含有1/8、
2/8、 3/8、 4/8、 5/8、 6/8、 7/8、 8/8、 9/8及10/8等数值,而不限于此。
在适当地选择去区块运算的滤波强度后，本发明开始对该区块边界两侧 的相邻两区块进行去区块滤波运算(步骤250 )。相较于习知技术中针对该 区块边界两侧的四个相对应像素进行去区块处理，亦即图4及图5中的像素 PI ~ P8,本发明可根据该区块边界附近影像的平滑度(或称区域影像特性)， 决定该去区块运算的滤波范围，以适当地改变该区块边界两侧相对应数量的 像素值。例如，当该区块边界附近影像是属于平滑区域时，该去区块运算的 滤波范围包含位于该区块边界两侧区块中三个相对应的像素，亦即图4及图 5中的像素P2 P7;相反地，当该区块边界附近影像是属于复杂区域时，该 去区块运算的滤波范围则仅包含位于该区块边界两侧区块中两个相对应的 像素，亦即图4及图5中的像素P3 P6，以避免降低画面中影像的锐利度 或是过度模糊影像。
另一方面，若该画面是一交错式(Interlaced)影像画面，本发明可分别 对奇图场(Odd Image Field )及偶图场(Even Image Field )进行该去区块运 算。也就是说，当处理交错式画面中水平区块边界时，本发明可分别对奇数 列像素及偶数列像素进行去区块滤波处理，例如对奇图场进行该去区块运 算时，该去区块运算的滤波范围是包含位于该水平区块边界上下两侧的两个 相对应奇数列像素，亦即图5中的像素P1、 P3、 P5及P7;而对偶图场进行 去区块运算时，该去区块运算的滤波范围则包含位于该水平区块边界上下两 侧的两个相对应偶数列像素，亦即图5中像素P2、 P4、 P6及P8。
最后，根据该去区块运算的滤波范围，本发明可透过所适当选择滤波强 度，分别增加或减少位于该区块边界两侧的两个相对应像素的像素值，以缩小其像素值差异，进而降低存在该区块边界上的区块效应。也就是说，在两 个相对应像素所形成的像素对中，具有较小像素值的像素于进行该去区块运 算时，其像素值将增加相对应的滤波强度，而另一像素的像素值则会减去该 滤波强度，以缩小该像素对的像素值差异。较佳地，本发明在完成该去区块
运算后，可对所有被改变的像素值进行调整，使其位于0至255的间。
请参考图6及图7，图6和图7分别为本发明实施例去区块运算前及去 区块运算后对应于区块边界两侧的像素PI-P8的像素值的示意图。在图6 及图7中，像素P1 - P8是对应于图4及图5中的像素P1 ~P8,而该区块边 界则可以是垂直区块边界或是水平区块边界。假设像素P4及P5的间的像素 差值pix一diff大于第二阈值TH2且该区块边界不为画面中物体的真实影像边 缘，本发明实施例可根据该区块边界的区域影像特性，对像素P1-P8进行 一去区块滤波运算。在本实施例中，若该区块边界附近影像是一复杂区域时， 本发明实施例可透过适当的滤波强度，对位于该区块边界两侧的各两个相对 应的像素进行该去区块滤波运算(即像素对P4及P5与像素对P3及P6 )。 若对应于像素对P4及P5与像素对P3及P6的滤波强度分别被选择为如第7 图所示的下列两数值(4/8*pix—diff)及(2/8*pix—diff),则像素P4及P5 的像素值将分别增加及减少(4/8 * pix一diff),而像素P3及P6的像素值则分 别增加及减少(2/8*pix—diff)。如此一来，本发明实施例可减少区块边界两 侧的像素值差异，进而降低存在该区块边界上的区块效应。
因此，本发明是在进行去区块滤波处理之前，根据MPEG-2解码器所解 码产生的解码信息(如量化参数)及影像特性(如区块间的像素差值)，侦 测出该画面中存在有区块效应的区块及其区块边界，以大幅提升解码系统的 效率。此外，本发明藉由可调节的滤波强度，对具有区块效应的相关区块进 行去区块滤波运算，以有效地去除区块效应，并最佳化影像的质量。
请参考图8,图8为本发明实施例的视频解码系统80的功能框图。视频 解码系统80包含有视频解码器81、去区块装置82及存储器83。视频解码 器81是符合MPEG-2标准的解码器，其包含有可变长度码(Variable Length Code, VLC)解码器810、反量化(Inverse Quantization )单元820、反离散 余弦转换单元830及运动补偿单元840。视频解码器81的相关操作是本领域 具通常知识者所熟知，于此不赘述。存储器83耦接于视频解码器81,用来 储存MPEG-2解压缩过程中所产生的解码信息(例如量化参数等)。当MPEG-2视频流透过视频解码器81接收并解码后，视频解码系统80可将视 频解码器81所产生的已解码视频流输入至去区块装置82，以滤除区块效应。
值得注意的是，去区块装置82是用来实现本发明流程20,其相关操作 不再赘述，而本领域具通常知识者可藉由任何硬件或软件实现去区块装置 82,只要具有相同功能皆属本发明的范围。
综上所述，本发明是提供一种降低视频流中的区块效应的方法，其用以 侦测存在于视频流中的区块效应，并藉由可调整的滤波强度降低所侦测的区 块效应。此外，本发明中的所有参数皆可根据影像质量及处理效能的需要进 行调整，因此可大幅提升去区块滤波运算的准确性及弹性。
以上所述仅为本发明的优选实施例，凡依本发明权利要求范围所做的均 等变化与修饰，皆应属本发明的涵盖范围。
权利要求
1.一种用来降低视频流中的区块效应的方法，该方法包括接收该视频流中的画面，该画面包含有多个宏块，该多个宏块的每一宏块是由四个区块所组成；找出该画面中量化参数大于第一阈值的区块；根据位于这些区块的区块边界两侧的相邻两像素的像素差值，判断该区块边界是否锐利以及是否为该画面中物体的真实影像边缘；在该区块边界是锐利且不为该画面中物体的真实影像边缘时，根据该区块边界两侧的相邻两像素的像素差值，选择去区块运算的滤波强度；以及对位于该区块边界两侧的区块进行该去区块运算。
2. 如权利要求1所述的方法，其中该第一阈值是根据所需影像质量及处 理效能来调整的。
3. 如权利要求1所述的方法，其中根据位于这些区块的该区块边界两侧 的相邻两像素的像素差值，判断该区块边界是否锐利以及是否为该画面中物体的真实影像边缘包括根据该区块边界两侧的相邻两像素的像素差值及第二阈值，判断该区块边界是否锐利；以及根据该区块边界两侧的相邻两像素的像素差值、第三阈值及该区块边界 两侧区块的量化参数，判断该区块边界是否为该画面中物体的真实影像边 缘。
4. 如权利要求3所述的方法，其中该第二阈值是根据所需影像质量及处 理效能来调整。
5. 如权利要求3所述的方法，其中该第三阈值是根据该区块边界附近影 像的平滑度、所需影像质量及处理效能来调整。
6. 如权利要求5所述的方法，其中该第三阈值是由第一预设群组所选出 的数值，该第一预设群组包含有0.5、 1、 1.5、 2及2.5。
7. 如权利要求1所述的方法，其中该去区块运算的滤波强度是该区块边 界两侧的相邻两像素的像素差值乘上由第二预设群组所选出的数值，该第二 预设群组包含有1/8、 2/8、 3/8、 4/8、 5/8、 6/8、 7/8、 8/8、 9/8及10/8。
8. 如权利要求1所述的方法，还包括判断这些区块的该区块边界附近影像的平滑度。
9. 如权利要求8所述的方法，其中对位于该区块边界两侧的区块进行该去区块运算包括在该区块边界附近影像被判断为平滑时，根据所选择的滤波强度，调整位于该区块边界两侧区块中三个相对应像素的像素差值；以及在该区块边界附近影像被判断为复杂时，根据所选择的滤波强度，调整 位于该区块边界两侧区块中两个相对应像素的像素差值。
10. 如权利要求8所述的方法，其中对位于该区块边界两侧的区块进行 该去区块运算是根据所选择的滤波强度，调整位于该区块边界两侧区块中相 对应像素的像素差值。
11. 如权利要求8所述的方法，其中对位于该区块边界两侧的区块进行 该去区块运算，包括在该画面是交错式影像画面且该区块边界是水平区块 边界时，分别对该水平区块边界上下两侧区块的奇图场及偶图场进行该去区 块运算。
12. 如权利要求11所述的方法，还包括在该水平区块边界附近影像被 判断为平滑时，分别调整位于该水平区块边界上下两侧区块中两个相对应奇 数列像素的像素差值及两个相对应偶数列像素的像素差值。
13. 如权利要求l所述的方法，其中该视频流是由符合MPEG-2标准的 解码器所产生。
全文摘要
一种用来降低视频流中的区块效应的方法，其包含接收该视频流中的画面，该画面包含有多个宏块，该多个宏块的每一宏块是由四个区块所组成；判断该画面中量化参数大于第一阈值的区块；根据位于这些区块的区块边界两侧的相邻两像素的像素差，判断该区块边界是否锐利及是否为该画面中物体的真实影像边缘；当该区块边界是锐利且不为该画面中物体的真实影像边缘时，根据该区块边界两侧的相邻两像素的像素差，选择去区块运算的滤波强度；以及对位于该区块边界两侧的区块进行该去区块运算。
文档编号H04N7/26GK101540900SQ20081008654
公开日2009年9月23日 申请日期2008年3月20日 优先权日2008年3月20日
发明者柯友玲, 陈建志 申请人:矽统科技股份有限公司