专利名称：Image interpolation with halo reduction的利记博彩app
技术领域：
本发明涉及图像插值中减少运动补偿伪像，更具体地涉及在插值图像中减少光
背景技术：
基于运动补偿的图像插值是发展成熟的技术。运动补偿的一个示例是帧速率转换 (FRC)，其经常用于提高(或降低)视频的刷新速率，以及增多(或减少)每秒显示的图像。 对视频进行插值以使每秒的图像数目更多的一个优点在于，LCD面板中可用的刷新速率越 高，运动表现得更流畅。另一优点在于，将通常为每秒24帧(24fps)的影片内容转换为可 以是30、50、60、100、120、200或24(^ 8的视频。插值成更少图像的优点在于，在常用的例 如60Hz国家电视系统委员会(NTSC)等标准与逐行倒相(PAL)标准的50Hz之间的转换。FRC是极具挑战性的，特别在实时视频中。许多先前的技术方案已尝试解决该问 题；然而，这些技术方案全都引入伪像，特别是在实时应用中。对于运动补偿(MC)和运动估 计(ME)，大多数现有技术方法使用基于块的运动矢量(MV)估计。这些现有技术方案甚至对 于逐行扫描图像，也会引起许多伪像，包括光晕效应、闪烁以及块伪像。当MV估计基于固定的预定大小的像素块时，会出现块伪像。在这种情况下，认为 块中所有像素都具有相同的MV，即使在块内存在以不同方式运动的不同对象或区域。此外， 当给定块的相邻块出于任何原因而具有不同的估计运动矢量时，块边界变得更加明显，因 为在不同相邻块中，相同区域的像素会发生不同的位移。闪烁是运动补偿图像插值中的另一种伪像。当图像序列中少数像素的运动矢量从 一帧到另一帧出现不一致时，会发生这种伪像。这种不一致一般是由于小区域中错误的运 动矢量计算。当视频序列中图像中的前景对象相对于背景进行运动时，在该对象周围出现光晕 效应。背景可以是固定不动的，对象是运动的，或者反之。在一些情况下，对象和背景两者 都是运动的，例如在视频游戏序列中可以是这种情况。光晕效应的根源在于遮挡区域中的 错误MV估计。光晕效应的视觉感知是，对象看上去在其周围具有不同特征的光晕。例如， 在场景中行走的人的脸可能看上去被光晕包围着，似乎背景的一部分与脸一同运动。已经开发了多种光晕减少算法。光晕减少可以基于美国专利No. 6，625，333中描 述的基于对象的插值。然而，这种技术意味着对象分割和对象着色，这需要额外的帧存储器 和额外带宽。此外，所提出的MV校正需要多个基于帧的迭代，这不适合实时处理。也已经提出了多帧方案，涉及对多于两帧的数据的分析。例如美国专利No. 6，005，639，美国专利No. 6，011，596，美国专利No. 7，010，039，美国申请公开 No. 2007/0121725A1,以及 K. Sugiyama，T. Aoki 禾口 S. Hangai 的"Motion Compensated Frame Rate Conversion Using Normalized Motion Estimation，，，2005 IEEE Workshop on Signal Processing Systems-Design and Implementation(SiPS 2005), Athens, Greece。 用于覆盖/去除覆盖/无遮挡检测以及MV校正的多帧方案本质上基于较早的先前图像帧 以及在后较远处的未来图像帧。多帧方案需要较大的图像存储器、以及存储器与处理器之 间显著增大的带宽。 已经提出的两帧方案基于MV校正(或重估计)、插值策略、以及/或者这两种方法 的混合。在MV校正中，将前景和背景运动矢量分离开来，这也是一种减少光晕效应的可能 方法。在美国公开No. US 2006/0072790 A1中已提出了使用设置在图像边界处的一些运动 矢量来作为可能的背景MV。然而，这种边界MV是背景MV的假设不一定是有效的，并且背景 MV估计需要附加的帧等待时间和额外的存储器。G. de Haan 的"IC for Motion-Compensated De-Interlacing, Noise Reduction and Picture Rate Conversion", IEEE Trans, on CE, Vol. 45, No. 3, Aug 1999 中出了中 值滤波，作为插值策略的示例。在该文献中，中值滤波插值是前向图像插值、后向图像插值、 以及两个现有图像的平均值之中的中间值。此外，使用单个递归估计的MV来获得前向和后 向MV。所描述的中值滤波插值能够在无遮挡区域中得到总体良好的结果。然而，在遮挡区 域中，使用中值滤波方法估计的MV不再正确。美国专利No. 7，039，109中提出了各个单独插值的加权均值。同样，相邻组中MV 提供的每个单独插值基于对前向插值、后向插值以及两个现有图像的均值的中值滤波。该 专利中描述的MV是基于块的，并且是从当前图像到下一图像的前向估计。为各个单独插值 指定的权重是根据相邻组中MV的预测亮度以及/或相对出现频率之差的可靠性测量。为 了复杂度降低目的，还提供了 MV边缘检测。然而，基于组或块的MV方案会带来块效应。此 外，在画面的遮挡部分，块的单个(前向)MV可能不够。此外，MV边缘检测仅仅对于软件仿 真效果较好。同样，基于像素的图像平均会使遮挡区域中的插值图像模糊，或者当MV较大 时会得到图像倍增效应。美国专利No. 6，219，436中，为了更高精度，提出了覆盖/去除覆盖检测，这是具有 二次或4次幂误差的二次基于块的ME。提出了根据检测到的“真实”覆盖/去除覆盖区域， 使用移动位置处的MV来进行MV校正。然而，事实上，对于检测到的区域，具有适当均值的 多种中值滤波策略是该专利中提出的优选方案。在美国专利No. 6，487，313和美国专利No. 7，058，227中均假设MV场中的不连续 对应于运动对象的边界。由此，提出了使用MV长度来确定遮挡区域、采用较小的块尺寸进 行附加双向插值误差计算来提高检测到的遮挡区域的精度、以及针对最终插值的多种中值 滤波。然而，当对象是由平坦但有噪声的区域构成时，MV长度不一定是可靠的参数。MV场 中的不连续以及运动对象的边界要求一定的较高精度，由于MV未校正，中值滤波仍然是特 定技术。因此，需要提供一种快速的图像平面插值，其不需要大存储量来实现。
发明内容
根据本发明实施例的图像插值器可以包括运动估计器，估计第一图像和第二图 像之间基于块的运动矢量；运动矢量选择器，与运动估计器连接，根据基于块的运动矢量， 提供选定的运动矢量；第一插值器，连接以接收选定的运动矢量，并提供针对第一图像和第 二图像之间平面的第一插值图像；以及第二插值器，连接以接收第一插值图像，对选定的运 动矢量进行校正以形成校正运动矢量，并基于校正运动矢量来提供第二插值图像。根据本发明的另一图像插值器可以包括基于块的运动估计器，连接以接收相邻 图像，基于块的运动估计器提供基于块的运动矢量、基于块的运动矢量、前向误差和后向误 差；运动矢量选择器，与基于块的运动估计器连接，运动矢量选择器提供基于像素的选定的 前向运动矢量和选定的后向运动矢量，并提供基于像素的前向和后向误差；第一图像插值 器，与基于块的运动估计器和运动矢量选择器连接，第一图像插值器根据选定的前向运动 矢量和选定的后向运动矢量来提供第一插值图像；第二图像插值器，与第一图像插值器和 运动矢量选择器连接，第二图像插值器提供第二插值图像、以及校正前向运动矢量和校正 后向运动矢量；以及后处理块，与第一图像插值器和第二图像插值器连接，后处理块根据第 二插值图像、以及校正前向运动矢量和校正后向运动矢量，提供最终插值图像。根据本发明实施例的在第一和第二相邻图像之间进行图像插值的方法，包括估 计第一和第二相邻图像之间的基于块的前向运动矢量和基于块的后向运动矢量；根据基于 块的前向运动矢量以及前向误差函数，为图像中每一个像素选择前向运动矢量；根据基于 块的后向运动矢量以及后向误差函数，为图像中每一个像素选择后向运动矢量；根据选定 的后向运动矢量、选定的前向运动矢量、基于块的前向估计误差以及基于块的后向估计误 差，对第一图像插值；基于选定的前向运动矢量和选定的后向运动矢量的前向和后向加权 误差，根据第一图像，对第二图像插值；以及根据第二图像确定所述图像。以下参照附图，进一步描述根据本发明的上述和其他实施例。
图1示出了两个相邻图像之间的图像平面插值。图2示出了根据本发明的图像插值器的实施例的框图。图3示出了在根据本发明的一些实施例中使用的前景、背景、覆盖和去除覆盖区域。图4A示出了运动对象以及中心在前景区域中的滑动窗。图4B示出了运动对象以及中心在遮挡区域中的滑动窗。图5A示出了中心在前景区域中的、分割成三个区域的滑动窗。图5B示出了中心在遮挡区域中的、分割成三个区域的滑动窗。图6示出了 MV校正的可能决策。图7示出了在两个现有连续图像之间插值多个图像。图8示出了针对光晕减少的如图2所示的第二运动插值器。图9示出了背景网格后处理中针对光晕减少的进一步处理。图10示出了可以在后处理中执行的针对闪烁减少的处理。如果可能，附图中具有相同或类似功能的元件具有相同的标记指示。
具体实施例方式在帧速率转换(FRC)应用中，“光晕效应”是在前景对象相对于具有细节的背景而 运动时出现的视觉伪像。根据本发明的用于减少光晕效应的系统包括基于像素的运动矢 量(MV)选择、初步插值、针对MV前景/背景校正的局部形状自适应加窗、以及具有一些附 加的后处理的最终插值。初步和最终图像插值基于前向和后向运动矢量估计的局部绝对差 和(SAD)的发生频率。针对光晕减少的MV校正可以基本上基于局部图像亮度和局部MV变 化。一些实施例是非迭代技术，这对于图像存储器使用以及图像存储器与图像处理器之间 的通信带宽而言是高效的。图1示出了要根据两个连续图像104和106而插值的插值图像(a -平面)102 的时间位置。与提出的多帧方案(参见美国专利No. 6，005，639，美国专利No. 6，011，596， 美国专利 No. 7，010, 039，美国申请公开 No. 2007/0121725A1,以及 K. Sugiyama, T. Aoki 和
S. Hangai 的"Motion Compensated Frame Rate Conversion Using Normalized Motion
Estimation")相反，插值图像102只基于来自两个连续图像(S卩，图像1041^以及图像 106IJ的信息。如图1所示，图像104和106用于在被称为“Alpha( a)平面”的任意时间 距离处来插值图像102，该a平面在时间上与图像1041^的距离是a，与图像106In的距 离是(l_a )。因为只有两个现有图像用于插值，所以根据本发明的一些实施例在存储器、带 宽和速度方面具有优势。本发明的一些实施例得到视觉上期望的插值图像，并提供可接受 的实时FRC方案。图2示出了根据本发明的图像插值器200的实施例。将表示图像1041^以及图 像106In的数据输入至图像插值器200。从图像插值器200输出与a-平面中图像102相 对应的插值图像If。图像插值器200包括运动估计器(ME) 202、运动矢量选择器(MVS) 204、 第一运动插值器(Mil) 210、第二运动插值器(MI2)206、以及后处理(PP)模块208。ME 202、 MVS 204,Mil 210、MI2 206和PP 208中每一个接收图像输入In_i和In。如图1所示，对于单个块，运动估计器202分析图像数据1 和In_i，并提供前向运 动矢量(MVF)和后向运动矢量(MVB)。ME 202可以是用于估计前向运动矢量MVF和后向运 动矢量MVB的块匹配算法。前向运动矢量(MVF)指示了图像1041^中给定图像块相对于 图像106In中匹配块的位移。后向运动矢量(MVB)指示了图像106In中给定图像块相对于 图像1041^中匹配块的位移。此外，ME 202产生针对全搜索估计的前向和后向绝对差和 误差SADF和SADB，以分别生成MVF和MVB。在数学上，SADF、SADB、MVF和MVB可以如下定 义
权利要求
一种在第一和第二相邻图像之间插值图像的方法，包括估计第一和第二相邻图像之间的基于块的前向运动矢量和基于块的后向运动矢量；根据基于块的前向运动矢量以及前向误差函数，为所述图像中每一个像素选择前向运动矢量；根据基于块的后向运动矢量以及后向误差函数，为所述图像中每一个像素选择后向运动矢量；根据选定的后向运动矢量、选定的前向运动矢量、基于块的前向估计误差以及基于块的后向估计误差，插值第一图像；基于选定的前向运动矢量和选定的后向运动矢量的前向和后向加权误差，根据第一图像，插值第二图像；以及根据第二图像确定所述图像。
2.根据权利要求1的方法，其中，估计基于块的前向估计误差和估计基于块的后向估 计误差包括计算前向绝对差和误差以及后向绝对差和误差。
3.根据权利要求1的方法，其中，估计基于块的前向运动矢量和基于块的后向运动矢 量是自适应的。
4.根据权利要求1的方法，其中，估计基于块的前向运动矢量和基于块的后向运动矢 量是对隔行扫描图像执行的。
5.根据权利要求1的方法，其中，选择前向运动矢量或者选择后向运动矢量包括将基 于块的运动矢量转换为所述图像的基于像素的运动矢量。
6.根据权利要求1的方法，其中，前向误差函数和后向误差函数是根据第一和第二相 邻图像而估计的图像中运动矢量之间的差的和。
7.根据权利要求1的方法，其中，前向误差函数和后向误差函数是合成局部误差。
8.根据权利要求1的方法，其中，前向误差函数和后向误差函数是加权局部误差。
9.根据权利要求1的方法，其中，插值第一图像包括根据块误差函数的基于像素的值、以及图像中相对于第一和第二相邻平面的位置α， 计算像素数目；根据选定的前向运动矢量、选定的后向运动矢量、基于所述像素数目的归一化的像素 数目、以及位置α，计算第一图像。
10.根据权利要求9的方法，其中，插值第一图像是基于上下文的插值。
11.根据权利要求9的方法，其中，插值第一图像包括时间距离的函数。
12.根据权利要求1的方法，其中，插值第二图像包括 减少光晕效应；混合运动矢量； 对运动矢量滤波；以及 图像插值。
13.根据权利要求12的方法，其中，减少光晕效应包括根据所述图像的平面中的局部亮度信息、选定的前向运动矢量、以及对应的局部加权 前向最小误差，分割局部滑动分割窗，该局部滑动分割窗具有针对前向运动矢量的感兴趣 的多个像素组；根据所述图像的平面中的局部亮度信息、选定的后向运动矢量、以及对应的局部加权 后向最小误差，分割局部滑动分割窗，该局部滑动分割窗具有针对后向运动矢量的感兴趣 的多个像素组；根据所述感兴趣的多个像素组之一的当前位置，校正所述选定的前向运动矢量，以提 供减少光晕效应的校正前向运动矢量；以及根据所述感兴趣的多个像素组之一的当前位置，校正所述选定的后向运动矢量，以提 供减少光晕效应的校正后向运动矢量。
14.根据权利要求13的方法，其中，混合运动矢量包括通过将所述校正前向运动矢量与所述选定的前向运动矢量之差乘以前向估计误差，并 与所述选定的前向运动矢量相加，来计算调整前向运动矢量。
15.根据权利要求14的方法，其中，混合运动矢量还包括通过将所述校正后向运动矢量与所述选定的后向运动矢量之差乘以后向估计误差，并 与所述选定的后向运动矢量相加，来计算调整后向运动矢量。
16.根据权利要求15的方法，其中，对运动矢量滤波包括用中值前向运动矢量替代调整前向运动矢量，并用中值后向运动矢量替代调整后向运 动矢量。
17.根据权利要求16的方法，其中，图像插值包括根据所述调整前向运动矢量和所述调整后向运动矢量，形成第二图像。
18.根据权利要求17的方法，其中，形成第二图像包括通过对图像的时间位置的二次 修正来进行插值。
19.根据权利要求1的方法，其中，确定所述图像包括通过减少光晕效应以及通过减 少闪烁效应，对第二图像进行后处理。
20.根据权利要求19的方法，其中，减少光晕效应包括 检测网格背景；校正运动矢量； 插值最终图像；以及 将校正混合到最终图像中。
21.根据权利要求20的方法，其中，减少闪烁效应包括 检测闪烁；确定邻域平均；以及将邻域平均与最终图像混合，以形成所述图像。
22.—种图像插值器，包括基于块的运动估计器，连接以接收相邻图像，基于块的运动估计器提供基于块的运动 矢量、基于块的运动矢量、前向误差和后向误差；运动矢量选择器，与基于块的运动估计器连接，运动矢量选择器提供基于像素的选定 的前向运动矢量和选定的后向运动矢量，并提供基于像素的前向和后向误差；第一图像插值器，与基于块的运动估计器和运动矢量选择器连接，第一图像插值器根 据选定的前向运动矢量和选定的后向运动矢量来提供第一插值图像；第二图像插值器，与第一图像插值器和运动矢量选择器连接，第二图像插值器提供第二插值图像、以及校正前向运动矢量和校正后向运动矢量；以及后处理模块，与第一图像插值器和第二图像插值器连接，后处理模块根据第二插值图 像、以及校正前向运动矢量和校正后向运动矢量，提供最终插值图像。
23.根据权利要求22的图像插值器，其中，第二图像插值器包括光晕减少器，利用滑动窗来校正选定的前向运动矢量和选定的后向运动矢量； MV混合模块，进一步校正选定的前向运动矢量和选定的后向运动矢量； 孤立MV滤波器，进一步校正选定的前向运动矢量和选定的后向运动矢量，以生成校正 前向运动矢量和校正后向运动矢量；以及第二图像插值器，根据校正前向运动矢量和校正后向运动矢量，插值图像。
24.根据权利要求22的图像插值器，其中，后处理模块包括 光晕减少器；以及闪烁减少器。
25.根据权利要求24的图像插值器，其中，光晕减少器包括 网格背景检测器；网格运动矢量校正器，与网格背景检测器连接，网格运动矢量校正器对校正前向运动 矢量和校正后向运动矢量进行校正；以及图像插值器，根据网格运动矢量校正器校正的运动矢量，插值图像。
26.根据权利要求24的图像插值器，其中，闪烁减少器包括 孤立元素检测器，检测孤立运动矢量或孤立像素；以及 邻域平均计算器。
27.一种图像插值器，包括运动估计器，估计第一图像和第二图像之间基于块的运动矢量； 运动矢量选择器，与运动估计器连接，根据基于块的运动矢量，提供选定的运动矢量； 第一插值器，连接以接收选定的运动矢量，并提供针对第一图像和第二图像之间平面 的第一插值图像；以及第二插值器，连接以接收第一插值图像，对选定的运动矢量进行校正以形成校正运动 矢量，并基于校正运动矢量来提供第二插值图像。
全文摘要
文档编号H04N7/01GK101953167SQ20088012692
公开日2011年1月19日 申请日期2008年12月18日 优先权日2007年12月20日
发明者Tran Thuy-Ha Thi, Ledinh Chon Tam 申请人:Integrated Device Tech