用于稳定数字图像的方法、电路和系统的利记博彩app
【专利摘要】一种稳定三维（3D）数字视频图像序列的方法包括：使用第一透视（例如，左）组中的每个图像帧以及第二透视（例如，右）组中的每个图像帧来针对图像的每个立体对产生深度图，并在每幅深度图中确定背景区域；使用确定的背景区域来在第一透视组和第二透视组之中的一组中的每个图像帧中限定第二背景区域，并仅使用限定的第二背景区域的像素来计算所述一组中的连续的图像帧之间的第一全局运动矢量。
【专利说明】用于稳定数字图像的方法、电路和系统
[0001]本申请要求于2012年5月15日提交的第10-2012-0051698号韩国专利申请的优先权，所述申请通过引用其全部合并于此。
【技术领域】
[0002]本发明构思的实施例涉及一种三维(3D)技术，更具体地讲，涉及一种用于稳定在3D显示技术中使用的数字图像的方法、电路和系统。
【背景技术】
[0003]3D显示技术涉及使用3D显示装置向观看者提供3D图像。例如，3D显示技术可以是立体显示(Stereoscopics)。立体显示是一种通过将两幅偏移图像(立体图像)分别呈现给观看者的左眼和右眼来创建或增强图像中的深度错觉的技术。可通过如一个相机或一对相机的装置来(同时地)捕捉并记录两幅立体图像。可通过如立体视频相机或一对视频相机的装置来按顺序记录多个立体图像。两个相机中的每个相机处于相对于另一个相机且相对于场景不同的物理位置，因此，每个相机具有稍微不同的观察点(perspective)。当通过手持装置来记录两幅偏移图像时，手的晃动(shaking)或颤抖(trembling)可能造成记录的视频中的巾贞间抖动(frame-to-frame jitter)。因此，需要3D视频的数字图像稳定(DIS)以去除所述抖动(jitter)。
【发明内容】
[0004]根据本发明构思的一方面，提供了一种稳定数字图像的方法。所述方法包括:接收第一透视组中的图像帧和第二透视组中的图像帧，并使用第一透视组中的一个图像帧和第二透视组中的时间上相应的图像帧来产生多幅深度图中的每一幅；在每幅深度图中确定背景区域，使用确定的背景区域来在第一透视组和第二透视组之中的选择的一组中的每个图像帧中限定背景区域，并且(例如，使用限定的背景区域中的每一个作为遮蔽)计算所述一组中的图像帧的限定的背景区域中的像素之间的第一全局运动矢量。所述方法还可包括:根据图像分辨率来选择所述一组。
[0005]在每幅深度图中确定背景区域的步骤可包括:将深度图中的每个像素的深度值与深度阈值进行比较，并根据比较的结果来在每幅深度图中确定将在背景区域内的每个像素。
[0006]计算第一全局运动矢量的步骤可包括:使用第二背景区域中的每一个来计算所述一组中的图像帧之中的连续两帧之间的局部运动矢量，并使用滤波器从所述局部运动矢量计算第一全局运动矢量之一。所述滤波器可以是高斯滤波器、中值滤波器或均值滤波器。
[0007]计算局部运动矢量的步骤可基于块匹配来计算所述局部运动矢量。计算局部运动矢量的步骤可包括:基于特征点对应来计算局部运动矢量。
[0008]所述方法还可包括:将第一全局运动矢量输出到编码器。
[0009]所述方法还可包括:使用第一全局运动矢量对第一透视组中的图像帧的运动以及第二透视组中的图像帧的运动进行补偿。
[0010]所述方法还可包括:使用确定的背景区域中的每一个来在第一透视组和第二透视组之中的其他组中的每个图像帧中限定背景区域，并且(例如，使用限定的背景区域中的每一个作为遮蔽)计算所述其他组中的图像帧的限定的背景区域中的像素之间的第二全局运
动矢量。
[0011]所述方法还可包括:根据第一全局运动矢量中的每一个的大小(例如，根据大小改变)和第二全局运动矢量中的每一个的大小(例如，根据大小改变)来选择第一全局运动矢
量或第二全局运动矢量。
[0012]选择第一全局运动矢量或第二全局运动矢量的步骤可包括:计算第一全局运动矢量之中的两个连续矢量的大小之间的差以及第二全局运动矢量之中的两个连续矢量的大小之间的差，将所述差与大小阈值进行比较，并根据比较的结果选择第一全局运动矢量或第二全局运动矢量。
[0013]所述方法还可包括:使用选择的全局运动矢量对第一透视组中的图像帧的运动和第二透视组中的图像帧的运动进行补偿。
[0014]根据本发明构思的一方面，提供了一种数字图像稳定装置，包括:深度图产生器，被配置为使用第一透视组中的一个图像帧和第二透视组中的一个图像帧来产生每幅深度图，并在每幅深度图中确定背景区域；选择器，被配置为根据图像分辨率来在第一透视组和第二透视组之间选择一组；背景设置单元，被配置为使用确定的背景区域来在选择的组中的每个图像帧中限定背景区域；运动估计器，被配置为(例如，使用限定的背景区域中的每一个作为遮蔽)计算选择的组中的图像帧的限定的背景区域内的像素之间的全局运动矢量。
[0015]所述数字图像稳定装置还可包括:第一运动补偿器，被配置为使用全局运动矢量来对第一透视组中的图像帧的抖动运动进行补偿；第二运动补偿器，被配置为使用全局运动矢量来对第二透视组中的图像帧的抖动运动进行补偿。
[0016]所述运动估计器可包括:局部运动估计单元，被配置为(例如，使用选择的组中的图像帧之中的连续两帧中的至少一帧中的限定的背景区域作为遮蔽)计算所述连续两帧的限定的背景区域中的像素之间的局部运动矢量；全局运动估计单元，被配置为使用滤波器从局部运动矢量计算全局运动矢量之一。
[0017]所述数字图像稳定装置可以是图像信号处理器。
[0018]根据本发明构思的一方面，提供了一种数字图像稳定系统，包括:图像传感器；数字图像稳定装置，被配置为从图像传感器接收第一透视图像帧和第二透视图像帧。所述系统还可包括在此描述的抖动运动补偿器电路。
[0019]所述数字图像稳定系统还可包括:三维(3D)格式器，被配置为将从运动补偿器输出的图像帧转换为3D格式，并输出3D显示帧；编码器，被配置为使用从运动估计器输出的全局运动矢量来压缩3D显示帧。所述数字图像稳定系统可以是3D显示装置。
[0020]根据本发明构思的一方面，提供了一种数字图像稳定装置，包括:深度图产生器，被配置为产生深度图，并被配置为在每幅深度图中确定背景区域，其中，使用第一透视图像帧中的每一帧以及第二透视图像帧中的相应的每一帧来产生每幅深度图；背景设置块，被配置为(例如，使用相应深度图的确定的背景区域)在第一透视图像帧中的每一帧中限定背景区域，并(例如，使用相应深度图的确定的背景区域)在第二透视图像帧中的每一帧中限定背景区域；运动估计块，被配置为计算第一透视图像帧的限定的背景区域内的像素之间的第一全局运动矢量，并计算第二透视图像帧的限定的背景区域内的像素之间的第二全局运动矢量。
[0021]所述数字图像稳定装置还可包括:比较器，被配置为根据第一全局运动矢量中的每一个的大小(例如，大小改变)和第二全局运动矢量中的每一个的大小(例如，大小改变)来选择第一全局运动矢量或第二全局运动矢量；运动补偿器，被配置为使用选择的全局运动矢量分别对第一透视图像帧的运动和第二透视图像帧的运动进行补偿。
[0022]所述数字图像稳定装置可以是图像信号处理器。
[0023]根据本发明构思的一方面，提供了一种数字图像稳定系统，包括:第一图像传感器、第二图像传感器和数字图像稳定装置，其中，所述数字图像稳定装置被配置为分别从第一图像传感器和第二图像传感器接收第一透视图像帧和第二透视图像帧。
[0024]所述数字图像稳定系统可包括3D显示装置。
【专利附图】
【附图说明】
[0025]从以下结合附图的详细描述中，说明性的、非限制性的示例性实施例将被更清楚地理解，其中:
[0026]图1是根据本发明构思的实施例的数字图像稳定(DIS)系统的框图；
[0027]图2是从图1的DIS系统中的图像传感器的立体对输出的多个(立体)视频帧的示图；
[0028]图3是示出由图1的DIS系统中的深度图产生器从多个(立体)视频帧产生的多幅深度图的示图；
[0029]图4是用于解释图1的DIS系统中的背景设置单元的操作的深度图和相应图像帧的示图；
[0030]图5是示出由图1的DIS系统中的局部运动估计单元估计的多个局部运动矢量的估计的示图；
[0031]图6是示出在图1的DIS系统中由局部运动估计单元使用检测的特征点估计的多个局部运动矢量的估计的示图；
[0032]图7是由图1的DIS系统中的第一运动补偿器正补偿的图像帧的全局(抖动)运动的示图；
[0033]图8是由图1的DIS系统中的3D格式器产生的三维(3D)图像格式的示图；
[0034]图9是图1的数字图像稳定(DIS)装置的操作的流程图；
[0035]图10是根据本发明构思的实施例的数字图像稳定(DIS)系统的框图；
[0036]图1lA和图1lB是由图10的DIS系统中的全局运动估计单元对产生的多个全局运动矢量的分布曲线；
[0037]图12是图10的DIS系统的操作的流程图；
[0038]图13是根据本发明构思的实施例的数字图像稳定(DIS)系统的框图。
【具体实施方式】[0039]图1是根据本发明构思的实施例的数字图像稳定(DIS)系统10的框图。图2是从图1的DIS系统中的多个图像传感器11和13 (例如，图像传感器11和13的立体对)输出的多个立体视频帧的序列的示图。参照图1和图2，DIS系统10可以是可向观看者呈现三维(3D)图像的3D显示装置。数字图像稳定系统10可包括数字相机、平板个人计算机(PC)或智能电话，或者可被合并在数字相机、平板个人计算机(PC)或智能电话中。
[0040]DIS系统10包括多个图像传感器11和13、DIS电路20、3D格式器41和编码器43。
[0041]可由如图像传感器11和13的成像装置分别产生多个立体视频图像帧IFl和IF2的序列。可由第一图像传感器11顺序产生多个第一图像帧IF1(例如，IFl-l、IFl-2、IFl-3、IF1-4等)，并且可由第二图像传感器13顺序产生多个第二图像帧IF2(例如，IF2_1、IF2_2、IF2-3、IF2-4等)。立体图像帧IFl和IF2的序列被捕捉并被处理，以将3D图像的视频序列提供给观看者。
[0042]图像帧IFl和IF2可以是适合于在立体显示(stereoscopics)中使用的左图像的序列和相应的(例如，同时捕捉的)右图像的序列。IFl和IF2中的图像帧中的每一帧是数字图像。IFl和IF2中的图像帧中的每一帧可被称为图像或被称为视频帧。在当前实施例中存在两个图像传感器11和13，但图像传感器的数量可随着各种实施例而变化。
[0043]抖动可能由手的晃动或颤抖造成并且在图像帧IFl和IF2中可能是可观察到的。因此，DIS电路20被用于消除所述抖动。
[0044]DIS电路20包括深度图产生器21、选择器23、背景设置单元25、运动估计器27以及多个运动补偿器37和39。
[0045]深度图产生器21接收第一图像帧IFl中的一帧和第二图像帧IF2中的一帧，并使用第一图像帧IFl和第二图像帧IF2之中的图像帧的每个立体对(stereo pair)来产生深度图。深度图中的每一幅是包括指示图像中的对象与图像传感器11和13之间的距离的像素数据的图像。
[0046]图3是示出由图1的DIS系统中的深度图产生器21从多个(立体)视频帧(IFl和IF2)产生的多幅深度图的示图。参照图1至图3，深度图产生器21比较第一图像帧IFl和第二图像帧IF2之中的立体对，并顺序产生多幅深度图DM。深度图DM中的每一幅可被表现为深度值的阵列(例如，多个比特)或灰度值的帧。随着对象(例如，书架)变得越远离图像传感器11和13，它在深度图DM中的深度值变得越暗。
[0047]深度图产生器21可将深度图DM的每个像素的深度值与深度阈值进行比较并在每幅深度图DM中检测每个第一背景区域(或暗灰区域)。例如，当像素的深度阈值大于深度图DM的深度值时，深度图产生器21将该像素定义在深度图DM中的第一背景区域BGl内。当像素的深度阈值小于深度图DM的深度值时，深度图产生器21将该像素定义在深度图DM中的前景区域FG内。换句话说，深度图产生器21可根据比较结果将深度图DM中的像素划分为第一背景区域BGl和前景区域FG。在图3中，第一背景区域BGl包括书和书架，并且前景区域FG包括石膏像和台灯。可选择地，当像素的深度阈值小于深度图DM的深度值时，深度图产生器21可确定像素在深度图DM中的第一背景区域BGl中。
[0048]参照图1，选择器23选择图像帧IFl和IF2中的一个。例如，选择器23可随机选择图像帧IFl和IF2中的一个，或者可根据用户的设置选择图像帧IFl和IF2中的一个。
[0049]可选择地，选择器23可根据图像分辨率选择图像帧IFl或图像帧IF2。例如，当第一图像帧IFl的图像分辨率高于第二图像帧IF2的图像分辨率时，选择器23可选择第一图像帧IFl。
[0050]图4是用于解释图1中示出的背景设置单元25的操作的深度图DM和相应图像帧IFl的示图。参照图1至图4，背景设置单元25使用每幅深度图DM中的第一背景区域BGl中的每一个，将由选择器23选择的图像帧(例如，IFl)中的每一帧中的像素限定为第二背景区域BG2。由在每幅深度图DM中设置的第一背景区域BGl中的每一个遮蔽(mask)由选择器23选择的图像帧(例如，IFl)中的每一帧，以获得第二背景区域BG2。
[0051]换句话说，背景设置单元25从由选择器23选择的图像帧IFl中的每一帧提取第二背景区域BG2中的每一个。
[0052]参照图1，运动估计器27使用第二背景区域BG2中的每一个来计算由选择器23选择的连续的图像帧(例如，IFl的IF1-1&IF1-2)之间的多个全局运动矢量(GMV)。
[0053]运动估计器27包括局部运动估计单元29和第一缓冲器31。局部运动估计单元29使用第二背景区域中的每一个来计算选择的图像帧(例如，IFl)之中的两帧(例如，IF1-1&IF1-2)之间的多个局部运动矢量(MV)。
[0054]图5是示出由图1的DIS系统中的局部运动估计单元29估计的多个示例性的局部运动矢量MV的示图。参照图1至图5，可基于块匹配来计算局部运动矢量MV。术语块匹配是指块匹配算法。
[0055]参照图5，各个连续的图像帧IFl-1和IF1-2的背景区域BG2和BG3可被划分为多个块。块的尺寸可不同。图像帧IFl-1和IF1-2是图2中示出的第一图像帧IFl中的两帧。图像帧IFl-1和IF1-2中的每一帧中的图像在图5中被简单示出。各个背景区域BG2和BG3中的四边形28-1和28-2分别表示背景BG2和BG3的部分图像(例如，部分书本图像或部分书架图像)。
[0056]局部运动估计单元29找出图像帧IFl-1中与图像帧IF1-2中的块(例如，BI)最匹配的块(例如，B2)。局部运动估计单元29找出图像帧IFl-1中与图像帧IF1-2中的块BI最匹配的块B2，并将图像帧IFl-1中的块B2的位移确定为块B2的局部运动矢量。
[0057]尽管在详细描述中为了方便起见在图5中仅示出了一个局部运动矢量MV，但是可执行与图像帧IF1-2中的多个块或全部块的最佳块匹配，以找出图像帧IFl-1中的匹配块。由局部运动估计单元29估计的多个局部MV可被存储在第一缓冲器31中。可选择地，局部运动估计单元29可在背景BG2和BG3之间估计单个局部运动矢量MV。由局部运动估计单元29计算的局部运动矢量MV (单个或多个)被视为表现背景BG2和BG3之间的全局运动矢量。
[0058]图6是由图1的DIS系统中的局部运动估计单元29估计的示例性局部MV的示图。参照图1至图4以及图6，多个图像帧IF1-3和IF1-4中的图像被简单示出。各个背景中的四边形28-3和28-4分别表示背景的部分图像(例如，部分书本图像或部分书架图像)。
[0059]可基于点对应来计算局部运动矢量MV。所述点对应是指本领域技术人员现在已知或将开发出的任意点对应算法。点对应可被称为特征点对应或特征对应算法。
[0060]局部运动估计单元29在图像帧IF1-3和IF1-4的背景区域中的每一个中检测至少一个特征点。例如，局部运动估计单元29可检测在每个背景区域中可见的对象(例如，书本)的拐角。所述至少一个特征点被用于点描述。换句话说，局部运动估计单元29可将所述至少一个点描述为颜色。所述颜色可被表现为多个比特。
[0061]局部运动估计单元29在图像帧IF1-3中找出与图像帧IF1-4中的至少一个点最对应的至少一个点。局部运动估计单元29在图像帧IF1-4中找出与图像帧IF1-3中的点最对应的点，并将图像帧IF1-3的矢量估计为局部运动矢量MV。
[0062]在详细描述中为了方便起见，在图6中仅示出一个局部运动矢量MV。运动估计器27还可包括全局运动估计单元33和第二缓冲器35。
[0063]全局运动估计单元33使用滤波器从多个局部运动矢量MV计算全局运动矢量GMV之一。所述滤波器可以是高斯滤波器、中值滤波器或均值滤波器。换句话说，全局运动估计单元33计算选择的图像帧(例如，IFl之中的IF1-1&IF1-2)之间的全局运动矢量GMV。全局运动矢量GMV可被存储在第二缓冲器35中。
[0064]图7是已经被图1中示出的第一运动补偿器37补偿了全局运动(抖动)的图像帧序列(IF1-1&IF1-2)的示图。参照图1和图7，图像帧IFl-1和IF1-2是图2中示出的多个图像帧IFl之中的连续两帧。
[0065]第一运动补偿器37使用GMV对第一图像帧IFl的抖动运动进行补偿。例如，第一运动补偿器37使用GMV中的一个来对第一图像帧IFl-1的运动进行补偿。第一运动补偿器37可通过移动第一图像帧IFl-1来对第一图像帧IFl-1的运动进行补偿。类似地，第二运动补偿器39使用同一全局运动矢量GMV来对第二图像帧IF2的抖动运动进行。
[0066]图8是由图1中示出的3D格式器41产生的3D图像格式的示图。参照图1和图8，3D格式器41将从运动补偿器37和39输出的图像帧转换为各种3D格式之一。例如，由第一运动补偿器37补偿的第一图像帧IFl中的每一帧可被置于顶部，由第二运动补偿器39补偿的相应第二帧IF2中的每一帧可被置于底部。
[0067]参照图1，编码器43使用从运动估计器27输出的全局运动矢量GMV来压缩从3D格式器41输出的多个3D显不中贞。
[0068]图9是图1中示出的DIS电路20的操作的流程图。参照图1至图9，在步骤S10，DIS电路20分别从立体图像传感器11和13接收第一透视组的图像帧IFl和第二透视组的图像帧IF2。在步骤S20，选择器23选择第一透视组或第二透视组。
[0069]在步骤S30，深度图产生器21使用第一透视组中的第一透视图像帧IFl中的每一个和第二透视组中的第二透视图像帧IF2之中的相应帧来产生每幅深度图DM。深度图产生器21在每幅深度图DM中限定第一背景区域BGl。在步骤S40，背景设置单元25使用第一背景区域BGl在选择的组中的每个图像帧中限定第二背景区域BG2。
[0070]在步骤S50，运动估计器27使用第二背景区域BG2计算选择的组中的图像帧之间的第一全局运动矢量。在步骤S60，运动补偿器37和39使用第一全局运动矢量GMV来分别对第一透视组中的图像帧IFl的运动(抖动)以及第二透视组中的图像帧IF2的相同运动(抖动)进行补偿。
[0071]图10是根据本发明构思的实施例的DIS系统100的框图。参照图10，DIS系统100包括多个图像传感器110和130 (例如，一对图像传感器110和130)、DIS电路200、3D格式器410和编码器430。
[0072]图像传感器110和130、3D格式器410和编码器430的名称和功能分别与图1中示出的图像传感器11和13、3D格式器41和编码器43的名称和功能相同。因此，将省略其多余描述。
[0073]DIS电路200包括深度图产生器210、背景设置块251、运动估计块271、比较器365和多个运动补偿器370和390。
[0074]深度图产生器210将多个第一图像帧IF1’之中的每一帧分别与多个第二图像帧IF2’之中的相应一帧进行比较，以产生多幅深度图并在每幅深度图中限定第一背景区域BG1。图像帧IF1’和IF2’以及深度图与图2中示出的图像帧IFl和IF2以及图3中示出的深度图DM相似。
[0075]深度图产生器210的操作与图1中示出的深度图产生器21的操作相似。因此，将省略其多余描述。
[0076]背景设置块251包括第一背景设置单元250和第二背景设置单元255。
[0077]第一背景设置单元250使用在每幅深度图中设置的每个第一背景区域在每个第一图像帧IF1’中设置每个第二背景区域。第二背景设置单元255使用在每幅深度图中设置的每个第一背景区域在每个第二图像帧IF2’中设置每个第三背景区域。换句话说，基于深度图将第二背景区域中的每一个遮蔽在第一图像帧IF1’中的每一帧上，并且基于深度图将第三背景区域中的每一个遮蔽在第二图像帧IF2’中的每一帧上。
[0078]运动估计块271包括第一运动估计器270和第二运动估计器275。第一运动估计器270使用第二背景区域来计算第一图像帧IF1’之间的多个第一全局运动矢量GMV。第一运动估计器270包括第一局部运动估计单元290和第一缓冲器310。
[0079]第一局部运动估计单元290使用第一图像帧IF1’之中的连续两帧的第二背景区域来计算所述连续两帧之间的多个第一局部运动矢量MV1。第一局部运动矢量MVl可被存储在第一缓冲器310中。可选择地，第一局部运动估计单元290可估计单个局部运动矢量。此时，所述单个局部运动矢量被视为全局运动矢量。第一运动估计器270还可包括第一全局运动估计单元330和第二缓冲器350。
[0080]对于第一图像帧IF1’之中的每对连续帧，第一全局运动估计单元330使用滤波器来从多个第一局部运动矢量MVl计算一个第一全局运动矢量GMVl。第一局部运动估计单元290和第一全局运动估计单元330的操作与图1中示出的局部运动估计单元29和全局运动估计单元33的操作相似。因此，将省略其多余描述。第一全局运动矢量GMVl可被存储在第二缓冲器350中。
[0081]对于第二图像帧IF2’之中的每对连续帧，第二运动估计器275使用第三背景区域来计算连续的第二图像帧IF2’之间的一个第二全局运动矢量。第二运动估计器275包括第二局部运动估计单元295和第三缓冲器315。第二局部运动估计单元295使用第二图像帧IF2’之中的连续两帧的第三背景区域中的每一个来计算所述连续两帧之间的多个第二局部运动矢量MV2。第二局部运动矢量MV2可被存储在第三缓冲器315中。
[0082]可选择地，第二局部运动估计单元295可估计单个局部运动矢量。此时，所述单个局部运动矢量被视为全局运动矢量。第二运动估计器275还可包括第二全局运动估计单元335和第四缓冲器355。
[0083]对于第二图像帧IF2’之中的每对连续帧，第二全局运动估计单元335使用滤波器从多个第二局部运动矢量MV2估计一个第二全局运动矢量GMV2。第二全局运动矢量GMV2可被存储在第四缓冲器355中。[0084]图1lA和图1lB是在抖动的情况下由图10中示出的多个全局运动估计单元350和355产生的多个GMV的分布曲线。图1lA是第一全局运动矢量GMVl的大小的分布曲线，图1lB是第二全局运动矢量GMV2的大小的分布曲线。
[0085]参照图10至图11B，比较器365根据第一全局运动矢量GMVl的大小和第二全局运动矢量GMV2的大小来选择第一全局运动矢量GMVl或第二全局运动矢量GMV2。
[0086]例如，比较器365可计算两个连续的第一全局运动矢量GMVl的大小之间的差以及两个连续的第二全局运动矢量GMV2的大小之间的差，并将所述差与大小阈值进行比较。比较器365根据比较结果来选择第一全局运动矢量GMVl或第二全局运动矢量GMV2。例如，如果第二全局运动矢量GMV2之中的第六和第七全局运动矢量的大小之间的差Dl大于大小阈值Thl，则比较器365选择第一全局运动矢量GMVl。
[0087]参照图10，第一运动补偿器370使用选择的全局运动矢量来对第一图像帧IF1’的运动进行补偿。
[0088]第二运动补偿器390使用选择的全局运动矢量来对第二图像帧IF2’的运动进行补偿。运动补偿器370和390的操作与运动补偿器37和39的操作相似。因此，其详细描述将被省略。
[0089]图12是图10中示出的DIS电路200的操作的流程图。参照图10至图12，在步骤SI 10，DIS电路200从图像传感器110接收第一透视组的图像帧IF1’并从图像传感器130接收第二透视组的图像帧IF2’。
[0090]在步骤S120，深度图产生器210使用第一透视组中的图像帧IF1’中的每一帧和第二透视组中的图像帧IF2’中的每一帧来产生每幅深度图。深度图产生器210在深度图中设置第一背景区域中的每一个。在步骤S130，背景设置块251使用第一背景区域中的每一个来在每个图像帧IF1’中设置每个第二背景区域并在每个图像帧IF2’中设置每个第三背景区域。
[0091]在步骤S140，运动估计块271使用图像帧IF1’中的第二背景区域中的每一个来计算多个图像帧IF1’之间的多个第一全局运动矢量GMV1，并使用图像帧IF2’中的第三背景区域中的每一个来计算多个图像帧IF2’之间的多个第二全局运动矢量GMV2。比较器365计算第一全局运动矢量GMVl中的两个的大小之间的差以及第二全局运动矢量GMV2中的两个的大小之间的差，并将所述差与大小阈值进行比较。在步骤S150，比较器365根据比较结果选择第一全局运动矢量GMVl或第二全局运动矢量GMV2。在步骤S160，第一运动补偿器370使用已被选择的全局运动矢量来对图像帧IF1’的运动进行补偿，并且第二运动补偿器390使用已被选择的全局运动矢量来对图像帧IF2’的运动进行补偿。
[0092]图13是根据本发明构思的进一步的实施例的DIS系统1300的框图。参照图13，DIS系统1300是3D显示装置。DIS系统1300包括多个图像传感器1310和1320、DIS电路1330、编码器1340、存储器1350、解码器1360和3D显示器1370。
[0093]图像传感器1310和1320、DIS电路1330和编码器1340的操作与图1或图10中示出的图像传感器11和13或图像传感器110和130、DIS电路20或DIS电路200、以及编码器43或编码器430的操作相似。因此，将省略其详细描述。存储器1350可存储从编码器1340输出的多个3D显示帧。存储器1350可被配置为非永久性存储器(诸如闪存)。
[0094]解码器1360对已被编码的3D显示帧进行解码，以在3D显示器1370上显示3D显示图像。3D显示器1370显示解码的3D显示帧，从而向观看者提供3D图像。
[0095]如上所述，根据本发明构思的一些实施例，基于深度信息的背景区域被使用，使得容易且精确地从3D显示技术中使用的图像消除抖动。
[0096]尽管已参照本发明构思的示例性实施例具体显示并描述了本发明构思，但本领域普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在此做出形式和细节上的各种改变。
【权利要求】
1.一种稳定数字图像的方法，所述方法包括: 使用第一透视组中的每个图像帧和第二透视组中的每个图像帧来产生每幅深度图，并在每幅深度图中确定背景区域； 使用相应确定的背景区域来在第一透视组和第二透视组之中的一组中的每个图像帧中限定第二背景区域； 使用每个第二背景区域来计算所述一组中的图像帧之间的第一全局运动矢量。
2.如权利要求1所述的方法，还包括:根据图像分辨率来选择所述一组。
3.如权利要求1所述的方法，其中，在每幅深度图中确定背景区域的步骤包括: 将深度图的每个像素的深度值与深度阈值进行比较； 根据比较的结果来在每幅深度图中确定背景区域的像素。
4.如权利要求1所述的方法，其中，计算第一全局运动矢量的步骤包括: 在所述一组中的图像帧之中的连续两帧之间计算第二背景区域内的像素的局部运动矢量; 使用滤波器从所述连续两帧的局部运动矢量计算所述连续两帧的一个第一全局运动矢量。
5.如权利要求4所述的方法，其中，所述滤波器是高斯滤波器、中值滤波器或均值滤波器。
6.如权利要求4所述的方法，其中，计算所述连续两帧的局部运动矢量的步骤包括:基于块匹配来计算所述局部运动矢量。
7.如权利要求4所述的方法，其中，计算局部运动矢量的步骤包括:基于特征点对应来计算局部运动矢量。
8.如权利要求1所述的方法，还包括:将第一全局运动矢量输出到编码器。
9.如权利要求1所述的方法，还包括:使用第一全局运动矢量对第一透视组中的图像帧的运动以及第二透视组中的图像帧的运动进行补偿。
10.如权利要求1所述的方法，还包括: 使用相应确定的背景区域来在第一透视组和第二透视组之中的其他组中的每个图像帧中限定第三背景区域； 计算所述其他组中的连续两帧之间的第三背景区域内的像素的第二全局运动矢量。
11.如权利要求10所述的方法，还包括:根据第一全局运动矢量的大小改变和第二全局运动矢量的大小改变来选择第一全局运动矢量或第二全局运动矢量。
12.如权利要求11所述的方法，其中，选择第一全局运动矢量或第二全局运动矢量的步骤包括: 计算第一全局运动矢量之中的两个全局运动矢量的大小之间的差以及第二全局运动矢量之中的两个全局运动矢量的大小之间的差； 将计算的差与大小阈值进行比较； 根据比较结果选择第一全局运动矢量或第二全局运动矢量。
13.如权利要求11所述的方法，还包括:使用选择的全局运动矢量对第一透视组中的图像帧的运动和第二透视组中的图像帧的运动进行补偿。
14.一种数字图像稳定电路，包括:深度图产生器，被配置为使用第一透视组中的每个图像帧和第二透视组中的每个图像帧来产生深度图，并在每幅深度图中确定背景区域； 选择器，被配置为根据图像分辨率来在第一透视组和第二透视组之间选择一组；背景设置单元，被配置为使用确定的背景区域中的每一个来在选择的组中的每个图像帧中限定第二背景区域中的每一个； 运动估计器，被配置为使用第二背景区域中的每一个来计算选择的组中的图像帧之间的全局运动矢量。
15.如权利要求14所述的数字图像稳定电路，还包括: 第一运动补偿器，被配置为使用全局运动矢量来对第一透视组中的图像帧的运动进行补偿； 第二运动补偿器，被配置为使用全局运动矢量来对第二透视组中的图像帧的运动进行补偿。
16.如权利要求14所述的数字图像稳定电路，其中，运动估计器包括: 局部运动估计单元，被配置为在选择的组中的图像帧之中的连续两帧之间计算第二背景区域内的像素的局部运动矢量； 全局运动估计单元，被配置为使用滤波器从局部运动矢量计算一个全局运动矢量。
17.如权利要求14所述的数字图像稳定电路，其中，所述数字图像稳定电路是图像信号处理器。
18.一种数字图像稳定系统，包括: 图像传感器； 数字图像稳定电路，被配置为从图像传感器接收第一透视组的图像帧和第二透视组的图像帧， 其中，所述数字图像稳定电路包括: 深度图产生器，被配置为使用第一透视组中的图像帧之一以及第二透视组中的相应的一个图像帧来产生每幅深度图，并在每幅深度图中确定背景区域； 选择器，被配置为根据图像分辨率来在第一透视组和第二透视组之间选择一组；背景设置单元，被配置为使用确定的背景区域中的每一个来在选择的组中的每个图像帧中限定第二背景区域； 运动估计器，被配置为基于第二背景区域中的像素来计算选择的组中的连续图像帧之间的全局运动矢量。
19.如权利要求18所述的数字图像稳定系统，还包括:运动补偿器，被配置为使用全局运动矢量分别对第一透视组中的图像帧的抖动运动以及第二透视组中的图像帧的抖动运动进行补偿。
20.如权利要求19所述的数字图像稳定系统，还包括: 三维(3D)格式器，被配置为将从运动补偿器输出的图像帧转换为3D格式，并输出3D显示中贞; 编码器，被配置为使用从运动估计器输出的全局运动矢量来压缩3D显示帧。
21.如权利要求18所述的数字图像稳定系统，其中，所述数字图像稳定系统是3D显示>j-U ρ?α装直。
22.—种数字图像稳定电路，包括: 深度图产生器，被配置为产生深度图，并被配置为在每幅深度图中确定背景区域，其中，使用第一透视图像帧中的一帧以及第二透视图像帧中的相应一帧来产生每幅深度图； 背景设置块，被配置为使用确定的背景区域中的每一个来在第一透视图像帧中的每一帧中限定背景区域，并使用确定的背景区域中的每一个来在第二透视图像帧中的每一帧中限定背景区域； 运动估计块，被配置为使用第一透视图像帧的限定的背景区域内的像素来计算第一透视图像帧之间的第一全局运动矢量，并使用第二透视图像帧的限定的背景区域内的像素来计算第二透视图像帧之间的第二全局运动矢量。
23.如权利要求22所述的数字图像稳定电路，还包括: 比较器，被配置为根据第一全局运动矢量之间的大小改变和第二全局运动矢量之间的大小改变来选择第一全局运动矢量或第二全局运动矢量； 运动补偿器，被配置为使用选择的全局运动矢量分别对第一透视图像帧的运动和第二透视图像帧的运动进行补偿。
24.如权利要求23所述的数字图像稳定电路，其中，所述数字图像稳定电路是图像信号处理器。
25.一种数字图像稳定系统，包括: 第一图像传感器； 第二图像传感器； 数字图像稳定电路，被 配置为分别从第一图像传感器和第二图像传感器接收第一透视图像帧和第二透视图像帧， 其中，数字图像稳定电路包括: 深度图产生器，被配置为产生深度图，并被配置为在每幅深度图中确定背景区域，其中，使用第一透视图像帧中的一帧和第二透视图像帧中的相应一帧来产生每幅深度图； 背景设置块，被配置为使用每个第一透视图像帧的相应确定的背景区域来在每个第一透视图像帧中限定背景区域，并使用每个第二透视图像帧的相应确定的背景区域来在每个第二透视图像帧中限定背景区域； 运动估计块，被配置为计算第一透视图像帧的限定的背景区域中的像素之间的第一全局运动矢量，并计算第二透视图像帧的限定的背景区域中的像素之间的第二全局运动矢量。
【文档编号】H04N13/00GK103428516SQ201310179609
【公开日】2013年12月4日 申请日期:2013年5月15日 优先权日:2012年5月15日
【发明者】金东埙 申请人:三星电子株式会社