专利名称：图像转换设备及使用其的显示设备和方法
技术领域：
与示例性实施例一致的方法和设备涉及图像转换设备及使用该图像转换设备的显示设备和方法，更具体地讲，涉及一种将立体图像转换为多视点图像的图像转换设备及使用该图像转换设备的显示设备和方法。
背景技术：
随着电子技术的发展，已生产了具有多个功能的各种家用电器。那些家用电器之一是诸如电视机的显示设备。最近，允许用户观看三维(3D)图像的3D显示设备也变为流行。3D显示设备可根据用户观看3D图像是否需要眼镜而被划分为眼镜型系统或非眼镜型系统。眼镜型系统的一个示例是快门眼镜方法，其中，所述快门眼镜方法在显示设备交替地输出立体图像时通过交替地阻挡左眼和右眼来使人感受立体感。在采用快门眼镜方法的这种3D显示设备中，如果输入了 2D图像信号，则输入信号被转换为左眼图像和右眼图像并被交替输出。另一方面，如果输入了包括左眼图像和右眼图像的立体图像信号，则输入信号被交替输出，以创建3D图像。非眼镜型系统通过在空间上移动多视点图像并显示移动的图像来允许用户感受立体感，而无需佩戴眼镜。这样，非眼镜型系统的优点在于无需佩戴眼镜而允许用户观看3D图像。但是，为此应提供多视点图像。多视点图像指的是从多个视点观看图像中的对象的图像。为了产生这种多视点图像，应使用多个相机产生多个图像信号，但是这在实际上是困难的，不仅因为产生多视点图像不容易且昂贵，而且在传输内容时需要大量带宽。因此，直到最近大多开发了眼镜型系统，并且内容的开发也聚焦在2D或立体内容。但是，对于无需佩戴眼镜而允许用户观看3D图像的非眼镜型系统存在持续需要。另外，多视点图像还可用于眼镜型系统。因此，需要使用现有立体图像提供多视点图像的技术。
发明内容
技术问题示例性实施例的一方面涉及能够使用立体图像产生多视点图像的图像转换设备及使用该图像转换设备的显示设备和方法。技术方案根据示例性实施例的一种用于在图像转换设备中转换图像的方法，包括如下步骤:缩小立体图像；通过将自适应权重应用于缩小的立体图像，来执行立体匹配；根据立体匹配产生深度图；通过参照原始分辨率的输入图像来放大深度图；通过针对放大的深度图和原始分辨率的输入图像执行基于深度图像的渲染，来产生多个多视点图像。立体匹配步骤可包括:将具有预定大小的窗口顺序地应用于立体图像的第一输入图像和第二输入图像中的每一个图像；计算在应用于第一输入图像和第二输入图像的每一个图像的窗口中的中央像素与周围像素之间的相似度；通过根据中央像素和周围像素之间的相似度将不同的自适应权重应用于中央像素与外围像素，来搜索第一输入图像和第二输入图像之间的匹配点。深度图可以是根据匹配点之间的距离差而具有不同灰度级的图像。权重可被设置为与中央像素的相似度成比例的大小，灰度级可被设置为与匹配点之间的距离差成反比的值。放大深度图的步骤可包括:搜索深度图和原始分辨率的输入图像之间的相似度；通过针对搜索的相似度应用权重,来执行放大。所述多个多视点图像可被非眼镜3D显示系统显示，以表现3D屏幕。根据示例性实施例的一种图像转换设备，包括:缩小单元，缩小立体图像；立体匹配单元，通过将自适应权重应用于缩小的立体图像，来执行立体匹配并根据立体匹配产生深度图；放大单元，通过参照原始分辨率的输入图像来放大深度图；渲染单元，通过针对放大的深度图和原始分辨率的输入图像执行基于深度图像的渲染，来产生多个多视点图像。立体匹配单元可包括:窗口产生单元，将具有预定大小的窗口顺序地应用于立体图像的第一输入图像和第二输入图像中的每一个图像；相似度计算单元，计算在窗口中的中央像素与周围像素之间的相似度；搜索单元，通过根据相似度应用不同的权重，来搜索第一输入图像和第二输入图像之间的匹配点；深度图产生单元，使用搜索的匹配点之间的距离产生深度图。深度图可以是根据匹配点之间的距离差而具有不同灰度级的图像。权重可被设置为与中央像素的相似度成比例的大小，并且灰度级可被设置为与匹配点之间的距离差成反比的值。放大单元可搜索深度图和原始分辨率的输入图像之间的相似度，并通过针对搜索的相似度应用权重，来执行放大。所述图像转换设备还可包括:接口单元，将所述多个多视点图像提供给非眼镜3D显不系统。根据示例性实施例的显示设备包括:接收单元，接收立体图像；图像转换处理单元，通过在缩小立体图像之后应用自适应权重来产生深度图并通过使用产生的深度图和分辨率图像的放大来产生多视点图像；显示单元，输出由图像转换处理单元产生的多视点图像。所述图像转换处理单元可包括:缩小单元，缩小立体图像；立体匹配单元，通过针对缩小的立体图像应用自适应权重来执行立体匹配，并根据立体匹配的结果产生深度图；放大单元，通过参照原始分辨率的输入图像来放大深度图；渲染单元，通过针对放大的深度图和原始分辨率的输入图像执行基于深度图像的渲染，来产生多个多视点图像。有益效果如此，根据各种示例性实施例，多视点图像可从立体图像容易地产生且可被利用。
通过参照附图描述特定示例性实施例，本发明构思的上述和/或其他方面变得更加清楚，其中:图1是示出根据示例性实施例的图像转换设备的构造的框图；图2是示出根据示例性实施例立体匹配单元的构造的示例的框图；图3是示出根据另一示例性实施例的图像转换设备的构造的框图；图4是示出根据示例性实施例的显示设备的构造的框图；图5至图9是用于解释根据示例性实施例的转换图像的处理的示图；图10至图11是示出根据示例性实施例的应用图像转换设备的非眼镜型3D系统及其显示方法的示图；图12是用于解释根据示例性实施例的用于转换图像的方法的流程图；图13是用于立体匹配处理的示例的流程图。
具体实施例方式下面参照附图更加详细描述特定示例性实施例。在下面描述中，即使在不同附图中，相同附图标号用于相同元件。提供在描述中限定的内容(诸如，详细结构和元件)，以帮助全面理解示例性实施例。但是，无需这种具体限定的内容也可实施示例性实施例。此外，由于公知功能或结构可能在不必要的细节上使得本申请不清楚，因此不对公知功能或结构进行详细描述。图1是示出根据示例性实施例的图像转换设备的构造的框图。根据图1，图像转换设备包括接收单元110、缩小(down-scaling)单元120、立体匹配单元130、放大(up-scaling)单兀140和值染单兀150。接收单元110接收立体图像。立体图像指的是两个以上的图像。例如，立体图像可以是作为从两个不同角度拍摄的一个对象的两个图像的第一输入图像和第二输入图像。为了方便解释，在示例性实施例中，第一输入图像将被称作左眼图像(或左图像)，第二输入图像将被称作右眼图像(或右图像)。可从各种源提供这种立体图像。例如，接收单元110可经由线缆或无线地从广播信道接收立体图像。在这种情况下，接收单元110可包括各种部件，诸如，调谐器、解调器和
量化器。另外，接收单元HO可接收由再现各种记录介质(诸如，DVD、蓝光盘和存储卡)的记录介质再现单元(未示出)再现的立体像，或从相机直接接收拍摄的立体图像。在这种情况下，接收单元110可包括各种接口，诸如USB接口。缩小单元120对经由接收单元110接收的立体图像执行缩小。g卩，为了将立体图像转换为多视点图像，期望减少计算负担。为此，缩小单元120缩小输入的立体图像以减小其数据大小，从而减少计算负担。详细地讲，缩小单元120分别减小包括在立体图像中的左眼图像和右眼图像的分辨率，如预定常数(η)倍一样多。例如，可通过按预定时间间隔去除像素或以具有预定大小的像素块中的像素的平均值或代表值表示具有预定大小的像素块，来执行缩小。因此，缩小单元120可输出低分辨率左眼图像数据和低分辨率右眼图像数据。立体匹配单元130执行立体匹配操作，以搜索缩小的左眼图像和缩小的右眼图像之间的匹配点。在这种情况下，立体匹配单元130可使用自适应权重执行立体匹配操作。
由于左眼图像和右眼图像是从不同视点拍摄的一个对象的图像，所以由于不同视点可存在图像之间的差别。例如，在左眼图像中对象与背景重叠，而在右眼图像中对象与背景间隔一些距离。因此，可应用自适应权重，以增加在针对对象的预定范围内的具有像素值的像素的权重并减小超过预定范围的具有像素值的像素的权重。因此，立体匹配单元130可将自适应权重分别应用于左眼图像和右眼图像，并通过比较自适应权重来确定是否执行匹配操作。如此，通过使用自适应权重，由于可防止即使是正确的匹配点也将匹配结果确定为低相关度的这种现象，因此可增加匹配精确度。立体匹配单元130可根据匹配结果产生深度图。图2是示出根据示例性实施例的立体匹配单元130的构造的示例的框图。根据图2，立体匹配单元130包括窗口产生单元131、相似度计算单元132、搜索单元133和深度图产生单元134。窗口产生单元131产生具有预定大小(nXm)的窗口，并将产生的窗口分别应用于缩小的左眼图像和缩小的右眼图像。相似度计算单元132计算窗口中的中央像素和周围像素之间的相似度。例如，如果第一像素被指定为中央的窗口应用于左眼图像中的第一像素，则相似度计算单元132检查在窗口中围绕中央像素的像素的像素值。然后，相似度计算单元132将具有针对中央像素的像素值在预定范围内的像素值的周围像素确定为相似像素，并将具有超过预定范围的像素值的周围像素确定为非相似像素。搜索单元132通过基于相似度计算单元132计算的相似度应用不同权重，来搜索左眼图像和右眼图像之间的匹配点。权重可以与相似度成比例地增加。例如,如果应用两个权重，即，O和1，“1”可被给予与中央像素相似的周围像素，而“O”可被给予与中央像素不相似的周围像素。如果应用四个权重，即，0、0.3、0.6、1，则像素可根据像素和中央像素之间的像素值差的范围而被划分为四个组，“O”可被给予具有最大差的周围像素，“0.3”可被给予具有下一个最大差的周围像素，“0.6”可被给予具有下一个最大差的周围像素，“I”可被给予具有最小差的周围像素或具有与中央像素相同像素值的组中的周围像素，因此可产生权重图。搜索单元133可使用下面等式产生匹配等级。数学式I[数学式I]a =SUM(L_image*Wl_R_image*W2)2在等式I中，SUMO指的是表示窗口中的全部像素的计算结果之和的函数，L_image和R_image分别表示左眼图像的像素值和右眼图像的像素值，Wl和W2表示对于每一个相应像素确定的权重。搜索单元133可通过如等式I将左眼图像的每一个窗口与右眼图像的全部窗口进行比较，来搜索左眼图像和右眼图像之间的匹配窗口。深度图产生单元134基于搜索单元133搜索到的匹配点之间的距离产生深度图。即，深度图产生单元134将在左眼图像中构成对象的“a”像素的位置与在右眼图像中的“a”像素的位置进行比较，并计算差。因此，深度图产生单元134产生具有与计算的差对应的灰度级的图像，即深度图。深度可被定义为对象和相机之间的距离、对象和形成对象的图像的记录介质(例如，胶片)之间的距离或立体感的程度。因此，如果左眼图像的点和右眼图像的点之间的距离大，则立体感增加到那个程度。深度图在单个图像中示出这种深度的改变。详细地讲，深度图可使用根据左眼图像和右眼图像中的匹配点之间的距离而不同的灰度级示出深度。即，深度图产生单元134可产生具有大距离差的点是亮的而具有小距离差的点是暗的深度图。返回参照图1，如果由立体匹配单元130产生深度图，则放大单元140放大深度图。这里，放大单元134可通过参照原始分辨率的输入图像(B卩，左眼图像或右眼图像)来放大深度图。即，放大单元140可在考虑输入图像的亮度信息和颜色值的结构来将不同权重应用于低分辨率状态的深度图的每个点的同时执行放大。例如，放大单元140可按块划分原始分辨率的输入图像，并通过比较每个块的像素值来检查相似度。基于检查结果，可通过将高权重应用于相似部分来产生权重窗口。然后，如果通过将产生的权重窗口应用于深度图来执行放大，则可通过应用高权重来放大深度图中的重要部分。如此，可通过考虑原始分辨率的输入图像来执行自适应放大。渲染单元150可针对放大的深度图和原始分辨率的输入图像执行基于深度图像的渲染，来产生多个多视点图像。在这种情况下，渲染单元150可产生从一个视点观看的图像，然后使用所述图像和深度图推断并产生从另一视点观看的图像。即，如果一个图像被产生，则渲染单元150参照产生的图像使用焦距和对象的深度来推断视点改变时在记录介质(胶片)上的传播距离。渲染单元150通过根据推断的传播距离和方向移动参照图像的每一个像素的位置，来产生新图像。产生的图像可以是从参考图像间隔预定角度处的视点观看的对象的图像。如此，渲染单元150可产生多个多视点图像。同时，图1的图像转换设备可被实现为单个模块或芯片并安装在显示设备上。可选择地，图像转换设备可实现为与显示设备分开提供的单独的设备。例如，图像转换设备可实现为诸如机顶盒、PC或图像处理器的设备。在这种情况下，可需要附加部件，以将产生的多视点图像提供给显示设备。图3是解释图像转换设备与显示设备分开提供的情况的框图。根据图3，除接收单元110、缩小单元120、立体匹配单元130、放大单元140和渲染单元150之外，图像转换设备还可包括接口单元160。接口单元160是用于将由渲染单元150产生的多个多视点图像发送到外部显示设备的部件。例如，接口单元160可被实现为USB接口单元或使用无线通信协议的无线通信接口单元。另外，上述显示设备可以是非眼镜型3D显示系统。由于除接口单元160之外的其它部件与上面参照图1描述的部件相同，因此将不提供进一步描述。图4是示出根据示例性实施例的显示设备的构造的框图。图4的显示设备可以是能够显示3D图像的设备。详细地讲，图4的显示设备可以是各种类型，诸如，TV、PC监视器、数码相框、PDP和移动电话。根据图4,显示设备包括接收单元210、图像转换处理单元220和显示单元230。接收单元210从外部源接收立体图像。图像转换处理单元220对于接收的立体图像执行缩小，并通过应用自适应权重来产生深度图。然后，通过使用产生的深度图和原始分辨率的图像来进行放大，产生多视点图像。显示单元230可通过输出由图像转换处理单元220产生的多视点图像，来形成3D屏幕。例如，显示单元230可空间地划分多视点图像并输出划分的图像，从而使用户无需佩戴眼镜而可通过感受与对象的一些距离来感受3D图像。在这种情况下，显示单元230可被实现为使用视差光栅技术或透镜技术的显示面板。或者，显示单元230可被实现为通过交替输出多视点图像来创建立体感。即，显示设备可被实现为非眼镜型系统或眼镜系统。同时，图像转换处理单元220可具有图1至图3所示出的构造。即，图像转换处理单元220可包括:缩小单元，对立体图像进行缩小；立体匹配单元，通过针对缩小的立体图像应用自适应权重来执行立体匹配并根据立体匹配结果产生深度图；放大单元，通过参照原始分辨率的输入图像来放大深度图；渲染单元，通过针对放大的深度图和原始分辨率的输入图像执行基于深度图的渲染来产生多个多视点图像。图像转换处理单元220的详细构造和操作与上述针对图1至图3的描述相同，因此将不提供进一步的解释。图5至图9是解释根据示例性实施例的转换图像的处理的示图。根据图5，如果具有原始分辨率的左眼图像500和右眼图像600被接收单元110接收，则缩小单元120执行缩小以输出具有低分辨率的左眼图像510和右眼图像610。针对具有低分辨率的左眼图像510和右眼图像610执行立体匹配处理，从而可计算成本量520。因此，对于每一个像素选择具有最小成本量的深度，并产生深度图530。立体匹配处理需要相当大的计算量，并且如果执行缩小以降低图像的分辨率，并对于低分辨率的图像执行立体匹配来使算法较简单，则可降低计算负担。但是，如果使用简单方法执行立体匹配，则合成图像的图像质量可劣化。因此，在示例性实施例中，使用基于自适应权重窗口的立体匹配算法，这将在后面详细描述。同时，如果深度图530被产生，则使用深度图530和原始分辨率的输入图像之一(在图5的情况中，左眼图像500)来执行放大。即，如果针对低分辨率的深度图530执行简单放大，则图像质量可劣化。因此，基于原始分辨率的左眼图像500产生权重窗口，并且通过将权重窗口应用于深度图530来执行放大，从而针对特定部分执行大比例放大，而对诸如背景的部分执行相对小比例放大。具体地讲，原始分辨率的左眼图像500按块被划分，以比较和检查每个块的像素值的相似度。通过基于像素值的相似度的检查将高权重应用于具有相似度的部分，来产生权重窗口。然后，通过将产生的权重窗口应用于低分辨率的深度图530的相同部分，来执行放大。因此，除背景之外的对象(尤其是，边缘)可通过高权重被放大，从而防止图像质量的劣化。如此，如果通过放大准备了高分辨率的深度图540，则通过参照原始分辨率的输入图像500产生多个多视点图像700-1 700-n。多视点图像的数量根据示例性实施例而不同。例如，9个多视点图像可被使用。在图5中，使用左眼图像510的深度图和原始分辨率的左眼图像500来执行放大，但是这仅是示例，因此不限于此。图6是解释将窗口应用于低分辨率的左眼图像和右眼图像中的每一个图像的处理的示图。根据图6，对于左眼图像510和右眼图像610顺序产生窗口。窗口分别具有作为中央像素的图像的每个像素。在这种情况下，可存在背景的边界与人像的边界相似的部分。由于左眼图像和右眼图像的视点互不相同，所以背景和人像可根据背景和人像之间的位置关系看起来分离或重叠。S卩，如果如图6所示，背景20在人像10的左侧，则在像素(Cl)指定为中央像素的左眼图像510的窗口(a)中，背景20看起来与人像10有些分离，而在像素(C2)指定为中央像素的右眼图像610的窗口(b)中，背景20看起来与人像10重叠。图7示出使用应用于左眼图像的窗口(a)和应用于右眼图像的窗口(b)产生匹配等级的处理。如图7所示，从左眼图像窗口(a)的每一个像素值直接减去右眼图像窗口(b)的每一个像素值，并进行平方，以确定是匹配还是不匹配。在这种情况下，左眼图像和右眼图像的窗口(a，b)的像素可在如图6所示的背景和人像之间的边界表现出完全不同，示出低匹配等级。图8示出根据示例性实施例的使用权重窗口产生匹配程度的处理。根据图8，使用关于左眼图像窗口(a)的第一权重窗口(wl)和关于右眼图像窗口(b)的第二权重窗口(w2)。可分别基于左眼图像和右眼图像获得第一权重窗口(wl)和第二权重窗口(w2)。SP,例如,在第一权重窗口(Wl)中，中央像素(Cl)的像素值与左眼图像窗口(a)中的周围像素的像素值相比较。因此，将高权重应用于具有与中央像素(Cl)的像素值相同的像素值的周围像素或差在预定范围内的周围像素。即，由于在窗口(a)中，中央像素(Cl)是构成人像的像素，所以将高权重应用于构成人像的其它像素。另一方面，将相对低权重应用于除构成人像的像素之外的剩余像素。如果存在“O”和“ I”的权重，则“ I”可被应用于与人像对应的像素，“O”可被应用于剩余像素。如此，可产生第一权重窗口(wl)。还可基于右眼图像窗口(b)以相似方式产生第二权重窗口(w2)。在这种情况下，如果第一权重窗口(wl)和第二权重窗口(w2)被产生，则分别与左眼图像窗口(a)和右眼图像窗口(b)相乘。然后，从第一权重窗口(wl)和左眼图像窗口(a)之积减去第二权重窗口(《2)和右眼图像窗口(b)之积，对结果进行平方，并基于计算的值确定匹配还是不匹配。如此，每一个窗口(a，b)与权重窗口相乘，因此最小化背景的影响的同时，可基于作为人像的主部分确定匹配还是不匹配。因此，如图6所示，可防止因背景的影响而将关于背景和人像之间的边界的窗口确定为不匹配的点。如果如图8所示，分别搜索具有低分辨率的左眼图像510和右眼图像610之间的匹配点，则通过计算匹配点之间的距离来提供成本量520。因此，产生具有与计算的距离对应的灰度级的深度图。然后，使用产生的深度图和原始分辨率的输入图像执行放大。图9是解释根据示例性实施例的放大处理的示图。图9示出在没有考虑原始分辨率的左眼图像500的情况(a)下和在考虑原始分辨率的左眼图像500的情况(b)下针对低分辨率状态的左眼图像的深度图530执行放大时的图像质量。首先，图9 Ca)示出没有参照原始分辨率的左眼图像500而直接放大低分辨率的深度图530-1的情况。在这种情况下，可根据常用放大方法，使用通过按预定间隔或按预定图案插入像素来简单地增加分辨率的方法。在这种情况下，对于边缘部分的放大不会适当地执行，因此边缘部分不会被表现，而边缘部分看上去没有位于放大的深度图530-2上。因此，深度图540’的整个图像质量被劣化。另一方面，图9 (b)示出通过参照原始分辨率的左眼图像500来放大低分辨率的深度图的处理。首先，将窗口 530-1应用于低分辨率的深度图530的每一个像素。然后，在原始分辨率的左眼图像500的窗口中，搜索与深度图窗口 530-1匹配的窗口 500-1，然后针对搜索的窗口 500-1产生权重窗口(w3)。权重窗口(w3)表示:使用中央像素和窗口 500-1中的其周围像素之间的相似度将权重应用于窗口的每一个像素的窗口。因此，可通过将产生的权重窗口(w3)应用于深度图窗口 530-1来执行放大。因此，可以看到，放大的深度图窗口 540-1具有光滑的边缘，与图9(a)的深度图窗口 530-2不同。结果，如果组合全部的深度图窗口 540-1，则产生高分辨率的深度图540。与图9 (a)中的没有参照原始分辨率的输入图像而放大的放大的深度图540’比较，图9 (b)中的参照原始分辨率的输入图像而放大的放大的深度图540具有更好的图像质量。图10是解释使用利用放大的深度图540和原始分辨率的输入图像产生的多视点图像的3D显示的示图。根据图10，执行立体输入，S卩，左眼图像(L)和右眼图像(R)输入到图像转换设备100。图像转换设备100使用上述方法处理左眼图像和右眼图像，以产生多视点图像。然后，使用空间划分方法通过显示单元230显示多视点图像。因此，用户可基于位置观看来自不同视点的对象，因此用户可感受立体感，而无需佩戴眼镜。图11是示出用于输出多视点图像的方法的示例的示图。根据图11，显示单元230沿划分空间的方向输出总共9个多视点图像(VI至V9)。如图11所示，在第九图像在左侧输出之后第一图像再次输出。因此，即使用户位于显示单元230的侧边，而不是在显示单元230的前边，用户仍可以感受到立体感。同时，多视点图像的数量不限于9个，并且显示方向的数量可根据多视点图像的数量而改变。如此，根据各种示例性实施例，立体图像可被有效地转换为多视点图像，因此可应用于非眼镜3D显示系统和其它显示系统。图12是解释根据示例性实施例的用于转换图像的方法的流程图。根据图12，如果接收到立体图像(S1210)，针对每个图像执行缩小(S1220)。这里，立体图像表示从不同视点拍摄的多个图像。例如，立体图像可以是左图像和右图像，即，从如双眼视差一样多地相互分离的两个视点拍摄的左眼图像和右眼图像。然后，通过将窗口应用于每一个缩小的图像来搜索匹配点。即，执行立体匹配(S1230)。在这种情况下，可使用考虑窗口中的像素之间的相似度而应用权重的权重窗口。当搜索到匹配点时，使用对应点之间的距离差产生深度图(S1240)。然后，放大产生的深度图(S1250)。在这种情况下，可通过考虑原始分辨率的输入图像将权重应用于特定部分，来执行放大。因此，放大可更多聚焦在主要部分(诸如，边缘)，从而防止图像质量的劣化。在如上所述地执行放大之后，使用放大的深度图和原始分辨率的输入图像产生多视点图像(S1260)。详细地讲，在产生一个多视点图像之后，基于产生的多视点图像产生剩余的多视点图像。如果在与显示设备分开提供的图像转换设备中执行该操作，则可存在将产生的多视点图像发送到显示设备(尤其是，非眼镜3D显示系统)的附加步骤。因此，多视点图像可被显示为3D屏幕。可选择地，如果该操作在显示设备本身中执行，则可存在将产生的多视点图像输出到3D屏幕的附加步骤。图13是解释使用加权窗口的立体匹配处理的示例的流程图。根据图13，将窗口分别应用于第一输入图像和第二输入图像(S1310)。 然后，通过检查窗口中的每一个像素值来计算像素之间的相似度(S1320 )。因此，通过根据相似度应用不同权重来产生关于第一输入图像窗口和第二输入图像窗口中的每一个的权重窗口。然后，通过将产生的权重窗口分别应用于第一输入图像窗口和第二输入图像窗口，来确定匹配还是不匹配(S1330)。同时，将一个窗口应用于第一输入图像的一个像素并针对第二输入图像的全部像素移动窗口的同时，可比较匹配点。然后，可将窗口应用于第一输入图像的下一像素，并且新窗口可与第二输入图像的全部像素再次相比较。如此，通过将第一输入图像的全部窗口与第二输入图像的全部窗口相比较，来搜索匹配点。如上所述，根据各种示例性实施例，通过适当地转换立体图像信号，来产生多个多视点图像。因此，构成传统立体图像的内容可被用作多视点图像内容。另外，根据各种示例性实施例的转换图像的方法可存储在各种类型的记录介质中，以实现为CPU可执行的程序代码。详细地讲，用于执行上述图像转换方法的程序可存储在终端可读取的各种类型的记录介质的随机存取存储器(RAM)、闪速存储器、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除和编程ROM(EEPROM)、寄存器、硬盘、可移动盘、存储卡、USB存储器或CD-ROM 中。虽然已示出和描述了本发明构思的一些实施例，但是本领域技术人员应该理解，在不脱离范围由权利要求及其等同物限定的本发明构思的原理和精神的前提下，可对实施例进行修改。
权利要求
1.一种用于在图像转换设备中转换图像的方法，包括如下步骤: 缩小立体图像； 通过将自适应权重应用于缩小的立体图像，来执行立体匹配； 根据立体匹配产生深度图； 通过参照原始分辨率的输入图像来放大深度图； 通过针对放大的深度图和原始分辨率的输入图像执行基于深度图像的渲染，来产生多个多视图。
2.根据权利要求1所述的方法，其中，立体匹配的步骤还包括: 将具有预定大小的窗口顺序地应用于立体图像的第一输入图像和第二输入图像中的每一个图像； 计算在每个窗口中的中央像素与周围像素之间的相似度； 通过根据计算的中央像素和周围像素之间的相似度应用不同的自适应权重，来搜索第一输入图像和第二输入图像之间的匹配点。
3.根据权利要求2所述 的方法，其中，深度图是根据匹配点之间的距离差而具有不同灰度的图像。
4.根据权利要求3所述的方法，其中，自适应权重与中央像素的相似度成比例地增加， 其中，灰度级被设置为与匹配点之间的距离差成反比。
5.根据权利要求2所述的方法，其中，放大深度图的步骤包括: 搜索深度图和原始分辨率的输入图像之间的相似度； 通过针对搜索的相似度应用自适应权重，来针对深度图执行放大。
6.根据权利要求1所述的方法，其中，所述多个多视点图像被非眼镜3D显示系统显示，以表现3D屏幕。
7.一种图像转换设备，包括: 缩小单元，缩小立体图像； 立体匹配单元，通过将自适应权重应用于缩小的立体图像，来执行立体匹配并根据立体匹配产生深度图； 放大单元，通过参照原始分辨率的输入图像来放大深度图； 渲染单元，通过针对放大的深度图和原始分辨率的输入图像执行基于深度图像的渲染，来产生多个多视图。
8.根据权利要求7所述的设备，其中，立体匹配单元包括: 窗口产生单元，将具有预定大小的窗口顺序地应用于立体图像的第一输入图像和第二输入图像中的每一个图像； 相似度计算单元，计算在第一输入图像和第二输入图像中的每一个的窗口中的中央像素与周围像素之间的相似度； 搜索单元，通过根据计算的在第一输入图像和第二输入图像中的每一个的窗口中的中央像素和周围像素之间的相似度应用自适应权重，来搜索第一输入图像和第二输入图像之间的匹配点； 深度图产生单元，使用搜索的匹配点之间的距离产生深度图。
9.根据权利要求8所述的设备，其中，深度图是根据匹配点之间的距离差而具有不同灰度级的图像。
10.根据权利要求9所述的设备，其中，自适应权重与中央像素的相似度成比例地增加， 其中，灰度级被设置为与匹配点之间的距离差成反比。
11.根据权利要求8所述的设备，其中，放大单元搜索深度图和原始分辨率的输入图像之间的相似度，并通过针对搜索的相似度应用自适应权重,来执行放大。
12.根据权利要求7所述的设备，还包括: 接口单元，将所述多个多视点图像提供给非眼镜3D显示系统。
13.根据权利要求7所述的设备，还包括:接收单元，接收立体图像。
14.一种显示设备，包括: 接收单元，接收立体图像； 图像转换处理单元，通过在缩小立体图像之后应用自适应权重来产生深度图并通过使用产生的深度图和分辨率图像的放大来产生多视点图像； 显示单元，输出由图像转换处理单元产生的多视点图像。
15.根据权利要求14所述的显示设备，其中，图像转换处理单元包括: 缩小单元，缩小立体图像； 立体匹配单元，通过针对缩小的立体图像应用自适应权重来执行立体匹配，并根据立体匹配产生深度图； 放大单元，通过参照原始分辨率的输入图像来放大深度图； 渲染单元，通过针对放大的深度图和原始分辨率的输入图像执行基于深度图像的渲染，来产生多个多视点图像。
16.根据权利要求14所述的显示设备，其中，显示设备包括电视机、PC监视器、数码相框、PDP和移动电话之一。
17.根据权利要求1所述的方法，包括步骤:接收立体图像。
全文摘要
提供了一种在图像转换设备中转换图像的方法。所述方法包括接收立体图像；缩小立体图像；通过将自适应权重应用于缩小的立体图像，来执行立体匹配；根据立体匹配产生深度图；通过参照原始分辨率的输入图像来放大深度图；通过针对放大的深度图和原始分辨率的输入图像执行基于深度图像的渲染，来产生多个多视点图像。因此，可容易获得多个多视点图像。
文档编号H04N13/00GK103202026SQ201180054239
公开日2013年7月10日 申请日期2011年8月9日 优先权日2010年11月10日
发明者张朱镕, 李珍晟, 闵钟述, 金圣晋 申请人:三星电子株式会社