专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及图像处理装置及图像处理方法，尤其涉及用于对从多视点拍摄的多个图像合成以生成重聚焦图像的图像处理装置及图像处理方法。
背景技术：
已知一种图像重聚焦方法，该方法通过对从多个视点拍摄的图片进行图像位置对准操作及图像合成操作来由所述图片生成以期望的虚拟焦距重聚焦的图像(参见日本专利特开2011-22796号公报，以及MIRU2008图像识别·理解论文集(日本，2008年) 第1057-1062页“基于未校准合成光圈摄影法的散焦控制(Defocus Control Based on Uncalibrated, Synthesized Aperture Photography)，，(Natsumi Kusumoto 等所著))。根据日本专利特开2011-22796号公报中公开以及由Natsumi Kusumoto等在MIRU2008图像识别·理解论文集(日本，2008年)第1057-1062页“基于未校准合成光圈摄影法的散焦控制”中提出的发明，通过使用在不同摄影位置拍摄的多个图像、根据各图像的摄影位置以及拍摄者所希望聚焦的被摄体距离来使各图像移动或变形、然后合成所述图像，来生成重聚焦图像。
由Natsumi Kusumoto等在MIRU2008图像识别·理解论文集(日本,2008年)第 1057·-1062页“基于未校准合成光圈摄影法的散焦控制”中提出的方法，通过估计来在多个摄影图像之间生成中间视点图像，以改善景深外的离焦(out-of-focus)区域的图像质量。 然而，该方法存在中间视点图像的生成产生使甚至人们希望聚焦的区域模糊的效果的问题。该方法的另一问题在于由于增加了输出图像的分辨率，所以需要大量中间视点图像以创建平滑的模糊灰阶，从而需要巨大的计算成本。因此本发明的目的在于提高要被保持对焦(in focus)的区域的质量，同时削减用于生成中间视点图像的计算成本。发明内容
为了解决上述问题，本发明的图像处理装置包括摄影数据输入单元，其获取从至少两个不同的视点位置拍摄的多个图像；输入单元，其输入代表从照相机至虚拟焦平面的距离的重聚焦参数；距离估计单元，其生成针对所获取的图像的、表示对应于像素的摄影对象与照相机之间的距离的深度图；焦点图生成单元，其通过根据所述重聚焦参数由所述深度图计算包括要被锐聚焦的对焦区域以及要被模糊化的离焦区域的区域，来生成表示所述对焦区域以及所述离焦区域的焦点图；对焦区域图像处理单元，其通过对所述对焦区域进行预定操作并且对包括至少摄影图像的一组图像进行合成来生成合成图像；离焦区域图像处理单元，其通过对所述离焦区域进行与所述对焦区域图像处理单元进行的所述预定操作不同的操作、并且对包括至少摄影图像的一组图像进行合成来生成合成图像；以及图像混合单元，其通过根据所述焦点图将所述对焦区域的合成图像与所述离焦区域的合成图像混合来生成重聚焦图像。
通过对用户想要锐聚焦(sharply focused)的区域以及对用户想要模糊化的区域进行不同的操作，本发明提供了改善要被锐聚焦的区域的图像质量、同时使用于生成当从 虚拟中间视点位置拍摄时将会出现的图像的计算成本最小的能力。根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
图1是示出本发明的实施例中的图像处理装置的系统结构的框图；图2示出本发明的实施例中的摄影；图3是本发明的实施例中的示意性功能结构；图4示出了本发明的实施例中的离焦区域图像处理单元的详情；图5示出了通过本发明的实施例中的焦点图生成单元进行的处理的概要；图6示出了通过本发明的实施例中的焦点图生成单元进行的处理的概要；图7示出了本发明的实施例中摄影位置与虚拟视点位置之间的关系；图8示出了本发明的实施例中摄影位置与虚拟视点位置之间的关系；图9示出了本发明的实施例中摄影位置与虚拟视点位置之间的关系；图10示出了本发明的实施例中的权重系数的示例；图11示出了本发明的实施例中的权重系数的示例；图12示出了本发明的实施例中摄影位置之间的距离与到被摄体距离之间的关 系;图13是示出在本发明的实施例中进行的步骤的序列的流程图；图14是示出由本发明的实施例中的距离估计处理执行的步骤的序列的流程图；图15是示出由本发明的实施例中的焦点图生成处理进行的步骤的序列的流程 图；图16是示出通过本发明的实施例中的对焦区域图像处理进行的步骤的序列的流 程图；图17是示出由实施例1中的离焦区域图像处理进行的步骤的序列的流程图；图18是示出由本发明的实施例中的图像插值处理进行的步骤的序列的流程图；图19是示出由本发明的实施例中的图像合成处理进行的步骤的序列的流程图；图20是示出由实施例1中的图像混合处理进行的步骤的序列的流程图；图21示出了在实施例1中的图像混合处理中使用的混合比率的示例；图22是示出由实施例2中的离焦区域图像处理进行的步骤的序列的流程图；图23示出由实施例2中的图像混合处理进行的处理的概要；以及图24是示出由实施例2中的图像混合处理进行的步骤的序列的流程图。
具体实施例方式[实施例1]本实施例涉及重聚焦处理，其由多视点摄影设备或具有多个照相机单元的照相机 拍摄的多个图像，生成通过图像处理以期望的虚拟焦距聚焦的图像。即，本实施例的重聚焦 处理涉及，对用户想要聚焦的区域进行分辨率增强操作，以及在用户想要模糊化的区域中， 生成具有比输出分辨率低的分辨率的离焦图像。首先，将通过参照图1来描述本实施例的图像处理装置的示例系统结构。
在图1中，CPU 101使用RAM 102作为工作存储器来执行ROM 103和硬盘驱动器 (HDD) 105中存储的程序，以经由系统总线112控制各种部件。HDD接口(I/F) 104是例如用于与诸如HDD 105和光盘驱动器等的辅助存储设备连接的串行ATA(SATA)接口。CPU 101 可以通过HDD I/F 104从HDD 105读取数据，并且向HDD 105写入数据。另外，CPU 101可以将HDD 105中存储的数据展开到RAM 102上，还将在RAM 102上展开的数据存储到HDD 105中。CPU 101然后将在RAM 102上展开的数据作为程序来执行。输入接口(I/F) 106是例如用于与诸如键盘和鼠标等的输入设备107连接的诸如USB和IEEE1394的串行总线接口。输出接口(I/F) 108是例如用于与诸如监视器和投影仪等的输出设备109连接的DVI 和HDMI。CPU 101可以通过输出I/F 108向用于显示的输出设备109发送数据。照相机接口(I/F) 110是例如用于与诸如数字照相机的照相机111连接的诸如USB和IEEE1394的串行总线接口。CPU 101可以通过照相机I/F 110控制照相机111以拍摄图片。CPU 101还可以通过照相机I/F 110从照相机111获取图片数据。
图2示出了本实施例中的照相机111。该摄影设备是具有用于拍摄图片的九个照相机单元201-209的多视点照相机。为了简单说明，这九个照相机单元201-209被均匀布置在方形网格点上。假设这些照相机单元的纵轴和横轴及光轴布置在相同的方向上。这些照相机单元201-209在其传感器(图像感测设备)接收被摄体的光学信息，将接收的光学信号进行AD转换以一次生成多个摄影图像(数字数据)。利用上述结构的多视点照相机， 可以获得从多个视点位置进行的同一被摄体的多个拍摄。这里应当注意，照相机单元的数量并不限于在该示例情况中采用的九个，只要摄影设备具有两个以上照相机单元，就可应用本发明。还要注意，虽然在该示例中这九个照相机单元被均匀分布在方形网格点上，但是可以根据系统结构使用任意其他布置。接着，将通过参照图3来说明执行本实施例中的一系列处理的功能的概要结构。 作为CPU 101的功能单元的图片数据输入单元301从存储设备检索通过照相机111在不同位置拍摄的被摄体的多个图像302以及包括照相机111的视角和位置的照相机信息303。 存储设备包括但是不限于照相机11UR0M 103和HDD 105。作为CPU 101的功能单元的参数输入单元304从输入设备107或存储设备检索包括到虚拟焦平面的距离的重聚焦参数或虚拟聚焦参数305、以及虚拟光圈参数(virtual iris parameter) 306。这里注意,存储设备包括但是不限于ROM 103和HDD105。另外，参数输入单元304还从输入设备109或从诸如ROM 103和HDD 105等的存储设备检索通过重聚焦处理生成的重聚焦图像的分辨率318。
作为CPU 101的功能单元的距离估计单元307基于摄影图像302和照相机信息 303通过立体匹配，来估计代表包含关注对象的场景的深度位置的深度值，以生成深度图 308。焦点图生成单元309基于虚拟聚焦参数305和深度图308通过区域划分处理，来生成代表用户想要锐化图像的区域(对焦区域)以及用户想要模糊图像的区域(离焦区域)的焦点图310。焦点图生成单元309用作CPU 101的功能单元。
作为CPU 101的功能单元的对焦区域图像处理单元311根据摄影图像302、照相机信息及焦点图310，通过将重点放在对焦区域来进行图像处理，以生成对焦区域图像312。 作为CPU 101的功能单元的离焦区域图像处理单元313使用摄影图像302、照相机信息 303、焦点图310及虚拟光圈参数306，通过将重点放在离焦区域来进行图像处理，以生成离焦区域图像314。作为CPU 101的功能单元的图像混合单元315使用对焦区域图像、离焦区域图像314和焦点图310，通过图像混合处理生成重聚焦图像316。作为CPU 101的功能单元的图像输出单元317向输出设备109和诸如HDD 105的辅助存储设备发送重聚焦图像 316。
图4示出了离焦区域图像处理单元中的功能的概要结构。作为CPUlOl的功能单元的图像缩小单元401缩小摄影图像302以生成缩小图像405。通过合成缩小图像、然后放大合成图像，这使得为生成图像合成处理所需的插值图像而进行的计算的成本降低。作为 CPU 101的功能单元的图像插值单元402基于照相机信息303设置虚拟视点位置409，使得它们在图像302的摄影位置之间。然后，通过在缩小图像405之间插值来生成如果从各个虚拟视点位置409拍摄将会获得的插值图像406。
作为CPU 101的功能单元的图像合成单元403使用照相机信息303、虚拟视点位置 409、虚拟聚焦参数305、虚拟光圈参数306以及焦点图310，来合成缩小图像405以及插值图像406。图像合成处理生成(离焦区域的)合成图像407。作为CPU 101的功能单元的图像放大单元404将(离焦区域的)合成图像407放大至重聚焦图像的分辨率318，以生成离焦区域图像408。
图13是示出通过本实施例的图像处理装置进行的处理的整体序列的流程图。更具体地说，描述图13的流程图中所示的过程的计算机可执行程序被从ROM 103或HDD 105 加载到CPU 101执行计算机可执行程序的RAM 102。图13的流程图仅示出处理的整体流程，所以将通过进一步参照图14至图20来说明作为本实施例的特征的各处理的详情。
在步骤S901中，图片数据输入单元301使用照相机111拍摄图片302，并且获取图片或摄影图像302以及包括照相机111的各照相机单元的视角和摄影位置的照相机信息 303。作为选择，诸如照相机111的照相机单元的视角和摄影位置的照相机信息303可以被预先存储在诸如ROM 103和HDD 105的存储设备中，并且被图片数据输入单元301从中检索。
在步骤S902中，参数输入单元304从输入设备107检索包括虚拟焦距的虚拟聚焦参数305、包括针对用于图像合成的各图像的权重系数的虚拟光圈参数306、以及要生成的重聚焦图像的分辨率318。或者还可以将虚拟聚焦参数305、虚拟光圈参数306以及重聚焦图像分辨率318预先存储在诸如ROM 103或HDD 105的存储设备中，然后使参数输入单元 304从存储设备检索它们。
在步骤S903中，距离估计单元307基于在步骤S901中获取的摄影图像302和照相机信息303，通过进行距离估计操作来估计关注场景的深度以生成该场景的深度图308。 稍后将通过参照图14来详细说明距离估计处理。
在步骤S904中，焦点图生成单元309基于在步骤S902中获取的虚拟聚焦参数305 以及在步骤S903中生成的深度图308来执行焦点图生成操作，以生成示出用户想要聚焦的区域(对焦区域)以及用户想要模糊化的区域(离焦区域)的焦点图310。稍后将通过参照图15来描述焦点图生成处理的详情。
在步骤S905中，对焦区域图像处理使用通过步骤S901获取的摄影图像302和照相机信息303、通过步骤S902获取的重聚焦图像分辨率319、以及通过步骤S904生成的焦点图310。基于这些信息，对焦区域图像处理单元311进行对焦区域图像处理以生成对焦区域图像312。稍后将通过参照图16来说明对焦区域图像处理的详情。
在步骤S906中，离焦区域图像处理单元313进行离焦区域图像处理来生成离焦图像314，所述离焦区域图像处理使用通过前述处理获取的摄影图像302和照相机信息303、 重聚焦图像分辨率318、虚拟聚焦参数305、虚拟光圈参数306以及焦点图310。稍后将通过参照图17至图19来说明离焦区域图像处理的详情。
在步骤S907中，图像混合单元315对通过步骤S905生成的对焦区域图像312以及通过步骤S906生成的离焦区域图像314进行图像混合操作，以生成重聚焦图像316。稍后将通过参照图20来描述图像混合处理的详情。
在步骤S908中，在退出该实施例的整个处理之前，图像输出单元317向包括输出设备109和HDD 105的辅助存储设备输出重聚焦图像316。
<距离估计处理>
这里将详细说明在图13的流程图中的步骤S903中进行的距离估计处理。距离估计处理基于在不同位置拍摄的多个图像302，通过估计到关注场景的距离来生成深度图 308，并且通过使用深度图308来将该场景划分为用户想要聚焦的区域(对焦区域)以及其他区域(离焦区域)。作为场景划分操作的结果，生成焦点图。针对距离估计，可以使用任意已知的方法。其中有立体方法(stereo method)和多基线立体方法。在该实施例中，立体方法用于距离估计。以下将通过参照图14的流程图来说明距离估计处理的详情。
在图14中的步骤S1001中，从该处理中要使用的摄影图像302中选择两个图像。 在该实施例中，选择通过照相机111的中心照相机单元205拍摄的图像以及通过在水平方向紧邻着第一照相机单元的照相机单元206拍摄的图像。注意，可以使用照相机单元的任意其他 组合。第一图像被称为基准图像，第二图像被称为目标图像。
在步骤S1002中，将经历后续处理的关注像素初始化。在下一步骤S1003中，检查是否针对全部像素确定了距离值。如果发现针对全部像素计算了距离值，则在退出处理之前处理进行到下一步骤S1007，输出深度图像。如果发现仍要被计算的任意像素，则处理进行到步骤S1004。
在步骤S1004中，选择基准图像中的由关注像素和周围像素构成的区域，然后进行在所选择的区域块与目标图像之间的图案匹配，以找到目标图像中与关注像素相对应的像素(对应像素)。然后在步骤S1005中通过使用照相机信息303、关注像素以及通过步骤 S1004确定的对应像素来针对关注像素计算距离值p。使用图12所示的α、β和s将距离值P表达如下。sin a sin β
P = —-—sin(;r -α- β)
这里，使用照相机单元205的水平视角、基准图像的摄影位置以及关注像素的坐标来计算α ;使用照相机单元206的水平视角、目标图像的摄影位置以及对应像素的坐标来计算β ;s是由基准图像和目标图像的摄影位置计算出的两个照相机单元之间的距离。 在步骤S1006中，在返回到步骤S1003之前更新关注像素，在步骤S1003中，如果存在任何未处理的像素，则针对该像素类似地确定距离值P，如果没有发现未处理的像素，则处理进行到步骤S1007，在步骤S1007中进行输出处理。
在步骤S1007中，输出将基准图像中的距离值P视为各像素的像素值的深度图308。基于映射照相机的被摄体的各像素的距离的深度图，生成焦点图。虽然在本实施例中步骤S1001选择了照相机单元205和206用于距离估计，但是可以使用照相机单元的任意其他组合来用于该目的。
〈焦点图生成处理〉
这里，我们将详细说明如图13的流程图中的步骤S904进行的焦点图生成处理。使用通过步骤S902获取的虚拟聚焦参数305以及通过步骤S903获取的深度图308，该处理将场景划分为用户想要聚焦的区域(对焦区域)以及其他区域(离焦区域)以生成焦点图 310。参照图15的流程图，将详细描述焦点图生成处理。
在步骤SllOl中将对焦区域设置如下。令从虚拟聚焦参数305获取的虚拟焦距为 d，深度图308中的像素值为D (i，j)。此时，D(i，j)等于d的像素(i，j)的集合被视为对焦区域。在步骤S902中按照如下进行离焦区域设置。在深度图308中，认为在对焦区域之外的像素集合形成离焦区域。在步骤S903中，依据关注像素是包括在对焦区域中还是离焦区域中，对各像素分配不同的标签值以生成焦点图310。
通过上述处理获得的焦点图310的示例如图5中所示。假定深度图308为由距离值do、dl和d2代表的图像，另外假定从虚拟聚焦参数305获得的虚拟焦距为d2。在该情况下，深度图308中距离值为d2的像素集合被设置为焦点图中的对焦区域，而距离值为d0 和dl的像素集合被设置为离焦区域。
尽管在该示例中在步骤SllOl中，深度图308中像素值D(i，j)等于虚拟焦距d的区域被视为对焦区域，但是可以采用设置对焦区域的其他方法。例如，满足[d-α I ^D(i, j) ^ d+ α 2]的像素D(i，j)可以被视为对焦区域。此时，如通过虚拟光圈参数306进行确定一样，通过考虑重聚焦图像316中的虚拟景深来确定α I和α 2的值。
<离焦区域图像处理>
该实施例的特征在于，在对焦区域中以及在离焦区域中进行不同的图像处理，因此下文中将对这二者进行说明。首先，这里将说明如通过图13的流程图中的步骤S906进行的离焦区域图像处理的详情。在生成离焦区域图像314时，离焦区域图像处理将重点主要放在焦点图310中被设置为离焦区域的区域。虽然将通过参照图17的流程图以及图4 所示的处理单元的结构来详细描述离焦区域图像处理，但是稍后将更加详细地呈现该处理的各个部分。即，为了减轻处理负荷，该处理通过在合成图像之前进行目标图像的缩小以及对缩小图像的插值操作来缩减要处理的数据量，如以下说明中描述的。稍后将通过参照图 18和图19来描述图像插值操作以及图像合成操作的详情。
在步骤S1301中，图像缩小单元401对摄影图像302进行图像缩小操作以生成缩小图像405。图像缩小操作可以使用如双线性方法和双三次方法的已知方法。可以根据作为整体的照相机、被摄体以及环境的需求来任意确定缩小图像的分辨率，只要其低于摄影图像302的分辨率即可。例如，可以根据如通过受照相机信息303、虚拟聚焦参数305和虚拟光圈参数306限制的离焦区域的模糊度来确定缩小图像的分辨率。作为选择，可以从参数输入单元304来获取预定分辨率。
图像插值单元402在步骤S1302对缩小图像405进行插值操作以生成插值图像 406。稍后将通过参照图18来描述图像插值处理的详情。在步骤S1303中，图像合成单元 403使用缩小图像405、插值图像406、焦点图310、虚拟聚焦参数305以及虚拟光圈参数306来生成(离焦区域的)合成图像407。稍后将通过参照图19来描述图像合成处理的详情。
在步骤S1304中，图像放大单元404将通过前续步骤生成的(离焦区域的)合成图像407放大至重聚焦图像的分辨率319，以在退出处理前生成离焦图像408。针对图像放大处理，可以使用诸如双线性方法以及双三次方法的已知方法。
<图像插值处理>
将通过参照图18来详细说明如通过图17的步骤S1302进行的图像插值处理。在图像插值处理中，第一步骤是基于照相机信息303设置虚拟视点位置409，从而在图像302 的摄影位置之间插值。接下来，基于在步骤S1301中获得的缩小图像405，通过视差插值处理来生成与各虚拟视点位置409对应的插值图像406。现在，通过参照图18的流程图以及图4所示的处理单元，将详细描述图像插值处理如下。
在步骤S1401中将虚拟视点位置409设置为用于生成插值图像。图7中示出了摄影位置与虚拟视点位置之间的关系。X轴601、y轴602以及Z轴603对应于各照相机单元的水平方向、垂直方向以及光轴方向，所有这些在作为其原点的相关联的摄影位置以直角相互交叉。虚拟视点位置409被设置为使得其位于摄影位置之间。在该示例中，虚拟视点位置409按照以等间隔位于摄影位置之间的方式被设置在网格结构中，如图7至图9所示。
在步骤S1402中，从缩小图像405中相继选择摄影位置横向彼此邻接的两个图像， 并且通过使用视差插值处理在这两个图像之间生成对应于虚拟视点位置409的插值图像 406。图8示出了要用于在步骤S1402中生成插值图像的虚拟视点位置。视差插值处理可以使用已知的方法。例如，可以基于通过两个图像之间的块匹配计算的针对各像素的视差、 通过插值来生成针对中间视点的图像。另一方法可以包括将这两个图像的一个图像的特征点与另一个图像中的对应点匹配，并且基于这两个图像之间的特征点关系进行变形操作以生成针对中间视点的图像。还可以采用在其他领域中已知的任意期望方法。
在步骤S1403中，从缩小图像405和通过步骤S1402生成的插值图像406中相继选择摄影位置纵向上彼此 邻接的一对图像，并且通过进行视差插值处理在这两个图像之间生成对应于虚拟视点位置409的插值图像。图9示出了用于在步骤S1403中生成插值图像的虚拟视点位置。视差插值处理可以采用与步骤S1402中使用的方法类似的方法。步骤 S1404输出通过步骤S1402和步骤S1403生成的插值图像406。
<图像合成处理>
接下来，将说明在图17的步骤S1303中进行的图像合成处理。图像合成处理根据虚拟光圈参数306首先设置针对各图像的权重系数。然后，基于照相机信息303和虚拟视点位置409，该处理使各图像偏移，并且通过对不同区域使用不同权重系数来进行加权，以生成(离焦区域的)合成图像407。参照图19的流程图以及图4所示的处理单元的结构， 将详细描述图像合成处理。
步骤S1501基于在步骤S902获取的虚拟光圈参数306来设置要在合成处理中使用的权重系数。首先，将通过参照图10和图11来说明用于图像合成操作的权重系数。虚拟光圈参数306是要被应用于在摄影位置及虚拟视点位置409获得的那些图像的一组系数。 摄影位置和虚拟视点位置409被表示为如图10所示的P0-P24，在摄影位置Pm(m = 0-24) 获得的图像表示为Im。此时，根据虚拟光圈参数306，可以设置对应于图像Im的权重系数的值A(m)，如图11所示。这里，权重系数被设置为使得它们遵循以P12为中心的高斯函数，并且还被归一化为使得权重系数的和为I。这使得离焦区域能够被平滑地模糊化。
在步骤S1502中基于照相机信息303和虚拟视点位置409来计算针对各图像的偏移量。如果焦距被表示为d，则针对图像Im的水平偏移量Λ i (m, d)和垂直偏移量Λ j (m, d)可以被表达为
权利要求
1.一种图像处理装置，该图像处理装置包括摄影数据输入单元，其获取从至少两个不同视点位置拍摄的多个图像；输入单元，其输入代表从照相机至虚拟焦平面的距离的重聚焦参数；距离估计单元，其生成针对所获取的图像的、表示对应于像素的摄影对象与照相机之间的距离的深度图；焦点图生成单元，其通过根据所述重聚焦参数由所述深度图计算包括要被锐聚焦的对焦区域以及要被模糊化的离焦区域的区域，来生成表示所述对焦区域以及所述离焦区域的焦点图；对焦区域图像处理单元，其通过对所述对焦区域进行预定操作并且对包括至少所述摄影图像的一组图像进行合成，来生成合成图像；离焦区域图像处理单元，其通过对所述离焦区域进行与所述对焦区域图像处理单元进行的所述预定操作不同的操作、并且对包括至少所述摄影图像的一组图像进行合成，来生成合成图像；以及图像混合单元，其通过根据所述焦点图将所述对焦区域的合成图像与所述离焦区域的合成图像混合，来生成重聚焦图像。
2.根据权利要求1所述的图像处理装置，其中，对所述对焦区域进行的所述预定操作是分辨率增强处理。
3.根据权利要求1所述的图像处理装置，其中，所述离焦区域图像处理单元还包括图像缩小单元，其缩小所述离焦区域中的图像；以及图像插值单元，其通过所述视点位置之间的插值在缩小图像之间插值，来生成插值图像，其中，所述离焦区域图像处理单元通过将所述缩小图像和所述插值图像合成来生成所述离焦区域的合成图像。
4.根据权利要求3所述的图像处理装置，其中，所述离焦区域图像处理单元通过所述图像缩小单元在所述离焦区域中以比摄影图像的分辨率低的分辨率生成合成图像；其中，所述离焦区域图像处理单元还包括图像放大单元，该图像放大单元将所述合成图像转变为具有输出分辨率的图像。
5.根据权利要求3所述的图像处理装置，其中，在所述离焦区域中生成并保持具有不同分辨率的多个合成图像。
6.一种图像处理方法，该图像处理方法包括摄影数据输入步骤，获取从至少两个不同视点位置拍摄的多个图像；输入步骤，输入代表从照相机至虚拟焦平面的距离的重聚焦参数；距离估计步骤，生成针对所获取的图像的、表示对应于像素的摄影对象与照相机之间的距离的深度图；焦点图生成步骤，通过根据所述重聚焦参数由所述深度图计算包括要被锐聚焦的对焦区域以及要被模糊化的离焦区域的区域，来生成表示所述对焦区域以及所述离焦区域的焦点图；对焦区域图像处理步骤，通过对所述对焦区域进行预定操作并且对包括至少所述摄影图像的一组图像进行合成，来生成合成图像；离焦区域图像处理步骤，通过对所述离焦区域进行与所述对焦区域图像处理步骤进行的所述预定操作不同的操作、并且对包括至少摄影图像的一组图像进行合成，来生成合成图像；以及 图像混合步骤，通过根据所述焦点图将所述对焦区域的合成图像与所述离焦区域的合成图像混合，来生成重聚焦图像。
全文摘要
本发明提供一种图像处理装置及图像处理方法。本发明改善了用户想要锐聚焦的区域的图像质量。估计代表包括摄影对象的场景的深度方向中的位置的深度值来生成深度图。焦点图生成单元基于虚拟聚焦参数和深度图，通过区域划分操作来生成代表要被锐聚焦的区域(对焦区域)以及要被模糊化的区域(离焦区域)的焦点图。对焦区域图像处理单元在图像处理中更着重于对焦区域以生成对焦区域图像。离焦区域图像处理单元在图像处理中更着重于离焦区域以生成离焦区域图像。图像混合单元通过混合对焦区域图像和离焦区域图像来生成重聚焦图像。
文档编号H04N5/232GK103002218SQ20121033478
公开日2013年3月27日 申请日期2012年9月11日 优先权日2011年9月12日
发明者石井正俊 申请人:佳能株式会社