专利名称：具有重构图像的功能的装置以及方法
技术领域：
本发明涉及重构图像的技术。
背景技术：
在JP特表2009-532993号公报中公开了取入关于入射光线的方向分布(direction distribution)的信息的摄像装置，即被称作“全光(plenoptic)相机”的摄像装置。
在全光相机的光学系统中，在现有的摄像透镜(以下，称为“主透镜”)和摄像元件之间，插入有纵横地连续重复配置了极小的透镜(以下，称为“微透镜”)的复眼状的透镜阵列(以下，称为“微透镜阵列”)。构成微透镜阵列的各个微透镜将由主透镜会聚的光根据其到达的角度来分配到摄像元件内的多个像素。S卩，若将通过各个微透镜的每一个而聚光于摄像元件的像在以下称作“子图像(sub image) ”，则由多个子图像的集合体构成的图像的数据作为摄像图像的数据而从摄像兀件输出。此外，以下，将这样的全光相机的摄像图像，即由多个子图像的集合体构成的图像称为“光场(light field)图像”。如此，光场图像通过不仅由经由现有的主透镜、还由经由微透镜阵列而入射的光生成。因此，光场图像当然具有现有的摄像图像中也含有的ニ维的空间信息，还具有作为现有的摄像图像中未包含的信息的、表示从摄像元件来看是从哪ー个方向到达的光线的ニ维的方向信息。因此，在利用这样的ニ维方向信息来拍摄光场图像后，全光相机能使用该光场图像的数据来重构在摄像时从前方离开任意的距离的面的像。換言之，全光相机即使在规定距离未对焦而拍摄了光场图像的情况下，也能在该摄像后通过使用该光场图像的数据，来自由地制作出如在该规定距离对焦而拍摄的那样的图像(以下，称为“重构图像”)的数据。具体而言，全光相机将位于任意的距离的面上的I点设定为关注点，算出来自该关注点的光经由主透镜以及微透镜阵列而分配到摄像元件内的哪ー个像素。在此，例如，若摄像元件的各像素与构成光场图像的各像素对应，则全光相机对构成光场图像的各像素中的、分配来自该关注点的光的ー个以上的像素的像素值进行积分。该积分值成为重构图像中的与关注点对应的像素的像素值。如此，重构重构图像中的与关注点对应的像素。全光相机将构成重构图像的各像素(与位于任意距离的面上的各点对应的各像素)的每ー个依次设定为关注点，并重复上述一系列处理，从而重构重构图像的数据(重构图像的各像素的像素值的集合体)。
发明内容
本发明的第I形态所涉及的图像处理装置具备图像取得単元，其取得由在光学系统中具备主透镜、由微透镜(复数)构成的微透镜阵列以及摄像元件的摄像装置拍摄的光场图像，所述光场图像由通过所述微透镜(复数)的每ー个而生成的子图像(复数)构成；子图像生成単元，其生成基于所述光场图像中包含的子图像(复数)而插值的假想的子图像(単数)；和重构图像生成単元，其使用由所述图像取得単元所取得的所述光场图像中所包含 的子图像(复数)、以及由所述子图像生成単元所生成的所述假想的子图像(単数)，来生成距所述摄像装置规定位置的面的像，作为重构图像。本发明的第2形态所涉及的图像处理方法，其是针对由在光学系统中具备主透镜、由微透镜(复数)构成的微透镜阵列以及摄像元件的摄像装置拍摄的光场图像，所述光场图像由通过所述微透镜(复数)的每ー个而生成的子图像(复数)构成，由图像处理装置执行的图像处理的方法，所述图像处理方法包括以下步骤取得所述光场图像，生成基于所述光场图像中包含的子图像(复数)而插值的假想的子图像(単数)，使用所述光场图像中包含的子图像(复数)、以及所述假想的子图像(単数)，来生成距所述摄像装置规定位置的面的像，作为重构图像。
若将以下的详细的描述配合以下的附图来考虑，则能对本申请得到更深的理解。图I是表示本发明所涉及的图像处理装置的一个实施方式的摄像装置的硬件的构成的图。图2是表示摄像装置所具有的光学系统的构成例的图。图3A是表示比较通过摄像装置而得到的重构图像、与应用现有技术的情况下而得到的重构图像的图。图3B是放大了光场图像的一部分的图。图3C是表示3个插值光场图像的图。图4是表示摄像装置的功能构成的图。图5是用于说明重构图像生成处理的流程图。图6A、图6B是说明视差的算出方法的图。图7A、图7B是说明插值光场图像生成方法的图。图8是用于说明插值子图像的生成方法的图。图9是用于说明重构图像生成处理的流程图。
具体实施方式
下面，使用附图来说明本发明的实施方式。图I是表示本发明所涉及的图像处理装置的一个实施方式的摄像装置的硬件的构成的框图。摄像装置I 具备CPU (central processing unit,中央处理器)11、R0M (Read OnlyMemory,只读存储器)12、RAM (Random Access Memory,随机存取存储器)13、总线14、输入输出接ロ 15、摄像部16、输入部17、输出部18、存储部19、通信部20、介质驱动器21。CPUll依照存储于R0M12中的程序、或从存储部19加载到RAM13中的程序来执行各种处理。在RAM13中还适当存储有在由CPUll执行各种处理时所需的数据等。CPU11、R0M12、以及RAM13经由总线14相互连接。在该总线14上还连接着输入输出接ロ 15。将摄像部16、输入部17、输出部18、存储部19、通信部20以及介质驱动器21与输入输出接ロ 15连接。摄像部16具备主透镜31、微透镜阵列32、摄像元件33。此外，关于摄像部16的更详细的情況，參照图2进行后述。输入部17由未图示的快门按钮等各种按钮构成，输入与用户的指示操作相应的各种信息。输出部18由监视器、扬声器等构成,用于输出各种图像、各种声音。存储部19由硬盘、DRAM (Dynamic Random Access Memory,动态随机存取存储器)等构成，用于存储后述的光场图像、重构图像等各种图像的数据。通信部20对经由包含因特网在内的网络在与其他装置(未图示)之间进行的通信进行控制。在介质驱动器21中适当安装由磁盘、光盘、光磁盘、或半导体存储器等构成的可移动介质22。将由介质驱动器21从可移动介质22读出的程序根据需要而安装到存储部19。另外，可移动介质22还能与存储部19同样地存储存储部19中所存储的图像的数据等各种数据。图2是表示具有这种图I的构成的摄像装置中的光学系统的构成例的示意图。在摄像装置I的光学系统中，从作为被摄体的物体面ob来看，按照主透镜31、微透镜阵列32、摄像元件33的顺序将它们进行配置。在微透镜阵列32中，将N个(N为2以上的任意的整数值)微透镜32_1至32_N各自规则地连续重复地进行配置。主透镜31对从光源出射的光束进行聚光，并使光成像于规定的面Ma，并入射到微透镜阵列32。此外，以下将由主透镜31成像的面Ma称为“主透镜成像面Ma”。微透镜阵列32内的微透镜32-i (i是I至N的范围内的整数值)将从物体面ob经由主透镜31而入射来的光束按每入射方向进行聚光，并使子图像成像于摄像元件33上。即，在摄像元件33中，由多个微透镜32-1至32_N的每ー个来成像多个子图像，从而生成作为这些多个子图像的集合体的光场图像。摄像兀件33 例如由 CMOS (Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)型的光电变换元件等构成。被摄体像(在图2的例子中是物体面ob的像)从主透镜31经由微透镜阵列32而入射到摄像元件33。由此，摄像元件33对被摄体像进行光电变换(摄像)并积蓄一定时间的图像信号，将积蓄的图像信号作为模拟信号而依次提供给未图示的AFE (Analog Front End,模拟前端)。AFE对该模拟的图像信号执行A/D (Analog/Digital)变换处理等的各种信号处理。通过各种信号处理而生成数字信号，并作为光场图像的数据适宜地从AFE提供给CPUlK 图 I)等。在此，考虑摄像装置I从拍摄物体面ob而得到的结果的光场图像的数据生成重构图像的数据的情況。在此情况下，若将位于任意的距离的面的I点设定为关注点，则摄像装置I算出来自该关注点的光经由主透镜31以及微透镜阵列32而分配到摄像元件33内的哪ー个像素。此外，以下，将成为重构的对象的面，即设定有关注点的面称为“重构面”。然后，摄像装置I通过对与所分配的像素对应的光场图像的数据内的像素值进行 积分，来估算重构图像中的与关注点对应的像素的像素值。摄像装置I通过对重构图像的各像素执行这样的估算来生成重构图像的数据。但是，这样的重构图像的各像素的估算(下面称作“重构的运算”)的典型的技术中，仅使用通过摄像而得到的光场图像的数据来执行。因此，若在重构面上不实际存在空间频率高的物体区域，则重构的运算在重构图像的区域中的、理想情况下与由通常的摄像装置拍摄的情况相同地应当成为自然模糊的区域中，有可能会产生周期性的噪声。因此，本发明的发明人们为了降低该噪声，发明了从通过摄像而得到的光场图像的数据生成插值光场图像的数据的方法。下面将相关的方法称作“插值光场图像生成方法”。下面，对于这样的插值光场图像生成方法，包括插值光场图像的数据是什么样的数据，还有如何使用生成的插值光场图像的数据来降低噪声等，进行说明。另外，下面，只要没有特别说明，单提到“距离”的情况下，其指的是平行于光轴ax的方向的距离。另外，将通过透镜中的光轴ax的点称作“主点”。在主透镜31、微透镜阵列32 (各个微透镜32-i)以及摄像元件33的配置为固定的情况下，某光线会达到摄像元件33内的哪个像素，由从主透镜31的主点来看，该光源存在于哪个位置来決定。因此，下面，为了便于说明，考虑光源在物体面ob上，且存在于主透镜31的光轴ax上的情况。如图2所示，在距离光源(在图2的例子中为物体面ob的中心)为距离al的位置存在主透镜31的主点的情况下，从主透镜31的主点到成像面Ma为止的距离bl使用高斯的成像公式，如下面的式(I)那样求取。bl = al X f I/ (al-f I) …(I)式(I)中，fl表示主透镜31的焦距。在此，设从主透镜31的成像面Ma到微透镜32_i的主点为止的距离为a2。另外，设从微透镜32-i的主点到入射到该微透镜32-i的光线出射并成像的位置为止的距离为b2。这种情况下，距离a2和距离b2的关系如式⑵所示。b2 = a2Xt2/(a2-f2) …(2)
在式(2)中，f2表示微透镜32-i的焦距。另外，在图2中，为了便于说明，摄像元件33正好配置在离微透镜32-i的主点距离b2的位置，但这只是例示。即，摄像元件33实际上并不需要正好配置在离微透镜32-i的主点距离b2的位置上，也可以配置在从该位置多少前后偏离的位置。来自光源的光线中的通过主透镜31的主点并平行于光轴ax的光线ray在由微透镜阵列32中的该光线ray所通过的微透镜32_r (r为I到N中的表示对该光线ray所通过的微透镜赋予的编号的整数值)而作出的子图像的中心A成像。另ー方面，来自光源的光线中的到达与光轴ax所通过的微透镜32-r相邻的微透镜32-i(i为除了 r以外的任意的整数值)的光线，在从该微透镜32-i所作出的子图像的中心位置(与微透镜32-i的主点对应的位置)隔开一定间隔的位置(下面称作“成像位置，，)成像。
因此，下面，将从光源经由主透镜31而入射到微透镜32-i的光线从该微透镜32-i出射而成像的面即形成基于该微透镜32-i的子图像的面(在图2的例子中为摄像元件33的摄像面)中的、该子图像的中心位置与该微透镜32-i使光线成像的位置的距离差称作“视差”。若配合图2而将视差记述为“Pa”，则能如下面的式(3)那样表示。Pa = dX (b2/a2) …(3)在式(3)中，d表示相邻的2个微透镜32-r、32_i之间的间距。另外，上述的式(3)所表示的视差Pa的关系在从光轴ax离开的位置，在相邻的2个微透镜32-k、32-(k+l) (k为I到N-I中除了 r以外的任意的整数值)之间也几何成立。因此，视差Pa并不依赖于距光轴ax的距离而成为恒定。关于详细情况，參照图5在后面叙述，该视差Pa能根据通过摄像而实际得到的光场图像的数据来算出。另外，參照图6A、图6B、图7A以及图7B来在后面叙述详细情况，基于该视差Pa来作出插值光场图像的数据。在此，插值光场图像是指在假设为在微透镜阵列32内的区域中未实际配置有微透镜32-i的区域(多个微透镜32-i间的接合处等)配置了假想的微透镜的情况下，若以与实际获得的光场图像的摄像时间点相同的状态进行拍摄，则估计为可得到的光场图像。如以上说明那样，作为插值光场图像的生成方法的一例，能采用如下方法使用通过摄像而实际得到的光场图像的数据，算出视差Pa，基于该视差Pa来预测运算插值光场图像的数据。在本实施方式中也采用该方法。因此，本实施方式的摄像装置I能按照这样的插值光场图像生成方法来生成I个以上的插值光场图像的数据。进而，本实施方式的摄像装置I能在进行重构图像的数据的生成所需的重构运算时，使用这些I个以上的插值光场图像的数据。这种情况下，摄像装置I能根据I个以上的插值光场图像的数据，估计到达未实际配置微透镜32-i的区域的光线。其结果，摄像装置I能算出来自关注点的光从如此估计出的区域被分配到摄像元件33内的哪个像素。因此，摄像装置I通过将该算出结果用作与关注点对应的像素值的估算中的插值信息，能生成比现有技术进一歩降低了噪声的重构图像的数据。
另外，由于这种情况下的噪声降低程度因插值光场图像的插值位置和插值个数而变化，因此设计者等可以适当地调整这些插值位置和插值个数，以使得成为期望的噪声降低程度。图3A是将应用了这样的本发明所涉及的插值光场图像生成方法的情况下得到的重构图像、与应用了现有技术的情况下得到的重构图像进行比较的图。在图3A中，示出通过摄像而得到的光场图像41。另外，在图3B中，示出了将该光场图像41的一部分放大到能判别子图像51的程度的放大图41し该光场图像41是拍摄了以从主透镜31的前方起依次各隔开一定距离来分别配置显示有“A”的卡片、显示有“B”的卡片、以及显示有“C”的卡片的样子的图像。如图3A所示可知，在该光场图像41的摄像时间点，大致对焦在显示有“B”的卡片上。因此，在本例中，为了获得对焦在显示有“ C”的卡片上那样的重构图像，进行重构 运算。图3A中示出应用了现有技术的情况下得到的重构图像42。即，作为仅使用通过摄像而得到的光场图像41的数据来进行重构运算的结果，生成重构图像42的数据。在重构图像42中，在区域52等中，在空间方向上产生周期性的噪声。另外，在图3A中，示出应用了本发明所涉及的插值光场图像生成方法的情况下得到的重构图像44。即，除了通过摄像而得到的光场图像41的数据之外，还使用按照图3C所示的本发明所涉及的插值光场图像生成方法而生成的3个插值光场图像43-1到43-3的数据来进行重构运算，其結果，生成重构图像44的数据。可知，在重构图像44中，基本上不产生空间方向的周期性的噪声，对焦在显示为“C”的卡片上，此外的显示为“A”或“B”的卡片的各像成为模糊的像(本来就应该成为这样的理想的像)。如以上说明那样，本实施方式的摄像装置I从拍摄的光场图像的数据生成I个以上的插值光场图像的数据，基于拍摄的光场图像以及I个以上的插值光场图像的各数据来生成重构图像的数据。将这样的一系列的处理，在下面称作“重构图像生成处理”。图4是表示用于发挥这样的重构图像生成处理的执行功能的图I的摄像装置I的功能构成例的功能模块图。在执行重构图像生成处理的情况下，如图4所示，在CPUll中，光场图像取得部71、光学信息取得部72、滤波部73、视差算出部74、插值光场图像生成部75、重构图像生成部76、显示控制部77发挥作用。下面，在重构图像生成处理的流程的说明中，一起来说明这些光场图像取得部71到显示控制部77的各功能。图5是说明具有图4的功能构成的图I的摄像装置所执行的重构图像生成处理的流程的一例的流程图。重构图像生成处理以预先获得拍摄的光场图像的数据为前提，用户通过对输入部17的规定操作而指示了重构图像的生成后，处理开始。在步骤S21中，光场图像取得部71预先取得拍摄的光场图像的数据。在步骤S22中，光学信息取得部72取得在后面的处理(步骤S23以后的处理)中需要的光学系统信息。光学系统信息是指拍摄光场图像的时间点的信息，是分别与主透镜31、微透镜32-i以及摄像元件33相关的各种信息、以及表示它们的位置关系的信息。具体地，在本实施方式中，作为光学系统信息，设取得如下(A) (J)的信息。⑷主透镜31的焦距(B)主透镜31的有效直径(C)各微透镜32-i的焦距(D)各微透镜32-i的有效直径(E)摄像元件33的像素尺寸 (F)各微透镜32-i的间距(G)主透镜31与微透镜阵列32的位置关系(H)微透镜阵列32与摄像元件33的位置关系(I)主透镜31与微透镜阵列32的平行度(J)微透镜阵列32与摄像元件33的平行度取得这些光学系统信息后，在步骤S23以后的处理中，能判断光场图像内的子图像区域与非子图像区域(參照图8)、运算摄像装置I的内部的光线的行动等。在步骤S23中，滤波部73以降低拍摄的光场图像自身中所包含的噪声为目的，对光场图像的全部的子图像的数据应用低通滤波器。在此，滤波部73按照不使子图像区域外的像素包含在低通滤波器的上下限(窓枠)内的方式，使用该低通滤波器来执行滤波处理。这是因为要防止非子图像区域的信息作为噪声被包含在子图像区域。另外，关于子图像区域和非子图像区域，參照图8在后面叙述。在步骤S24中，视差算出部74通过在步骤S23的处理中分别应用了低通滤波器的子图像的数据中相邻的子图像的数据间进行图案匹配(pattern matching),算出视差Pa。另外，关于与图案匹配和视差Pa的算出相关的具体的方法，參照图6A以及图6B来在后面叙述。在步骤S25中，插值光场图像生成部75基于在步骤S24的处理所算出的视差Pa来生成I个以上的插值光场图像的数据。另外，关于插值光场图像生成方法的具体例，參照图7A、图7B以及图8来在后面叙述。在步骤S26中，重构图像生成部76使用在步骤S21的处理中取得的光场图像的数据、以及在步骤S25的处理生成的I个以上的插值光场图像的各数据，来生成重构图像的数据。另外，下面将这样的处理称作“重构处理”。參照图9来说明重构处理的详细情況。在步骤S27中，显示控制部77将在步骤S26的处理中作为数据而生成的重构图像显示在输出部18的监视器。由此，重构图像生成处理结束。接下来，关于这样的重构图像生成处理中的在步骤S24应用的视差Pa的算出方法的一例，參照图6A以及图6B来进行说明。图6A、图6B是说明视差的算出方法的一例的图。
具体地，作为通过在相邻的子图像之间进行图案匹配而算出视差Pa的方法，在图6A、图6B分别不出了 2个不同的例子。在图6A的例子中，视差算出部74针对相邻的子图像81、82，以块为単位来运算SAD (Sum of Absolute Difference,差的绝对值的和)、SSD (Sum of squared Difference,差的平方和)等差异度，来进行图案匹配。S卩，视差算出部72例如使用左方的子图像81的块91作为模板，通过在右方的子图像82内进行光栅扫描，运算与右方的子图像82内的比较对象的块(在该图中图示为块92)的差异度。具体地，视差算出部74利用模板与比较对象的各块内的对应位置的各像素值的差分，来运算SAD、SSD等的差异度。然后，视差算出部74提取与模板(块91)的差异度最小的块(在该图中为92)，算出模板与提取的块的空间上的位置偏离作为视差Pa。该图6A所示的方法，如图中所示，在I个子图像内只存在景深为恒定的物体的情况下有效。 另ー方面，在图6B的例子中，视差算出部74针对相邻的子图像111、112，通过以行(line)为单位来运算差异度，来进行图案匹配。另外，正确来说，运算的并不是光场图像的全部行，而是子图像111内的一部分、和子图像112内的一部分的差异度。其中，下面，为了说明的简便，将规定的行中的子图像111或112内的一部分仅称作“行”。即，视差算出部74例如将左方的子图像111的行121U用作模板，通过在右方的子图像112内进行光栅扫描，来运算模板与比较对象的行(该图中图示为行122U)的差异度。然后，视差算出部74提取与模板(行121U)的差异度最小的行(该图中为行122U)，算出模板与提取的行的空间上的位置偏离，来作为视差PaL。在此，如图6B所示，模板并不特别限定于I个行121U，也可以是多个行。在本例中，除了上述的行121U以外，也可以采用行121D来作为模板。S卩，视差算出部74例如进ー步将左方的子图像111的行121D用作模板，通过在右方的子图像112内进行光栅扫描，来运算模板与比较对象的行(图6B中图示为行122D)的
差异度。然后，视差算出部74提取与模板(行121D)的差异度最小的行(图6B中为行122D)，算出模板与提取的行的空间上的位置偏离，来作为视差PaS。在此可知，视差PaL与视差PaS的值(长度)不同。如此，通过采用图6B的例子，能在每个行中使用不同的视差Pa。图7A、图7B是针对使用了这样的视差Pa的插值光场图像生成方法的具体例进行说明的图。图7A、图7B中的横向表不光场图像的水平方向，下面称作“X方向”。另ー方面，图中的纵向表示光场图像的垂直方向，下面称作“Y方向”。在图7A中示出保持图2的位置关系而拍摄的光场图像201。即，光场图像201内的9个圆表示子图像，子图像内的黒色的四方形表示存在于光轴ax上的光源(存在于物体面ob的中心的光源)的像。另外，关于子图像以及光源的像，对于后述的其它的图像也是相同的。插值光场图像生成部75基于视差Pa来生成对拍摄的光场图像201在X方向的位置上插值了假想的子图像后的X方向的插值光场图像202的数据。即，生成在光场图像内的X方向上相邻的子图像之间配置了假想的子图像的X方向的插值光场图像202的数据。插值光场图像生成部75基于视差Pa来生成对拍摄的光场图像201在Y方向的位置上插值了假想的子图像后的Y方向的插值光场图像203的数据。即，生成在光场图像内的Y方向上相邻的子图像之间配置了假想的子图像的Y方向的插值光场图像203的数据。然后，插值光场图像生成部75使用X方向的插值光场图像202和Y方向的插值光场图像203的各数据中的至少一方，来生成对拍摄的插值光场图像201在XY方向(45度斜方向)的位置插值了假想的子图像的XY方向的插值光场图像204的数据。S卩，生成在光场图像内的XY方向上相邻的子图像之间配置了假想的子图像的XY方向的插值光场图像204的数据。另外，插值的假想的子图像的位置在图7A、图7B的例子中，配置在X方向、Y方向 或XY方向上的相邻的子图像之间的中间位置。但并不特别限定于此，也可以是任意方向的任意位置。进而，插值光场图像的个数在图7A、图7B的例子中是在各方向上各I个。但并不限于此，也可以在每个方向上为任意个数。接下来，參照图8来说明这样的插值光场图像内的假想的子图像(下面称作“插值子图像”)的生成方法的一例。图8是说明插值子图像的生成方法的一例的图。具体地，在图8中，示出将在X方向上相邻的子图像301、302之间的规定位置作为插值位置，在该插值位置生成I个插值子图像的数据的情况下的过程的一例。另外，黒色的四方形的像311表示图2所示的存在于光轴ax上的光源(存在干物体面ob的中心的光源)的像。首先，在步骤S51中，插值光场图像生成部75对准相邻的子图像301、302的各数据的中心位置。接下来，在步骤S52中，插值光场图像生成部75使子图像301、302的各数据移动与已经算出的视差Pa相应的距离。另外，此时的移动方向对于2个子图像301、302来说是彼此相反的方向，虽然移动量因插值位置而变化，但2个子图像301、302的移动量的合计等于视差Pa。換言之，如图8所示，按照使黒色的四方形311的配置位置一致的方式来移动子图像301、302的各数据。接下来，在步骤S53中，插值光场图像生成部75合成移动后的2个子图像301、302的各数据。在此，插值光场图像生成部75针对2个子图像301、302重叠的区域312而采用子图像301、302的各像素值的平均值，针对不重叠的区域则直接采用原始的子图像301或302
的像素值。接下来，在步骤S54中，插值光场图像生成部75将在步骤S52的处理中合成的区域中的与以插值位置为中心而形成的子图像形状相同的区域321(图8的中点线的区域321)判定为子图像区域，将此外的区域322判定为非子图像区域。S卩，插值光场图像生成部75区分子图像区域321和非子图像区域322。接下来，在步骤S55，插值光场图像生成部75通过删除非子图像区域322的数据(剩下子图像区域321的数据)，生成插值子图像331的数据。另外，最终得到的插值子图像331成为图8例子中的正圆，但根据2个子图像301、302的移动量的比例不同，有时也会不成为正圆而欠缺一部分。这种情况下，插值光场图像生成部75通过对欠缺的区域分配像素值来将插值子图像331的数据补成正圆的数据即可。这种情况下的对欠缺的区域分配像素值的方法并没有特别的限定，能采用插值附近像素的像素值的方法、作为在重构时不參考的区域进行登录的方法等。接下来，说明使用这样生成的I个以上的插值光场图像的各数据来生出重构图像的数据的处理，即，说明图5的步骤S26的重构处理的详细情況。
图9是表示图5的步骤S26的重构处理的详细流程的流程图。在步骤S61中，CPUll的重构图像生成部76取得光场图像的数据。在步骤S62中，重构图像生成部76取得I个以上的插值光场图像的数据。在步骤S63中，重构图像生成部76将位于摄像装置I的主透镜31前方的规定距离的位置的面设定为重构面。在步骤S64中，重构图像生成部76将重构面的I个点设定为重构关注像素。在步骤S65中，重构图像生成部76根据光场图像以及I个以上的插值光场图像来算出分配像素范围。分配像素范围是指将来自重构关注像素的光经由主透镜31以及微透镜阵列32而分配的摄像元件33内的像素的范围，现有技术中是光场图像内的像素的范围。与此相对，在本实施方式中，由于不仅根据光场图像，还根据包含I个以上的插值光场图像的像素的范围内来算出分割像素范围，因此，与现有技术的显示使用仅从光场图像选择的分割像素范围而生成的重构图像的情况相比，降低了空间方向的周期性的噪声。在步骤S66中，重构图像生成部76对分配像素范围内的各像素的像素值进行积分。在步骤S67中，重构图像生成部76将步骤S66的处理结果得到的积分值设定为重构关注像素的像素值。在步骤S68中，重构图像生成部76判定重构面的全部点是否都被设定为重构关注像素。重构面的各点中还存在未被设定为重构关注像素的点的情况下，在步骤S68中判定为“否”，处理返回步骤S64，反复之后的处理。即，将重构面的各点依次设定为重构关注像素，每当此时，反复执行步骤S64到S68的循环处理，来设定重构关注像素的像素值。如此，通过分别设定与重构面的各点对应的各像素的像素值，生成重构图像的数据。由此，在图9的步骤S68中判定为“是”，处理进入步骤S27。在步骤S27中，CPUll从输出部18显示输出重构图像。在以上的说明中，本实施方式所涉及的摄像装置I具有包括主透镜31、由多个微透镜32-i构成的微透镜阵列32、以及摄像元件33的光学系统。另外，摄像装置I具备光场图像取得部71、插值光场图像生成部75、重构图像生成部76。光场图像取得部71取得由摄像装置I进行拍摄的结果得到的、由通过多个微透镜32-i的每ー个而生成的多个子图像的集合体构成的光场图像的数据。
插值光场图像生成部75生成I个以上由多个假想的子图像的集合体而构成的插值光场图像的数据。重构图像生成部76使用光场图像的数据以及I个以上的插值光场图像的数据，来生成重构图像的数据。在显示如此作为数据而生成的重构图像的情况下，与现有技术那样显示仅根据光场图像的数据而生成的重构图像的情况相比，降低了空间方向的周期性的噪声。另外，本发明并不限于上述的实施方式，在能达成本发明的目的的范围内的变形、改良等也包含在本发明中。例如，在上述的实施方式中，在生成重构图像的数据时，一起使用光场图像的数据和插值光场图像的数据，但并不特别限定于此。
S卩，只要增加重构的运算时所使用的子图像的个数就能起到上述的噪声降低效 果，为此，只要存在假想的子图像即可，并不是一定要以插值光场图像的数据的形态来使用。即，只要是重构图像生成部76能够除了使用包含在光场图像中的多个子图像以夕卜，还使用I个以上的假想的子图像来生成重构图像的数据的构成即可。例如，在上述的实施方式中，在生成重构图像的数据时所使用的光场图像的数据，采用由摄像装置I自身所拍摄的数据，但并不特别限定于此。S卩，摄像装置I也可以使用其它的摄像装置I或现有的其它的全光相机所拍摄的光场图像的数据来生成重构图像的数据。換言之，本发明不仅能应用在具有摄像功能的摄像装置I中，也能应用在即使没有摄像功能而具有一般的图像处理功能的电子设备中。具体地，例如，本发明能应用在个人计算机、打印机、电视接收机、视频摄像机、导航装置、便携式电话、掌上游戏机等中。上述的一系列的处理能通过硬件来执行，也能通过软件来执行。換言之，图4的功能构成只是例示，并不特别限定于此。即，只要在摄像装置I中具备能将上述的一系列的处理作为整体来执行的功能即可，为了实现该功能而使用怎样的功能模块则并不特别限定于图4的例子中。另外，也可以将I个功能模块用硬件単体来构成，也可以用软件単体来构成，还可以用软硬件的组合来构成。在通过软件来执行一系列的处理的情况下，构成该软件的程序从网络或记录介质安装到计算机等。计算机也可以是被嵌入到专门的硬件中的计算机。另外，计算机也可以是能通过安装各种的程序来执行各种功能的计算机，例如通用的个人计算机。存储这样的程序的记录介质不仅可以由为了向用户提供程序而与装置主体分开散发程序的图I的可移动介质22构成，还可以由以预先嵌入到装置主体中的状态来向用户提供程序的记录介质构成。可移动介质22例如由磁盘(包括软盘)、光盘、或光磁盘等构成。光盘例如由 CD-ROM (Compact Disk-Read Only Memory) >DVD (Digital Versatile Disk)等构成。光磁盘由MD(Mini-Disk)等构成。另外，以预先嵌入到装置主体中的状态来向用户提供程序的记录介质例如由存储有程序的图I的R0M12、包括在图I的存储部19中的硬盘等构成。
另外，在本说明书中，记述存储在记录介质中的程序的步骤当然可以按照其顺序在时间序列上进行处理，但也不一定是时间序列上的处理，也可以包含并行或个别执行的处理。上面关于本发明的几个实施例进行了说明，但这些实施方式只是例示，并不限定本发明的技术范围。本发明能采用其它的各种的实施方式，进而 ，能在不脱离本发明的主旨的范围内进行省略、置換等各种的变更。这些实施方式及其变形包括在本说明书等所记载的发明的范围和主g内，并且包含在权利要求书所记载的发明及其等同的范围内。
权利要求
1.ー种图像处理装置，其特征在于，具备 图像取得単元，其取得由在光学系统中具备主透镜、由微透镜构成的微透镜阵列以及摄像元件的摄像装置拍摄的光场图像，所述光场图像由通过所述微透镜的每ー个而生成的子图像构成； 子图像生成単元，其生成基于所述光场图像中包含的子图像而插值的假想的子图像；和 重构图像生成単元，其使用由所述图像取得単元所取得的所述光场图像中所包含的子图像、以及由所述子图像生成単元所生成的所述假想的子图像，来生成距所述摄像装置规定位置的面的像，作为重构图像。
2.根据权利要求I所述的图像处理装置，其特征在干， 所述图像处理装置还具备 插值光场图像生成単元，其生成由所述子图像生成単元所生成的多个所述假想的子图像所构成的插值光场图像， 所述重构图像生成単元除了使用所述光场图像以外，还使用由所述插值光场图像生成単元所生成的所述插值光场图像，来生成所述重构图像。
3.根据权利要求2所述的图像处理装置，其特征在干， 所述插值光场图像生成单元按照在所述光场图像内相邻的子图像之间配置所述假想的子图像的方式，来生成所述插值光场图像。
4.根据权利要求3所述的图像处理装置，其特征在干， 所述图像处理装置还具备 视差算出単元，其在所述光场图像内的所述相邻的子图像(2个子图像)中，算出所述微透镜的成像位置与中心位置的距离的差，作为视差， 所述插值光场图像生成单元按照基于由所述视差算出単元算出的视差来配置所述假想的子图像的方式，来生成所述插值光场图像。
5.根据权利要求4所述的图像处理装置，其特征在干， 所述视差算出単元对所述光场图像内的所述相邻的子图像，在每个规定单位的区域进行图案匹配，使用该图案匹配的结果，来算出所述视差。
6.根据权利要求5所述的图像处理装置，其特征在干， 所述规定単位的区域是由所述光场图像内的构成所述子图像的像素的一部分所构成的块。
7.根据权利要求5所述的图像处理装置，其特征在干， 所述规定単位的区域是由所述光场图像的规定行中的构成所述子图像的像素的一部分所构成的块。
8.ー种图像处理方法，其特征在于，其是针对由在光学系统中具备主透镜、由微透镜构成的微透镜阵列以及摄像元件的摄像装置拍摄的光场图像，由图像处理装置执行的图像处理的方法，所述光场图像由通过所述微透镜的每ー个而生成的子图像构成，所述图像处理方法包括以下步骤 取得所述光场图像， 生成基于所述光场图像中包含的子图像而插值的假想的子图像，使用所述光场图像中包含的子图像、以及所述假想的子图像，来生成距所述摄像装置 规定位置的面的像，作为重构图像。
全文摘要
本发明提供具有重构图像的功能的装置以及方法。降低从由全光相机拍摄的光场图像生成重构图像的情况下所产生的噪声。光场图像取得部(71)取得由摄像装置(1)拍摄的结果得到的、由通过多个微透镜(32-i)的每一个而生成的多个子图像的集合体而构成的光场图像的数据。插值光场图像生成部(75)生成一个以上的由多个假想的子图像的集合体构成的插值光场图像的数据。重构图像生成部(76)使用光场图像的数据以及一个以上的插值光场图像的数据，来生成重构图像的数据。
文档编号H04N5/225GK102694972SQ20121007476
公开日2012年9月26日 申请日期2012年3月20日 优先权日2011年3月24日
发明者中込浩一, 长坂知明 申请人:卡西欧计算机株式会社