专利名称：图像恢复装置以及图像恢复方法
技术领域：
本发明涉及使连续拍摄的多个输入图像合成的图像产生的晃动降低的图像恢复装置及图像恢复方法。
背景技术：
在以数字相机拍摄图像的情况下,在图像上因CO)(Charge Coupled Device:电荷率禹合器)传感器、或CMOS (Complementary Metal Oxide Semiconductor :互补金属氧化物半导体)传感器的读出电路的特性和传输路径的特性而被加入噪声。另外，有时也发生拍摄时因未聚焦(out of focus :焦点偏离)而导致的图像的模 糊(blur :模糊)或因手抖动(camera shake :相机抖动)等的导致的图像的模糊。这样，由于在摄像装置固有的特性引起的噪声的基础上加入拍摄时人为的操作引起的的模糊，使用数字照相机所拍摄的图像更加劣化。另外，在下面，在这些“模糊”中，将正在拍摄(曝光)的照相机的运动导致的图像模糊(手抖动)称为“晃动(motion blur) ”,以区别于与未聚焦导致的模糊(out of focusblur)ο近年来，特别需要高灵敏度拍摄增多，从而要求将因模糊所致的劣化的图像(以下称为“劣化图像”)恢复为与原来的图像(以下称“理想图像”)尽可能接近的图像。作为用于实现高灵敏度拍摄所要求的、明亮且没有噪声及模糊的图像的方法，大致分为提高灵敏度这样的方法和延长曝光时间这样的方法。一般情况下，如果提高灵敏度，则噪声也被放大。因此，在提高灵敏度的方法中，往往信号被噪声淹没，成为噪声占大半的图像。另一方面，如果延长曝光时间，能得到大量积蓄从被摄物入射的光、且噪声的少的图像。因此，信号不会被噪声淹没。但是，在延长曝光时间的方法中，存在因在曝光时间中的手振动而使图像产生晃动这样的问题。因此，以往提出两个方法作为在延长曝光时间的情况下的问题的对应方法。一个方法是作为使透镜移动的方式的光学式手振动校正(例如，参照专利文献I)。另一个方法，是作为从所得的图像求出晃动的方向及大小，基于求得的晃动的方向及大小，通过信号处理来恢复图像这样的方法(通过信号处理的恢复方法)(例如，参照专利文献2 4，非专利文献I 7)。为了在暗的环境下确保充分的光量而延长曝光时间时，容易发生大的手振动。因为在这样的暗的环境下，为了通过光学式手抖动校正来对应晃动，需要加大透镜的活动范围。可是，在活动范围变大的情况下，在透镜的移动时存在产生时间延迟这样的问题。还有，加大活动范围存在物理的极限。因手抖动产生的从理想图像向劣化图像的图像劣化的现象，能够如下地模型化。表示在劣化图像上的各像素的辉度的函数是通过表示理想图像的各像素的辉度的函数和表示图像的晃动的点扩展函数(PSF Point Spread Function)的卷积(convolution)而得到的。反过来，为了将得到的劣化图像向理想图像恢复，只要将劣化图像和PSF进行反卷积(deconvolution)即可。卷积运算在频域相当于乘法运算。为此，通过在频域对劣化图像利用PSF进行除法运算，能得到恢复图像。像这样已知PSF的情况下，如果忽视噪声的影响，通过上述的反卷积运算能够比较容易地得到恢复图像。另ー方面，在PSF未知的情况，为了得到恢复图像需要从劣化图像估计PSF。关于PSF的估计,例如公知非专利文献I所公开的稀疏编码(Sparse Coding)的方法等。在该方法中，首先根据由手动输入的初始PSF和劣化图像得到第一恢复結果。继续用第一恢复结果和劣化图像估计认为更接近真正的PSF的PSF，以所估计的PSF修正初始PSF。用被修正的PSF从劣化图像得到第二恢复結果。以后，从第(N-I)的PSF和劣化图像得第N的恢复图像，从第N的恢复图像和劣化图像估计第N的PSF，通过反复进行这样的操作，从而能够同时进行PSF的估计和劣化图像的恢复。
可是，在该方法中存在如下问题在被恢复的图像中产生振铃等的噪声。所谓“振铃(ringing)”，是在图像中辉度等一祥的部分(平坦部分)发生的噪声。如果产生振铃，平坦部分变得看上去不平坦。图IA是表示辉度阶段状地变化的图像(边缘付近的理想图像)的图。另外，图IB是概要地示出理想图像的辉度分布的图表。图2A是表示通过由相机拍摄图IA的图像而得到的、边缘附近的劣化图像(模糊图像blurred image)的图。另外，图2B是概要地示出劣化图像的辉度分布的图表。在这里，在照相机拍摄时，假设在水平横方向上产生了手抖动。图2A的劣化图像因为手抖动所致的模糊(晃动)产生，所以失去了边缘的清晰度。图3A是表示将图2A的劣化图像通过信号处理恢复的恢复图像的图。另外，图3B是概要地示出图表恢复图像的辉度分布的图表。在图3A的恢复图像中存在辉度周期地变化的部分。像这样的辉度变化是被称为“振铃”的噪声。振铃是因为在频域中存在PSF的振幅值为O或成为无限地接近O的值的频率(以下称为“零点”)而产生的。专利文献3、4、和非专利文献6、7公开有解决这样的振铃的问题的技术。根据这些的技术，在曝光状态之间不是持续地开放快门，而是按照某个被决定了的时间模式(编码模式)来遮住光，从而能在频域上減少PSF的振幅值成为O的频率。因此，能够防止振铃噪声的发生。被专利文献3、4、和非专利文献6、7所公开的方法被称作为“编码曝光摄影(Coded Exposure Pnotography)”。先行技术文献专利文献专利文献I :日本专利特开2001-197357号公报专利文献2 :日本专利特开2006-129236号公报专利文献3 日本专利特表2009-522825号公报专利文献4 :日本专利特开2008-310797号公报非专利文献非专利文献I :“High quality Motion Deblurring from a Single Image”，QiShan, Jiaya Jia，and Aseem Agarwala, SIGGRAPH 2008
非专利文献2 :米司·田中·奥富共著，「直線的手；札画像復元O tz ^ <0 pSf
’ > 一 9推定手法」，情報処理学会研究報告，第2005卷，第38号，p. 47-52，2005年(米司、田中、奥富共著，“用于直线的手抖动图像恢复的Psf参数推定方法”，信息处理协会研究报告，第2005卷，第38号，第47-52页，2005年)非专利文献3 :J. Bioucas-Dias，“Bayesian wavelet-based imagedeconvolution a gem algorithm exploiting a class of heavy-tailed priors，，，IEEETrans. Image Proc.，vol. 4，pp. 937-951，April 2006非专利文献4 :Levin，“Blind Motion Deblurring Using Image Statistics，，，Advances in Neural Information Processing Systems (NIPS)，Dec 2006非专利文献5 :Bob Fergus et al.，“Removing camera shake from a singleimage，，，Barun Singh Aaron Hertzmann, SIGGRAPH 2006
非专利文献6 -.uCoded Exposure Photography Motion Deblurring usingFluttered Shutter”，Ramesh Raskar, Amit Agrawal, Fack Tumblin, SIGGRAPH 2006非专利文献7uCoded Exposure Deblurring Optimized Codes for PSFEstimation and Invertibility，，, Amit Agrawal, Yi Xu, MITSUBISHI ELECTRIC RESEARCHLABORATORIES, http //www. merl. com发明概要发明要解决的问题这样，根据专利文献3、4、或非专利文献6所公开的方法，通过进行曝光编码，能抑制恢复图像的振铃的发生。可是，在该方法中，因为通过在拍摄时遮住光来进行编码，所以需要在拍摄前预先决定编码模式。具体地说，使用手抖动产生的确定的图像来预先决定编码模式，且在其他的场面也适用该编码模式。因此，根据拍摄场面，即使适用预先决定的编码模式，也存在不能回避在PSF零点的发生而在恢复图像产生振铃的可能性。总之，这些的方法不能可靠地抑制振铃的发生。另外，在被非专利文献7所公开的方法中，将编码方式作为两值的二进制模式来进行表现，并从多个的二进制模式中搜索最适合图像恢复的二进制模式。然而，因为搜索的模式的数量较多，所以实际上对所有PSF算出最适合的编码模式是不现实。具体地说，在非专利文献7的方法中，为了决定最适合图像恢复的编码模式，一边改变编码模式一边进行恢复，测量恢复的图像的噪声量，并进行是否在进行最适合的恢复的判断。因此，在非专利文献7方法中，为了搜索最适合的编码模式，需要重复多次拍摄和恢复处理。因此，用于搜索编码模式的处理量增大，而存在耗电也增大这样的课题。并且，因为成为搜索对象的编码模式的模式数量较多，所以在非专利文献7中不是在所有的模式中搜索，而是在一部分的模式的范围内搜索最适合东西。因此，在性能方面存在未必是能搜索最合适的编码模式的问题。
发明内容
因此，本发明解决了上述以往的课题，其目的是提供抑制处理负荷的增大并且能够可靠地抑制振铃的发生的图像恢复装置及图像恢复方法。用于解决问题的手段为了达到上述目的，本发明的一个实施方式涉及的图像恢复装置，是降低对连续拍摄的多个输入图像的进行合成而得到的图像所产生的晃动的图像恢复装置，具有点扩散函数取得部，取得表示经由所述多个输入图像产生的晃动的第一点扩散函数(PointSpread Function :点扩散函数)；点扩散函数变换部,对上述第一点扩散函数进行处理以避免在频域的各频率的振幅值小于阈值，从而生成第二点扩散函数；图像变换部，使用所述第二点扩散函数中的与各输入图像对应的部分对所述多个输入图像分别进行变换，从而生成多个变换图像；以及，图像恢复部，对将所述多个变换图像进行合成而得到的劣化图像实施使用了所述第二点扩散函数的恢复处理，从而生成恢复图像。根据本结构，通过对经由多个的输入图像产生的表示晃动的第一点扩散函数进行处理，从而在频域生成各频率的振幅值是阈值以上的第2点扩散函数。并且，使用第2点扩散函数的各部分来转换各输入图像。这样被转换的多个的输入图像被合成的图像，相当于以在点扩散函数不产生零点的方式被编码时能得的劣化图像(以下，称为“被编码的劣化 图像”)。即，根据本结构，能够与经由多个的输入图像所产生的晃动相适应地生成劣化图像，该劣化图像以在PSF不产生零点的方式被编码。因此，因为不需要预先决定编码模式所以能够可靠地抑制振铃的发生。并且，为了生成以在PSF不产生零点的方式被编码的劣化图像，不需要反复进行恢复处理。因此，也能抑制处理负荷的増大。所述点扩散函数变换部优选进行如下操作确定在频域的所述第一点扩散函数的振幅值小于所述阈值的频率，并在确定了的所述频率将振幅值变更为所述阈值以上的规定值，由此对所述第一点扩散函数进行处理。根据本结构，通过在第一点扩散函数的振幅值成为小于阈值的频率变更振幅值，生成第2点扩散函数。因此，能够根据经由多个的输入图像所发生的晃动生成适应的被编码的劣化图像。即，能够进一歩生成更晃动少的恢复图像。另外，变更第一频率的振幅值时所使用的所述规定值，优选比变更作为比所述第一频率高的频率的第2频率的振幅值时所使用的所述规定值大。根据本结构，因为在振幅值被变更的频率，可将低频的振幅值比高频的振幅值较大地设置，所以能够有效地降低作为在低频区域产生的噪声的振铃噪声。另外，所述规定值优选为以所述输入图像产生的噪声越大则变得越小的方式而决定的值。根据本结构，通过变更振幅值能够抑制在恢复图像噪声放大这样的弊病。另外，确定第一频率的时所使用的所述阈值优选为比确定作为比所述第一频率高的频率的第2频率时所使用的阈值大。根据本结构，因为在低频区域为能效率的排除成为振铃噪声的原因的小振幅值，所以能够有效地減少作为在低频区域产生的噪声的振铃噪声。另外，所述阈值优选是以所述输入图像产生的噪声越大则变得越小的方式所决定的值。根据本结构，通过变更振幅值能抑制在恢复图像噪声被放大这样的弊病。另外，所述图像变换部基于所述第2点扩散函数表示的晃动被检测到的时间和所述各输入图像被拍摄了的时间，决定所述第2点扩散函数中的与各输入图像在时间上对应的部分，并使用决定了的部分对所述多个的输入图像分别进行变换。根据本结构，可以更适当地决定与各输入图像对应的第2点扩散函数的部分。另外，所述点扩散函数变换部优选在频域确定作为上述第一点扩散函数的振幅值未满所述阈值的频率，生成确定的所述频率的振幅值为所述阈值以上的补偿点扩散函数，将所述补偿点扩散函数与所述第一点扩散函数进行加法运算，从而生成所述第2点扩散函数。根据本结构，通过对补偿点扩散函数进行加法运算，可以生成第2点扩散函数。本发明不仅能够实现具有这样的特征的处理部的图像恢复装置，也能够实现将图像恢复装置中包含的特征的处理部作为步骤的图像恢复方法。另外，也能够作为使计算机执行的图像恢复方法所包含的特征的各步骤的计算机程序来实现。并且，当然可以通过CD-ROM (Compact Disc Read Only Memory)等的计算机可读取的记录介质或者因特网等的 通信网络使那样的计算机程序流通。还有，本发明也能实现为集成电路，该集成电路具有图像恢复装置具有的特征的处理部。发明效果根据本发明，使用连续被拍摄的多个的输入图像，与经由多个输入图像所产生的晃动相适应地生成以在点扩散函数不产生零点的方式而被编码的劣化图像。从而，能够抑制处理负荷的增大，同时能够可靠地抑制振铃的产生。
图IA是表示边缘附近的理想图像的图。图IB是概要地示出理想图像的辉度分布的图表。图2A是示出边缘附近的劣化图像的图。图2B是概要地示出劣化图像的辉度分布的图表。图3A是示出通过信号处理对劣化图像进行了恢复的恢复图像的图。图3B是概要地示出恢复图像的辉度分布的图表。图4是曝光编码的说明图。图5是在空间域的PSF的模式图。图6是被转换为频域的PSF的模式图。图7是表示本发明的实施方式所涉及的摄像装置的功能结构的框图。图8是表示本发明的实施方式所涉及的信号处理部的功能结构的框图。图9是表示在本发明的实施方式所涉及的信号处理部的劣化图像的恢复处理的流程的流程图。图10是表示在本发明的实施方式所涉及的PSF变换部的PSF变换处理的流程的流程图。图11是表示在本发明的实施方式所涉及的图像变换部的图像变换处理的流程的流程图。图12是表示理想图像的一个例子的图。
图13是表示理想图像的频率特性的一个例子的图。图14是表示第一 PSF的一个例子的图。图15是表示第一 PSF的频率特性的一个例子的图。图16是表示劣化图像的一个例子的图。图17是表示劣化图像的频率特性的一个例子的图。图18是表示根据以往的图像恢复方法能得的恢复图像的一个例子的图。图19是表示第二 PSF的一个例子的图。图20是表示第二 PSF的频率特性的一个例子的图。
图21是表示根据本发明的实施方式所涉及的图像恢复方法得到的恢复图像的一个例子的图。图22是表示本发明的ー实施方式所涉及的图像恢复装置的功能结构的框图。
具体实施例方式关于本发明的实施方式在说明细节之前，首先对在本实施方式的图像恢复方法的基本的原理进行说明。在本说明书中，由m(x，y)表示在摄像面形成的图像的辉度分布。坐标(x，y)是表示摄像面的像素(光感知単元)的位置的ニ元坐标。在图像例如由行列状排列的MXN个的像素构成的情况下，如果X和y是分别满足O彡X彡M-1、0彡y彡N-I关系的整数时，由坐标(x，y)能确定构成图像的各个的像素的位置。将在这个图像上的坐标(x，y)的辉度适宜地称为“像素值”。坐标的原点(0，0)被设定在图像左上角。另外，X轴被设定为水平方向延伸的轴，y轴被设定为垂直方向延伸的轴。但是，坐标不一定需要这样被设定，任意地设定都可以。在这里，将没有模糊(blur)的图像(理想图像或原图像)的辉度分布表示为s(x，y)。还有，将规定模糊的PSF表示为f(x，y)。这种情况下，如果忽略噪声的影响，则以下的(式I)成立。式I :m(x, y) = s(x, y)*f (x, y) (式 I)是这里,符号“ * ”表示卷积运算(convolution)。(式I)右边,通常情况下由以下的(式2)来表示。式2
CO 00s(xj)^f{x,y)=\ ^s{iJ)f{x-ij-j)didj (式2)
-CO -CO图像为由MXN个的像素构成的情况下，上述的(式2)，能够由以下的(式3)表
/Jn ο式3 I MA N-]
_7] Φ^)*/(υ)=ττ^ΣΣ 冲，Λ/(χ—Λ (式3)
MxNtS%在表示模糊的特征的点扩展函数f(x，y)为已知的情况下，对由照相机拍摄得到的图像m(x, y)进行反卷积运算(deconvolution)的，从而能够复原没有模糊的图像s (x,y)。另外，在点扩展函数f(x，y)不是已知的情况下，需要根据图像m(x，y)推定f(x，y)之后来求出没有模糊的图像s (X，y)。一般来说，2个函数的卷积由各函数的傅立叶变换的积来表示。因此，将m(x，y)、s(x,y)、f(x,y)的傅立叶变换分别表示为M(u, V)、S (u, V)、F (u, V)时,根据(式I)可以推到出以下的(式4)。另外，(u，v)是在频域的坐标，分别与图像的X方向及y方向的空间频率对应。
式4:M(u, v) = S (u, v) · F (u, v) (式 4)在这里，符号“ · ”，表示着在频域的函数的“积”。变形(式4)时，能得到以下的(式 5)。式5:
η, 、M(w,v)S(UiV) =-(式 5)
F(u,v)该(式5)表示以下内容将由照相机拍摄得到的图像m(x，y)的傅里叶变换M(u，V)除以点扩展函数f (X，y)的傅立叶变换F(U, V)得到的函数,与理想图像S (X, y)的傅立叶变换S(u, V)相当。即，如果求出M(u, V)以及F(u, V),则能决定S(u, V)。因为M(u, V)是将照相机拍摄被得的图像(劣化图像)进行傅立叶变换的，所以如果能够求出手抖动的点扩展函数f(x，y)的傅立叶变换F (u，V)，则可通过信号处理从劣化图像恢复图像(接近真正的图像)。手抖动的点扩展函数f(x，y)依赖于在拍摄(曝光)中的手抖动的轨迹。换言之，手抖动的轨迹因按照每次照相机拍摄不同，所以f(x，y)也按照每次照相机拍摄变化。f(x，y)能够根据照相机拍摄得到的I张或多张图像进行估计，但也可以根据传感器的检测来估计在拍摄(曝光)中的照相机的运动(手抖动轨迹)。可是，f(x，y)只不过是通过估计或测量得到的，所以包含某些误差。因此，难于完全恢复理想图像sU，y)。非专利文献2公开有以下内容通过将在短的曝光时间中的手抖动的轨迹假设为“匀速直接线运动”，从而利用sine函数来近似该点扩展函数的傅立叶变换。在将手抖动的幅度设为W、手抖动的方向设为X轴方向时，作为(式5)的分母的F(u，v)，由以下的(式6)来表现。式6:
”，、sin(^)F(u,v) =-(式 6)
Wm(式6)右边是sine( m、函数，该振幅按照每个一定周期成为O。该周期是手抖动的宽度W的倒数(1/W)。另外，手抖动的方向对X轴如果朝向θ的角度的情况下，F(u,v)成为将(式6)的函数转动角度Θ的函数。但是，现实的手抖动因为描绘复杂的轨迹，所以也有“匀速直接线运动”的假设不充分地成立的情況。在此，可以认为(式5)的分母F(u，v)周期地成为零为图像的平坦部的振铃是主要的产生原因。在那里，在专利文献3、4、以及非专利文献6、7中公开有以下方法拍摄时候，通过曝光时间中将快门按照编码模式进行开关，从而減少F(u，v)成为零的点。为了避免此时在被转换为频域的PSF的F(u，v)产生零点，必须决定快门的编码模式。在此，在非专利文献6、7中，对于预先已知的PSF，一边将编码模式进行各种各样地变化ー边进行图像的恢复，由此对特定的PSF捜索着最适合的编码模式。在该方法中，对特定的PSF求出的编码模式，能够利用在各种各样的场面的拍摄。因此，与决定了编码模式的PSF不同的PSF被转换到频域的F(u，V)，存在零点产生的可能性。还有，为了探索编码模式，因为需要按照每个编码模式进行拍摄及恢复处理，所以对于编码模式的探索所需要的计算量变得较多。 因此，在以下说明的本发明的实施方式中，摄像装置在曝光时间中接连地拍摄多个的图像。并且，摄像装置取得表示接连摄影的多个的图像晃动的第一 PSF。并且，摄像装置通过分析被转换为频域的第一 PSF的振幅值，从而能将第一 PSF转换为在频域不存在零点的第二PSF。摄像装置使用这样得到的第二PSF对各图像实施变换处理，并对变换处理后的图像进行合成，从而能得以适应晃动的编码模式进行编码的劣化图像。并且，摄像装置对这样得到的劣化图像，进行使用第二PSF的恢复处理。这样，本发明的实施方式所涉及的摄像装置，与经由多个的输入图像所发生的晃动相适应地生成在PSF未产生零点这样的被编码的劣化图像。从而，能够抑制处理负荷的増大，同时能够可靠地抑制振铃的产生。另外，在本说明书中所说的“曝光时间”，表示从由连拍的拍摄的开始到结束的时间。另外，将连续地被拍摄的多个图像适宜地记载为连拍图像。下面对本发明的实施方式，ー边參照图面ー边进行详细地说明。首先，使用图4对关于在本实施方式的编码的概念进行说明。所谓编码是利用特定的模式(编码模式)转换图像的曝光信息的处理，被称作曝光编码。所谓曝光编码是通过在曝光时间中产生使光通过的状态和不使光通过的状态这样的两个状态，将入射的光转换为时间上不连续的光信号。此时，将由通过光的状态和不通过光的状态所形成的模式称为编码模式。例如，考虑手抖动在横向上匀速产生的情况。在曝光时间是T、构成编码模式的区间作为9个的情况下，各区间的时间成为T/9。此时，以符号“I”表示通过光的区间，以符号“O”表示不通过光的区间。即，符号“I”表示在摄像元件光入射的ON状态。另外，符号“O”表示光被遮住因此在摄像元件光不入射的OFF状态。在此，编码不被进行的情况，如图4的(a)所示，曝光时间中的各区间的符号全部是“I”(0N状态)，编码模式成为{111111111}。此时，摄像元件在全部的曝光时间T中接受光。另ー方面，在进行编码的情况下，曝光时间中的各区间的编码，在“ I”和“O”之间转换。此时，摄像元件仅在曝光时间T中编码“I”的区间接受光。例如，编码模式为{101101110}的情况下，如图4的(b)所示，在曝光时间中对ON状态和OFF状态进行转换。
在这样的曝光时间中，考虑利用连拍图像对在摄像元件中对使光通过的状态和不使光通过的状态的编码的情况。编码模式设为与图4的(b)的例子一样的{101101110}。这个情况，如图4的(c)所示，在一次的曝光时间连拍时9张图像时，拍摄的9张图像中的第二张、第5张、以及第9张的图像(有影线的图像)的像素值全部转换为O之后，对9张图像进行加法运算。即，在连续拍摄的多个的图像中，仅对与符号“I”的区间对应的图像进行加法运算。像这样得到的图像与如图4的(b)所示通过在曝光时间中遮住光而得到的图像本质相同。即，通过变更连续拍摄的多个的图像的组合，从而能在拍摄后变更编码模式。其次，使用图5以及图6来对编码给PSF带来的影响进行说明。图5是在空间域的PSF的模式图。具体地说，图5的(a)是表示在未进行编码的情况下的空间域的PSF的一个例子的图。另外，图5的(b)是表示在进行编码的情况下的空间域的PSF的一个例子的图。另外，图5图示出在为X轴方向切断了的一断面的PSF。在晃动的方向作为X轴方向的情况下，通过进行编码，PSF被进行如从图5的(a)至图5的(b)的转换。 图6是被转换到频域的PSF的模式图。具体地说，图6的(a)是表示将图5的(a)的PSF从空间域变换为频域时的振幅特性的模式图。同样地，图6的(b)是表示将图5的(b)的PSF从空间域转换到频域时的振幅特性的模式图。另外，图6对在u轴方向上切断的一断面图示出PSF。如图6的(a)所示，在将图5的(a)的PSF(矩形波)转换为频域的情况下，PSF为sine函数。因此，周期地存在振幅值成为O的点(零点)。另一方面，如图6的(b)所示，在将由图5的(b)的编码而得到的PSF转换为频域的情况下，PSF与sine函数不同，不存在振幅值成为O的点。像这样，通过编码，能得到在各频率振幅值不为O的PSF。通过使用这样得到的PSF进行恢复处理，从而能得没有振铃噪声的恢复图像。如上所述，通过对曝光进行编码，能得到在频域振幅值不为O的这样的PSF。在本实施方式中，在拍摄时不是通过遮住光来执行曝光编码，而是使被连续拍摄的多个输入图像的每一个的像素值变化，并通过对使变化后的多个的输入图像合成来进行曝光编码。具体地说，通过将各输入图像设为L倍(L为O I实数)从而进行编码。像这样，在本实施方式中，因为不需要在拍摄中进行遮住曝光的拍摄，所以在拍摄结束后能选择各种各样的编码模式。其次，对于本实施方式所涉及的摄像装置的功能结构进行说明。图7是表示本发明的实施方式所涉及的摄像装置100功能结构的框图。在本实施方式的摄像装置100中是数字式的电子照相机。但是，摄像装置100不需要必须是数字式的电子照相机。摄像装置100如图7所例示，具有摄像部300 ;信号处理部200，进行各种信号处理及图像的恢复处理；显示部600，显示图像；记录部500，记录图像数据；以及系统控制部400，对各部进行控制。摄像部300接连拍摄多个的图像。具体地说，摄像部300具有摄像元件(映像传感器)310，具有被排列在摄像面多个的感光单元(光电二极管)；快门325，具有隔板功能；以及拍摄镜头320，用于在摄像元件310摄像面上形成像。另外，摄像部300具有内部存储器350，该内部存储器350在图像被连续地拍摄时(连拍)临时存储连续的图像数据。
摄像元件310为有代表性的CXD传感器或CMOS传感器。拍摄透镜320具有公知的结构，一般情况下，是由多个的透镜构成的透镜单元。快门325及拍摄透镜320由未图示的驱动机构驱动，可执行在光学变焦、自动曝光(AE =AutoExposure)、或自动聚焦(AF Auto Focus)所需的动作。摄像部300还具有摄像元件驱动部330,该摄像元件驱动部330驱动摄像元件310。摄像元件驱动部330例如由CCD驱动器等的半导体集成电路构成。摄像元件驱动部330通过驱动各自摄像元件310，从而从摄像元件310分别读出模拟信号(光电变换信号)并转换为数字信号。摄像部300还具有手抖动检测部345，该手抖动检测部345检测拍摄时的手抖动。手抖动检测部345例如是公知的陀螺仪或加速度传感器等。手抖动检测部345检测在曝光时间中的摄像装置100的动作，并生成表示手抖动的轨迹的信息(手抖动信息)。所生成的手抖动信息被输入到信号处理部200，用于取得在图像恢复处理中使用的第一 PSF的处理。 信号处理部200执行劣化图像的恢复处理。即，信号处理部200使在对连续摄影的多个的输入图像进行合成而得到的图像产生的晃动減少。另外，信号处理部200也可以进行色调补正、分辨率变更、或数据压缩等的各种信号处理。再者，使用图8对信号处理部200的劣化图像的恢复处理在后面进行详细说明。信号处理部200通过公知的数字信号处理处理器(DSP =Digital SignalProcessor)等的硬件和用于执行图像处理的软件的组合来进行适宜地实现。存储器240由DRAM (Dynamic Random Access Memory :动态随机存取存储器)等构成。该存储器240记录有从摄像部300得到的图像数据，并且临时记录有由信号处理部200接收到的各种的图像处理的图像数据、以及被压缩的图像数据。图像数据被转换为模拟信号之后由显示部600表示，或数字信号被原样记录到记录部500。图像数据也可以通过未图示的通信装置以无线或有线的方式被发送到其他的装置(未图示)。系统控制部400对上述的摄像部300、信号处理部200、存储器240、记录部500、以及显示部600进行控制。系统控制部400具有未图示的中央运算处理单元(CPU =CentralProcessing Unit)及闪存。再者，本实施方式的摄像装置具备光学取景器、电源(电池)、闪光等的公知的结构元件，但因这些的说明对理解本发明不是特别地需要，所以省略。下面，ー边參照图8 一边更详细地说明本实施方式的信号处理部200结构。图8是表示本发明的实施方式涉及的信号处理部200功能结构的框图。信号处理部200具有图像输入部1100、PSF取得部1200、PSF变换部1300、图像变换部1400、图像恢复部1500、以及图像输出部1600。图像输入部1100取得由摄像部300接连拍摄的多个输入图像。PSF取得部1200基于陀螺仪传感器和加速度传感器等的传感器信息，取得表示经由图像输入部1100取得的多个的输入图像产生的晃动的第一 PSF。具体地说，PSF取得部1200例如使用在拍摄多个的输入图像时由手抖动检测部345检测出的手抖动信息来计算第一 PSF。PSF变换部1300将从从PSF取得部1200取得的第一 PSF转换为第二 PSF。具体地说，PSF变换部1300以避免在频域各频率的振幅值不足阈值的方式通过处理第一 PSF从而生成第二 PSF。S卩，PSF变换部1300基于第一 PSF生成在频域各频率的振幅值为阈值以上的第二 PSF。图像变换部1400基于第二PSF，分别对图像输入部1100取得的多个的输入图像进行变换。具体地说，图像变换部1400通过使用与第二 PSF中的各输入图像对应的部分，对多个输入图像分别进行变换，从而生成多个变换图像。图像恢复部1500通过对将多个变换图像合成的劣化图像(被编码的劣化图像)实施使用了第二 PSF的恢复处理，来生成恢复图像。再者，多个变换图像被合成的图像，按照每个构成各变换图像的像素的像素位置，通过对像素值进行加法运算从而得到将多个变换图像进行合成的图像。图像输出部1600输出被生成的恢复图像。图像输出部1600将恢复图像例如输出到记录部500以及显示部600的至少一个。另外，图8示出的信号处理部200结构是一个例子，信号处理部200能够被分割为 其他的功能块。信号处理部200例如可以通过将图像处理的软件编入向公知的硬件来适宜地被实现。其次，对如上所述构成的信号处理部200的各种处理说明。图9是表示本发明的实施方式所涉及的信号处理部200的劣化图像的恢复处理的流程的流程图。另外，图10是表示本发明的实施方式所涉及的PSF变换部1300的PSF变换处理的流程的流程图。另外，图11是表示本发明的实施方式所涉及的图像变换部1400的图像变换处理的流程的流程图。首先，图像输入部1100取得在摄像部300进行连拍后被存储在摄像部300内部存储器350的多张(η张η为2以上的整数)的输入图像mi (x，y) (i为I η的整数)(SlOl)。接着，PSF取得部1200取得在拍摄多个输入图像时由手抖动检测部345检测出的手抖动信息。进而，PSF取得部1200通过对取得的多个输入图像的像素值按照每个像素位置进行加法运算从而生成劣化图像。并且，PSF取得部1200基于手抖动信息和劣化图像，取得表示经由多个的输入图像产生的晃动的第一 PSF(f I (X，y)) (S102)。另外，PSF取得部1200不一定非要基于手抖动信息和劣化图像的两者来取得第一PSF。例如，PSF取得部1200也可以基于手抖动信息和劣化图像中的手抖动信息，取得第一PSF0但是，通过使用由劣化图像的信号处理算出的PSF取得第一 PSF，从而PSF取得部1200能取得表示被摄物晃动和与手抖动的两者的晃动的第一 PSF。其次，PSF变换部1300通过以避免在频域各频率的振幅值不足阈值的方式对第一PSF进行处理，从而生成第二 PSF(S103)。具体地说，在PSF变换部1300中进行如图10所示的处理。PSF变换部1300首先通过将PSF取得部1200取得的第一 PSF从空间域转换为频域，从而算出每频率的振幅值(S201)。在此，将空间域的第一 PSF表示为f I (X，y)，将频域的第一 PSF表不为Fl (u, V) ο其次，PSF变换部1300在频域确定第一 PSF的振幅值小于阈值fth( I Fl (u，V)< fth)的频率(u ' V ' ) (S202)。其次，PSF变换部1300在确定的频率(u'，V )通过变更振幅值为阈值fth以上的规定值来生成第二 PSF(S203)。在此所生成的第二 PSF是频域上的第二 PSF，表示为F2(u, V)。最后，PSF变换部1300将F2(u，V)从频域反变换为空间域(S204)。在这里，将转换为空间域的第二 PSF表示f2(x，y)。像这样得到的第二 PSF，在频域不存在零点。因此，通过使用第二 PSF的恢复处理得到的恢复图像不产生振铃噪声。返回到图9流程图的说明。图像变换部1400通过用与第二 PSF中的各输入图像对应的部分，将多个输入图像分别进行变换，从而生成变换图像(S104)。具体地说，在图像变换部1400中进行如图11所示的处理。图像变换部1400首先基于检测出的第二 PSF示出的晃动的时间和被拍摄的各输入图像的时间，决定第二 PSF中的各输入图像时间上对应的部分(S301)。具体地说，图像变换部1400例如将构成第二 PSF的多个的像素中的与输入图像时间上对应的晃动的像素 (例如ー个像素)决定为与输入图像对应的部分。接着，图像变换部1400使用与各输入图像对应的部分对多个的输入图像分别进行变换(S302)。具体地说，图像变换部1400按照以下的(式7)将输入图像Hii (x, y)转换为图像m/ (X，y)。例如，图像变换部1400如(式7)所示,根据输入图像和该输入图像对应的第二 PSF的部分的卷积分别生成变换图像。另外，在(式7)中，f^(x，y)示出与输入图像Hii (X, y)对应的第二 PSF的部分。式7:Iiii' (x, y) = f2t (x, y)^ (x, y) (式 7)其次，图像恢复部1500对劣化图像s' (x，y)通过实施使用了第二 PSF的恢复处理从而生成恢复图像(S105)。在此,劣化图像s' (X, y)是仅将变换图像mi ' (x, y)合成后图像，可由以下的(式8)求出。式8:
ηS\Xj) = ^ 爪/(X,少)(式 8)
i=l该劣化图像s' (x,y)相当于以在PSF不产生零点的方式来进行编码的劣化图像。另外，图像恢复部1500实行的恢复处理的算法没有特别地限定，也可以是公知的图像恢复处理的某ー个。图像恢复部1500例如能够使用公知的Richardson-Lucy(LR)法和维纳滤波(Wiener filter)法等来执行恢复处理。另外，图像恢复部1500也可以使用非专利文献I所公开的轮廓编码法来执行恢复处理。还有，图像恢复部1500最单纯的情况下也可以根据以下的(式9)生成恢复图像r(x，y)。式9:
U, 、S'M ,R(U,V)=-—~式 9)
ΓΔψ,ν)另外，在(式9)中，R(u，V)以及V (U，V)表示被转换到频域的恢复图像及被编码的劣化图像。即，通过将由(式9)算出的R(u，v)反变换到空间域，从而得到恢复图像r (x, y)。其次，图像输出部1600输出如上所述得到的恢复图像(S106)并结束处理。由此，恢复图像例如被记录到记录部500,或由显示部600显示。其次，为了补充本发明的实施方式所涉及的信号处理部200的处理的说明，对于恢复处理的仿真结果进行说明。另外，为了说明的方便，下面使用仅示出在X轴方向或者U轴方向的一个断面的图来进行说明。图12是表示理想图像的一个例子的图。另外，图13是表示理想图像的频率特性的一个例子的图。另外，图14是表示第一 PSF的一个例子的图。另外，图15是表示第一 PSF的频率特性的一个例子的图。另外，图16是表示劣化图像的一个例子的图。图17是表示劣化图像的频率特性的一个例子的图。在本仿真中将图12示出的信号设定为手抖动不存在的图像信号(理想图像)。图12横轴表示X轴方向的像素号码，纵轴表示像素值。另外，如图14所示来设定了第一 PSF。 在图14中横轴表不X轴方向的像素号码,纵轴表不PSF强度。并且，通过使用图14示出的第一PSF，对图12示出的理想图像实施模糊处理，从而得到在图16所示的劣化图像。图13、图15以及图17是示出将图12、图14以及图16示出的图像或PSF变换为频域时的频率特性。在图13、图15以及图17中，横轴表示u轴方向的空间频率，纵轴表示振幅值。如果看图15所示的第一 PSF的频率特性，可知第一 PSF在频域存在振幅值为零的空间频率(零点)。在此，首先，对以往的图像恢复方法的仿真结果进行说明。最单纯的图像恢复方法是(式5)所示的方法。因此，在本仿真中，将(式5)的图像恢复方法作为以往的图像恢复方法进行处理。图18是表示由以往的图像恢复方法得到的恢复图像的一个例子的图。图18表示的恢复图像是如下的图像通过使用图15所示的第一 PSF的频率成分按照每个频率对图17示出的劣化图像的频率成分进行除法运算而得到的图像。但是，如图15所示，在频域中包含第一 PSF的振幅值成为零的频率。因此，在以往的图像恢复方法中，振幅值成为零的频率无法进行(式5)所示的除法运算。因此，在振幅值成为零的频率中，将一定值(在本仿真设为“ 10”，但因为是不定值，值根据实现以及系统适宜地自由地设定)作为除法运算的结果来进行处理。根据图18所示的恢复图像可知，在以往的图像恢复方法中，在像素值变化的变化点无法正确恢复图像、而产生振铃噪声。其次，对于由本发明的实施方式所涉及的图像恢复方法的仿真结果进行说明。图19是示出第二 PSF的一个例子的图。另外，图20是示出第二 PSF的频率特性的一个例子的图。另外，图21是示出由本发明的实施方式所涉及的图像恢复方法而得到的恢复图像的一个例子的图。首先，PSF变换部1300参照图15示出的第一 PSF的频率特性探索振幅值比阈值fth小的频率。在本仿真中将阈值fth设定“O. 001”。并且，PSF变换部1300如图20所示，通过将探索的频率的振幅值变更为规定值pv，从而算出了第二 PSF。在这里，将规定值pv设定为“O. 5”。通过将图20示出的第二 PSF从频域反变换到空间域，从而能得到图19示出的第二 PSF。另外，根据图19可知，第二 PSF与以往不同也能成为负值。在专利文献3、专利文献4、非专利文献6、以及非专利文献7所公开的“Coded Exposure Photograhy”中，通过进行编码能够将以O I所表示的PSF的值临时地设置为O。即，示出以下方法通过将总和为I的PSF部分地设为O (即通过减少光量)，从而在频域振幅值不成为零。在本实施方式中，通过将PSF进行实数倍的变化，从而能以表示整体的光量的PSF的总和为I那样去除振Tl。接着，图像变换部1400使用与图19所示的第二 PSF中的各输入图像对应的部分对多个输入图像的每一个实施变换处理，从而生成多个的变换图像。这样被生成的多个的变换图像被合成的劣化图像，相当于被编码时得到的劣化图像。接着，图像恢复部1500使用对多个变换图像进行合成而得到的劣化图像和图19所示的第二 PSF来进行恢复处理，从而生成恢复图像。图21示出这样所生成的恢复图像。 如图21所示，根据本实施方式所涉及的图像恢复方法所得到的恢复图像与图12所示的理想图像相同。据此能够确认，根据本实施方式所涉及的图像恢复方法能够生成可以没有振铃的恢复图像。另外，在上述的仿真中，PSF变换部1300在频域的第一 PSF的振幅值成为小于阈值(fth = O. 001)的频率,变更了振幅值为规定值(pv = O. 5),但阈值fth及规定值pv不需要一定是这些的值。如果将规定值pv设置较大，因为确定的频率的振幅值变得大，所以在确定的频率的第二 PSF的PSF强度被放大。举一个极端的例子，仅在一频率的情况下，也存在第二 PSF的PSF强度很大地被放大的情况。像这样的情况下，在多个的输入图像中，确定的I张输入图像的辉度被放大，其他的输入图像的辉度被减少，能够生成被编码的劣化图像。对于多个的输入图像的每一个没有晃动，但图像亮度变暗。因此，如果过度地放大输入图像的辉度，则噪声的增加。因此，过度地放大规定值pv不是优选的。另外，如果将阈值fth设置较大，则各像素的第二 PSF的绝对值(PSF强度)变得大。其结果，各输入图像的像素值的放大量增加。因此，阈值fth过度地设置很大也不是优选的。根据以上情况，在上述实施方式中，PSF变换部1300优选一边变更规定值pv和阈值fth，一边探索PSF强度未变得过大的第二 PSF。具体地说，PSF变换部1300优选进行如下操作临时设定规定值pv和阈值fth，通过反复确认第二 PSF的PSF强度是否设置得过度地大，从而探索第二 PSF的PSF强度未变得过度地大时的规定值pv和阈值fth。即使这样探索规定值pv和阈值fth，也不需要像以往的非专利文献7 —样反复地进行使用PSF的恢复处理，所以能够抑制计算量的增加。再者，在上述仿真中，所谓规定值pv和阈值fth是在整个频带为一定值，也可以不
是一定值。可以认为振铃噪声是为图像的平坦部分(低周波成分)出现的噪声。在这里，规定值pv和阈值fth优选被设定为频率越小则值变得越大。即，优选对变更第一频率的振幅值时使用的规定值PV比对作为比第一频率高的频率的第二频率的振幅值进行变更时使用的规定值PV大。还有，优选在确定第一频率时使用的阈值fth比确定作为比第一频率高的频率的第二频率时使用的阈值fth大。由此，能够有效地降低作为在低频部分产生的噪声的振铃噪声。总之，信号处理部200使规定值pv根据频率进行变化，从而能够在振幅值变更的频率使低频率的振幅值比高频数的振幅值大。因此，信号处理部200能够有效地降低作为在低频区域产生的噪声的振铃噪声。并且，信号处理部200使阈值fth根据频率变化，从而能够在低频区域有效地排除成为振铃噪声的原因的小振幅值。因此，信号处理部200能够有效地降低作为在低频区域产生的噪声的振铃噪声。另外，也可以考虑输入图像的性质来设定阈值fth和规定值pv。如(式5)所示，在进行恢复处理的时候的除法运算中，分子是劣化图像的频率成分，分母是第二 PSF的频率成分。在作为分子的劣化图像的频率成分为O的情况下，除去作为分母的第二 PSF的频率成分为O吋，除法运算的结果为O。因此，频域的劣化图像的振幅值成为O的频率，优选阈值fth与规定值pv被设定为尽可能小的值。由此,能够降低因阈值fth和规定值pv变得大而产生的、输入图像的辉度被放大所致的噪声增加的影响。 另外，阈值fth和规定值pv也可以根据输入图像的噪声量来決定。S卩，阈值fth和规定值pv也可以由输入图像的S/N比来决定。具体地说，阈值fth和规定值pv优选为以输入图像产生的噪音越大则变得越小的方式来決定的值。例如，PSF变换部1300只要在存储器预先存储拍摄场面的亮度对应的阈值fth和规定值PV的组合，并从存储器读出拍摄输入图像时所测量的亮度所对应的阈值fth和规定值pv的组合，从而决定阈值fth和规定值pv即可。一般情况下，拍摄场面的越明亮则噪声变得越小。另外，PSF变换部1300也可以利用在拍摄条件(例如、ISO灵敏度)，或者输入图像的S/N比代替拍摄场面的亮度,来决定阈值fth和规定值pv。这样，以输入图像产生的噪声越大使阈值fth和规定值pv越小的方式来决定阈值fth和规定值pv,从而信号处理部200通过变更振幅值,能够在恢复图像中抑制噪声被放大这样的恶劣影响。如上所述，本实施方式所涉及的摄像装置100通过对表示经由多个的输入图像所产生的晃动的第一 PSF进行处理，从而在频域生成各频率的振幅值是阈值以上的第二 PSF。并且，摄像装置100使用第二 PSF的各部分，来转换各输入图像。这样对被转换的多个的输入图像进行合成而得到的图像相当于以在PSF不产生零点的方式来进行编码的劣化图像。即，摄像装置100能够与经由多个的输入图像所产生的晃动相适用地生成以在PSF不产生零点的方式被编码的劣化图像。因此，摄像装置100因为不需要预先决定编码模式所以能够可靠地抑制振铃的发生。并且，摄像装置100也不需要反复进行为了生成以在PSF不产生零点的方式来进行编码的恢复处理。因此，摄像装置100也能抑制处理负荷的増大。还有，本实施方式所涉及的摄像装置100在第一 PSF的振幅值小于阈值的频率变更振幅值从而生成第二 PSF。因此，摄像装置100能够根据经由多个的输入图像所发生的晃动生成适应的被编码的劣化图像。即，摄像装置100能够进一歩生成晃动少的恢复图像。以上，对本发明的一个实施方式所涉及的摄像装置100基于实施方式进行了说明，但本发明不限于这些的实施方式。只要不脱离本发明的宗_，在本实施方式中实施本领域技术人员想到的各种变形的方式也包含本发明的范围内中。
例如，在上述实施方式，PSF变换部1300通过将第一 PSF的振幅值变更为规定值来生成第二 PSF，但也可以根据其他的方法生成第二 PSF。具体地说，PSF变换部1300例如也可以生成确定的频率的振幅值为阈值以上的偏移PSF，在频域将偏移PSF和第一 PSF进行加法运算，从而生成第二 PSF。偏移PSF例如是如下的函数，仅确定了的频率的振幅值成为阈值以上的一定值，并且，其他的频率的振幅值成为O。另外，在上述实施方式中，PSF变换部1300仅在第一 PSF的振幅值小于阈值的频率改变振幅值，但在第一 PSF的振幅值成为阈值以上的频率也可以改变振幅值。例如，PSF变换部1300也可以在第一 PSF的振幅值成为小于阈值的频率的周围，改变振幅值以使振幅值的变化变得光滑。另外，本发明也可以作为具有信号处理部200所具有的特征的处理部的图像恢复装置来实现。具体地说，图像恢复装置10例如如图22所示构成即可。图22是表示本发明的一个实施方式所涉及的图像恢复装置10的功能结构的框 图。对图22所示的图像恢复装置10具有PSF取得部1200、PSF变换部1300、图像变换部1400、以及图像恢复部1500。这个图像恢复装置10与信号处理部200同样，使用连续拍摄的多个输入图像，与经由多个输入像产生的晃动相适应地生成以在PSF不产生零点方式被编码的劣化图像。从而，图像处理装置10能够抑制处理负荷的增大，同时能够可靠地抑制振铃的产生。还有，对图22表现的图像恢复装置10具有的结构元件的一部分或全部也可以由I个系统LSI (Large Scale Integration :大规模集成电路)所构成。例如，图像恢复装置10也可以由具有点扩散函数取得部1200、点扩散函数变换部1300、图像变换部1400、以及图像恢复部1500的系统LSI20所构成。系统LSI20是在I个芯片上集成多个的结构部而被制造的超多功能LSI，具体地说，是含有微处理器、ROM (Read Only Memory)、以及 RAM (Ramdom Access Memory)等而被构成的计算机系统。所述RAM存储有计算机程序。通过所述微处理器按照所述电脑程序进行动作，从而系统LSI实现其功能。另外，在这里设定为系统LSI，但根据集积度的差异，也被称为1C、LSI、超级LSI、ultraLSI。另外，集成电路的手法不限于LSI，也可以用专用电路或广泛使用的处理器来实现。LSI制造后，也可以利用可编程的FPGA(Field Programmable Gate Array :现场可编程门阵列)、或可重构LSI内部的电路单元的连接和设定的可重构(U - > 7 4 ￥ 二 9 O )处理器。进而，如果根据半导体技术的进步或派生的其他技术，替换LSI的集成电路化的技术出现，当然，也可以使用该技术来进行功能块的集成化。也有可能应用生物技术等。另外，本发明不仅可作为具备这样的特征的处理部的图像恢复装置来实现，也可以将图像恢复装置中包含的特征的处理部作为步骤的图像恢复方法来实现。另外，也能够作为计算机程序来实现，该程序使计算机执行图像恢复方法中所包含的特征的各步骤。并且，当然能够通过CD-ROM等的计算机可读取的记录介质或者因特网等的通信网络使那样的计算机程序流通。产业上的可利用性本发明的一实施方式所涉及的图像恢复装置，即使在拍摄图像时发生手抖动的情况或在被摄体的活动的情况下，也能够生成晃动少的图像晃动能生成少的图像，而用于数字相机、影片、或监控摄像头等。符号的说明10图像恢复装置20 系统 LSI100摄像装置200信号处理部240存储器300摄像部 310摄像元件320拍摄透镜325 快门330摄像元件驱动部345手抖动检测部350内部存储器500记录部600显示部1100图像输入部1200 PSF 取得部1300 PSF 变换部1400图像变换部1500图像恢复部1600图像输出部
权利要求
1.一种图像恢复装置，是降低对连续拍摄的多个输入图像进行合成而得到的图像所产生的晃动的图像恢复装置，该图像恢复装置具有 点扩散函数取得部，取得表示经由所述多个输入图像产生的晃动的第一点扩散函数； 点扩散函数变换部，以避免在频域的各频率的振幅值小于阈值的方式对所述第一点扩散函数进行处理，从而生成第二点扩散函数； 图像变换部，使用所述第二点扩散函数中的与各输入图像对应的部分，对所述多个输入图像分别进行变换，从而生成多个变换图像；以及， 图像恢复部，对将所述多个变换图像进行合成而得到的劣化图像实施使用了所述第二点扩散函数的恢复处理，从而生成恢复图像。
2.如权利要求I所述的图像恢复装置， 所述点扩散函数变换部在频域对所述第一点扩散函数的振幅值小于所述阈值的频率进行确定，并将确定了的所述频率的振幅值变更为所述阈值以上的规定值，从而对所述第一点扩散函数进行处理。
3.如权利要求2所述的图像恢复装置， 变更第一频率的振幅值时所使用的所述规定值，比变更第二频率的振幅值时所使用的所述规定值大，该第二频率为比所述第一频率高的频率。
4.如权利要求2所述的图像恢复装置， 所述规定值是以所述输入图像产生的噪声越大则就越小的方式被决定的值。
5.如权利要求2所述的图像恢复装置， 确定第一频率时所使用的所述阈值，比确定第二频率时所使用的所述阈值大，该第二频率为比所述第一频率高的频率。
6.如权利要求2所述的图像恢复装置， 所述阈值是以所述输入图像产生的噪声越大则就越小的方式被决定的值。
7.如权利要求I所述的图像恢复装置， 所述图像变换部基于所述第二点扩散函数表示的晃动被检测到的时间和各所述输入图像被拍摄的时间，决定所述第二点扩散函数中的与各输入图像在时间上对应的部分，并使用决定了的部分对多个所述输入图像分别进行变换。
8.如权利要求I所述的图像恢复装置， 所述点扩散函数变换部在频域对所述第一点扩散函数的振幅值小于所述阈值的频率进行确定，生成确定的所述频率的振幅值为所述阈值以上的偏移点扩散函数，将所述偏移点扩散函数与所述第一点扩散函数进行加法运算，从而生成所述第二点扩散函数。
9.一种集成电路，是降低对连续拍摄的多个输入图像进行合成而得到的图像所产生的晃动的集成电路，该集成电路具有 点扩散函数取得部，取得表示经由所述多个输入图像产生的晃动的第一点扩散函数； 点扩散函数变换部，以避免在频域的各频率的振幅值小于阈值方式对所述第一点扩散函数进行处理，从而生成第二点扩散函数； 图像变换部，使用所述第二点扩散函数中的与各输入图像对应的部分，对所述多个输入图像分别进行变换，从而生成多个变换图像；以及， 图像恢复部，对将所述多个变换图像进行合成而得到的劣化图像实施使用了所述第二点扩散函数的恢复处理，从而生成恢复图像。
10.一种图像恢复方法，是降低对连续拍摄的多个输入图像进行合成而得到的图像所产生的晃动的图像恢复方法，该图像恢复方法具有 点扩散函数取得步骤，取得表示经由所述多个输入图像产生的晃动的第一点扩散函数； 点扩散函数变换步骤，以避免在频域的各频率的振幅值小于阈值的方式对所述第一点扩散函数进行处理，从而生成第二点扩散函数； 图像变换步骤，使用所述第二点扩散函数中的与各输入图像对应的部分，对所述多个输入图像分别进行变换，从而生成多个变换图像；以及， 图像恢复步骤，对将所述多个变换图像进行合成而得到的劣化图像实施使用了所述第二点扩散函数的恢复处理，从而生成恢复图像。
11.一种计算机程序，用于使计算机执行权利要求10记载的图像恢复方法。
全文摘要
抑制处理负荷的增大，并且能够可靠地抑制振铃的产生。是降低对连续拍摄的多个输入图像的进行合成而得到的图像所产生的晃动的图像恢复装置(10)，具有点扩散函数取得部(1200)，取得表示经由所述多个输入图像产生的晃动的第一点扩散函数；点扩散函数变换部(1300)，以避免在频域的各频率的振幅值小于阈值方式对上述第一点扩散函数进行处理，从而生成第二点扩散函数；图像变换部(1400)，使用所述第二点扩散函数中的与各输入图像对应的部分对所述多个输入图像分别进行变换，从而生成多个变换图像；以及，图像恢复部(1500)，对将所述多个变换图像进行合成而得到的劣化图像实施使用了所述第二点扩散函数的恢复处理，从而生成恢复图像。
文档编号H04N5/232GK102687500SQ20118000412
公开日2012年9月19日 申请日期2011年8月4日 优先权日2010年8月5日
发明者石井育规 申请人:松下电器产业株式会社