图像处理装置、摄像装置、参数生成方法、图像处理方法及程序的利记博彩app
【技术领域】
[0001] 本发明涉及一种进行复原处理及锐化处理的图像处理装置、摄像装置、参数生成 方法、图像处理方法及程序，尤其涉及一种复原强度及锐化强度的调整方法。
【背景技术】
[0002] 在通过光学系统拍摄的被摄物图像中，因由光学系统引起的衍射或像差等的影响 而有时会观察到点被摄物具有微小扩散的点扩散现象。表示对光学系统的点光源的响应的 函数被称作点扩散函数(PSF:Point Spread Function)，作为影响摄影图像的分辨率劣化 (模糊)的参数而被公知。
[0003] 因点扩散现象而画质劣化的摄影图像，通过接受基于PSF的点像复原处理而可以 恢复画质。该点像复原处理为如下处理，即预先求出由构成光学系统的透镜的像差等引起 的劣化特性(点像特性），并通过使用了与该点像特性对应的复原滤波器(恢复滤波器)进行 的图像处理而消除摄影图像的点扩散。
[0004] 若摄影条件、透镜改变，则PSF发生变化，因此优选每次在摄影条件改变或者更换 透镜时，切换在点像复原处理中使用的复原滤波器，从而使用与新的摄影条件、重新安装的 透镜对应的复原滤波器，由此进行点像复原处理。
[0005] 作为可以在点像复原处理中使用的复原滤波器的代表例，已知有维纳(Wiener)滤 波器。若确定透镜的光学传递函数(〇TF:Optical Transfer Function)和取决于频率的摄 像系统31'1比（3181^1-1'1〇186瓜1:;[0)，则基于维纳滤波器的点像复原处理为在数学上唯一确 定的处理。
[0006] 并且，除了点像复原处理以外，有时进行用于改善画质的图像处理，例如，通过锐 化处理(轮廓增强处理、边缘增强处理及清晰度增强处理等）能够提高图像的锐度即清晰 度。
[0007] 作为有关上述点像复原处理及锐化处理的具体的处理方法，例如，专利文献1中公 开了使用减少相位劣化成分的图像恢复滤波器和减少振幅劣化成分的边缘增强滤波器进 行的图像处理。并且，专利文献2中公开了如下技术:进行〃在使用图像复原滤波器进行图像 复原处理之后进行边缘增强处理的手抖校正〃及〃只进行边缘增强处理的手抖校正〃。并且， 专利文献3中公开了根据拍摄时的光圈等条件来确定影像信号的轮廓成分的增强程度的技 术。并且，专利文献4中公开了通过根据边缘强度来选择复原强度不同的滤波器，由此根据 边缘强度改变复原滤波器自身强度的技术。
[0008] 以往技术文献
[0009] 专利文献
[0010] 专利文献1:日本特开2011-123589号公报 [0011] 专利文献2:日本特开2006-333061号公报 [0012] 专利文献3:日本特开2009-27750号公报
[0013] 专利文献4:日本特开2006-129236号公报
【发明内容】
[0014] 发明要解决的技术课题
[0015] 根据摄影场景(被摄物）、摄影条件，有时因点像复原处理而在图像中产生伪影(振 铃等），有时为了防止伪影等画质劣化而必须减弱点像复原处理的复原强度。伪影在理想条 件下的点像复原处理中不应该出现，但是在实际的处理中，因透镜和传感器的个体差异、点 像复原处理的前级的信号处理的非线形特性等，有时输入图像的频率特性变得不准确而产 生伪影。
[0016] 或者，在可切换点像复原处理的开启及关闭的图像处理系统中，有时将点像复原 处理设为关闭。在这种情况下，也可以进行未考虑透镜的光学特性(PSF、0TF)或维纳滤波器 设计基准而设计的〃根据与PSF不同的基准确定的图像处理〃。作为该〃根据与PSF不同的基 准确定的图像处理〃，例如有根据设计人员的主观评价进行的图像处理、根据用户喜好进行 的画质微调整、考虑到透镜的个体差异的由用户进行的清晰度微调整等。
[0017] 在此，若比较〃点像复原处理开启图像〃及〃点像复原处理关闭图像(〃根据与PSF不 同的基准确定的图像处理〃开启图像)〃，则会发生导致〃点像复原处理关闭图像〃的清晰度 比〃点像复原处理开启图像〃的清晰度强的情况。这在处理内容上是妥当的，但是即使是进 行了点像复原处理（画质恢复处理)的图像，由于与未进行点像复原处理的图像相比清晰度 减弱，因此有可能给用户带来实际图像的画质与直觉之间的不一致感。并且，还有〃点像复 原处理开启图像〃与〃点像复原处理关闭图像〃之间的清晰度的背离变得过大的情况，有可 能使用户感到操作性的不便。并且，有时以避免画质劣化等目的而变更复原强度，从而在进 行点像复原处理时也有可能带来同样的不便，在进行了点像复原处理的图像之间清晰度产 生偏差，导致给用户带来不适感。
[0018] 以往未提出，用于防止已实施复原强度不同的点像复原处理的图像之间的画质锐 度的偏差、以及〃点像复原处理开启图像〃与〃点像复原处理关闭图像〃之间的画质锐度的背 离的有效的建议。例如，在专利文献1中记载的装置中，使用图像恢复滤波器进行了图像处 理以及使用边缘增强滤波器进行了图像处理，但关于使两种图像处理相互有关联地调整图 像恢复度及边缘增强度，在专利文献1中没有公开或提出建议。并且，关于在专利文献2~4 中公开的图像处理技术也相同，关于在点像复原处理与锐化处理之间进行复原度及清晰度 的综合调整来实现图像锐度的统一，在专利文献2~4中并未公开或提出建议。
[0019] 本发明是鉴于上述情况而完成的，其目的在于提供一种即使改变点像复原处理的 复原强度或切换点像复原处理的开启及关闭也不会使图像锐度过度变化而能够稳定地进 行画质改善的图像处理技术及其相关技术。
[0020] 用于解决技术课题的手段
[0021] 本发明的一方式涉及一种图像处理装置，其具备:复原处理部，对通过使用光学系 统拍摄被摄物而从成像元件获得的图像数据，使用基于点扩散函数的复原滤波器进行复原 处理;锐化处理部，使用锐化滤波器对图像数据进行锐化处理;锐化恢复控制部，通过控制 复原处理部及锐化处理部，可调整基于复原处理的图像数据的复原率、及基于锐化处理的 图像数据的锐化率，锐化恢复控制部获得根据复原率及锐化率的总锐化复原率，并获得复 原率及锐化率中的一个，根据总锐化复原率来计算复原率及锐化率中的另一个。
[0022] 根据本方式，由于复原率及锐化率根据总锐化复原率而被确定，因此根据复原率 的增减来调整锐化率，或者根据锐化率的增减来调整复原率。从而，不会使基于复原处理的 复原强度以及基于锐化处理的锐化强度过度变化，而能够稳定地改善图像数据的画质。
[0023] 〃基于点扩散函数的复原滤波器〃为根据使用光学系统的点扩散函数(PSF)而生成 的逆滤波器、维纳滤波器等的复原滤波器，〃复原处理〃包括将这种复原滤波器应用于图像 数据的处理。并且〃点扩散函数〃为表示对光学系统的点光源的响应的函数，可以根据PSF及 OTF(MTF(Modulation Transfer Function)、PTF(Phase Transfer Function))表现。
[0024] 另一方面，就〃锐化滤波器〃而言，可以使用〃由光学系统的点扩散函数(PSF)利用 逆滤波器或维纳滤波器生成的滤波器(复原滤波器)〃以外的滤波器种类。从而，作为〃锐化 滤波器〃，例如能够适当地使用并非根据光学系统的点扩散函数的滤波器，可以采用基于点 扩散函数以外的其它要素(参数)计算的滤波器作为〃锐化滤波器〃。作为并非基于点扩散函 数的锐化滤波器，只要不是基于点扩散函数制作的滤波器，则可以采用点扩散函数对应于 不同的光圈值等而可切换的滤波器作为锐化滤波器。同样，可以采用点扩散函数对应于不 同的图像高度而可切换的滤波器作为锐化滤波器。并且，锐化处理中的锐化滤波器的强度 (增益)也可以对应于光圈值或图像高度而改变。
[0025] 〃锐化处理〃为对图像数据的高频成分进行补偿或增强的处理，是增强图像的轮廓 成分的处理。从而，例如被称作轮廓增强处理、边缘增强处理或清晰度增强处理的处理可以 包含于在本文提及的〃锐化处理〃中。
[0026]另外，复原滤波器及锐化滤波器能够作为FIR(Finite Impulse Response)滤波器 而构成。
[0027]优选锐化恢复控制部获得复原率，并根据总锐化复原率及复原率计算锐化率。 [0028]根据本方式，根据复原率来调整锐化率，并根据总锐化复原率并通过锐化率而能 够补偿由复原率的增减带来的影响。
[0029]优选锐化恢复控制部根据用户指定的指定恢复率来确定复原率。
[0030] 根据本方式，能够根据用户指定的指定恢复率来确定复原处理的复原率。
[0031] 优选根据表示光学系统的特性的光学特性信息来确定复原率。
[0032] 根据本方式，能够进行反映光学特性信息的复原处理。
[0033]优选光学系统具有存储光学特性信息的光学系统存储部，根据存储于光学系统存 储部中的光学特性信息来确定复原率。
[0034] 根据本方式，能够根据光学系统存储部所存储的光学特性信息来确定复原率，即 使在光学特性信息变动的情况下，也能够确定合适的复原率。例如在可更换光学系统的情 况下，本方式是优选的。
[0035] 优选锐化恢复控制部获得锐化率，并根据总锐化复原率及锐化率来计算复原率。
[0036] 根据本方式，按锐化率来复原率调整，并根据总锐化复原率并通过复原率而补偿 由锐化率的增减带来的影响。
[0037]优选锐化恢复控制部根据拍摄图像数据的摄影设定条件来确定锐化率。
[0038]根据本方式，能够通过与摄影设定条件对应的锐化率进行锐化处理。从而，例如， 即使摄影设定条件变动，也能够通过合适的锐化率来进行锐化处理。
[0039] 优选根据表示光学系统的特性的光学特性信息来确定锐化率。
[0040] 根据本方式，能够通过按照光学特性信息确定的锐化率进行锐化处理。从而，例 如，即使光学特性信息变动，也能够通过合适的锐化率进行锐化处理。
[0041] 优选光学系统具有存储光学特性信息的光学系统存储部，锐化率根据存储于光学 系统存储部中的光学特性信息而被确定。
[0042] 根据本方式，能够根据光学系统存储部所存储的光学特性信息来确定锐化率，即 使在光学特性信息变动的情况下，也能够确定合适的锐化率。例如，在可更换光学系统的情 况下，本方式是优选的。
[0043]优选光学特性信息包括光学系统所具有的透镜的种类信息。
[0044]根据本方式，按照光学系统所具有的透镜的种类信息，能够确定合适的复原率或 锐化率。光学特性被透镜的种类而左右，尤其点扩散现象通过每一种透镜所固有的PSF而被 确定。从而，通过考虑光学系统所具有的透镜的种类信息来确定基于点扩散函数的复原处 理的复原率，可发挥优异的复原效果，尤其，即使在光学系统的点扩散函数与复原滤波器的 匹配中存在偏差的情况下，也能够通过复原率而弥补偏差。并且，通过根据复原率及总锐化 复原率算出的锐化率进行锐化处理，从而能够稳定地改善图像数据的画质。
[0045]优选光学特性信息包括光学系统的个体差异信息。
[0046] 根据本方式，按照光学系统的个体差异信息能够确定合适的复原率或锐化率。光 学特性被各光学系统而左右，尤其，点扩散现象根据每一个光学系统固有的PSF而被确定， 即使为相同种类的光学系统，也根据制造误差等而存在个体差异。从而，通过考虑光学系统 的个体差异信息来确定基于点扩散函数的复原处理的复原率，可发挥优异的复原效果，尤 其，即使在光学系统的点扩散函数与复原滤波器的匹配中存在偏差的情况下，也能通过复 原率而弥补其偏差。并且，通过根据复原率及总锐化复原率算出的锐化率进行锐化处理，从 而能够稳定地改善图像数据的画质。
[0047] 另外，〃个体差异信息〃包括与因制造误差等而有可能在光学系统中个别地产生的 误差有关的信息。个体差异信息可以是直接表示个体差异的信息，也可以是间接表示的信 息，例如，可以将在光学系统中被分配的批号或编号用作个体差异信息。
[0048] 优选光学特性信息包括摄影设定条件。
[0049]根据本方式，按照摄影设定条件能够确定合适的复原率及锐化率。光学特性被摄 影设定条件而左右，尤其，点扩散现象根据每一个光学系统固有的PSF而被确定，但PSF通过 摄影设定条件而变动。从而，通过考虑摄影设定条件来确定基于点扩散函数的复原处理，可 发挥优异的复原效果，尤其，即使在光学系统的点扩散函数与复原滤波器的匹配中存在偏 差的情况下，也能够通过复原率而弥补其偏差。并且，通过根据复原率及总锐化复原率算出 的锐化率进行锐化处理，从而能够稳定地改善图像数据的画质。
[0050] 优选锐化恢复控制部获得在获得图像数据时的光学系统的光圈值，并将光圈值与 第1阈值进行比较，至少在光圈值表示与由第1阈值表示的光圈度相比光圈开启得大的情况 下，获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一 个。
[0051] 根据本方式，在光圈被开启的情况下，获得复原率及锐化率中的一个，并根据总锐 化复原率来计算复原率及锐化率中的另一个。
[0052] 优选锐化恢复控制部获得在获得图像数据时的摄影模式信息，在摄影模式信息表 示动态图像记录模式的情况下，将总锐化复原率保持为恒定。
[0053] 根据本方式，在动态图像记录模式中，总锐化复原率被保持为恒定，能够防止在动 态图像记录期间总锐化复原率发生变动。由此，能够良好地保持记录动态图像（图像数据） 的画质的连续性。
[0054] 优选与摄影模式信息表示静态图像记录模式的情况相比，在摄影模式信息表示动 态图像记录模式的情况下，锐化恢复控制部减小复原率。
[0055] 根据本方式，动态图像记录模式的复原率比静态图像记录模式的复原率小，在针 对动态图像的复原处理中，能够有效地防止过度校正等。
[0056] 优选复原滤波器根据拍摄图像数据的摄影设定条件而被确定。
[0057] 根据本方式，能够使用与摄影设定条件对应的复原滤波器进行复原处理。
[0058]优选摄影设定条件包括影响点扩散函数的设定条件。
[0059] 根据本方式，由于影响点扩散函数的设定条件作为摄影设定条件而被使用，因此 能够进行可以有效地去除点扩散现象的影响的图像处理(复原处理）。
[0060] 优选设定条件包括光圈信息、变焦信息、被摄物距离信息、及光学系统所具有的透 镜种类信息中的至少任一种
[0061] 根据本方式，能够进行可以有效地去除扩散现象的影响的图像处理(复原处理）。
[0062] 优选摄影设定条件包括不影响点扩散函数的摄影条件。
[0063] 根据本方式，能够进行可以有效地去除扩散现象以外的影响的图像处理。
[0064]优选摄影条件包括摄影灵敏度信息及摄影模式信息中的至少任一种。
[0065]根据本方式，能够根据摄影灵敏度信息及摄影模式信息中的至少任一种进行图像 处理。
[0066]优选图像处理装置还具备:复原滤波器存储部，存储多个光学系统的基于点扩散 函数的多个复原滤波器;及复原滤波器选择部，根据摄影设定条件，从复原滤波器存储部选 择用于拍摄图像数据的光学系统的基于点扩散函数的复原滤波器，复原处理部使用复原滤 波器选择部所选择的复原滤波器进行复原处理。
[0067] 根据本方式，从复原滤波器存储部选择基于摄影设定条件的复原滤波器而使用于 复原处理中，能够简单地进行复原滤波器的确定。
[0068] 优选复原滤波器共同使用于多个光学系统。
[0069] 根据本方式，由于复原滤波器共同使用于多个光学系统，因此能够简化复原滤波 器的确定处理，从而能够简单地进行复原处理。并且，由于复原滤波器可以共同使用于多个 光学系统，从而即使在光学系统的点扩散函数与复原滤波器的匹配中存在偏差的情况下， 也能够通过复原率而弥补其偏差。另外，通过根据复原率及总锐化复原率算出的锐化率进 行锐化处理，从而能够稳定地改善图像数据的画质。另外，在可更换光学系统的情况下，本 方式是优选的。
[0070] 优选复原滤波器共同使用于多个摄影设定条件。
[0071] 根据本方式，由于复原滤波器共同使用于多个摄影设定条件，因此简化了复原滤 波器的确定处理，并能够简单地进行复原处理。并且，由于复原滤波器共同使用于多个摄影 设定条件，从而即使在光学系统的点扩散函数与复原滤波器的匹配中存在偏差的情况下， 也能够通过复原率而弥补其偏差。另外，通过根据复原率及总锐化复原率计算的锐化率进 行锐化处理，从而能够稳定地改善图像数据的画质。
[0072] 优选多个摄影设定条件包括光学系统的变焦信息。
[0073] 根据本方式，由于复原滤波器共同使用于多个光学系统变焦条件，因此通过简化 复原滤波器的确定处理，从而能够简单地进行复原处理。
[0074] 优选锐化恢复控制部在第1频率中将总锐化复原率调整为目标锐化复原率。
[0075] 根据本方式，由通过目标锐化复原率来确定图像数据中的至少第1频率中的复原 率及锐化率，因此可以良好地保持至少第1频率中的图像成分的复原度及清晰度。
[0076] 另外，〃第1频率〃及〃目标锐化复原率〃并无特别限定，例如也可以根据用户的视觉 特性来确定〃第1频率〃及〃目标锐化复原率〃。
[0077]优选复原处理部及锐化处理部串联设置，图像数据在接受复原处理及锐化处理中 的一种处理之后，接受另一种处理。
[0078] 根据本方式，先后进行复原处理及锐化处理。
[0079] 优选复原处理部及锐化处理部并联设置，图像数据输入到复原处理部及锐化处理 部，通过复原处理而产生的图像数据的增减量数据和通过锐化处理而产生的图像数据的增 减量数据被相加。
[0080] 根据本方式，并行地进行复原处理及锐化处理。
[0081] 优选图像处理装置还具备进行图像数据的非线性处理的非线性处理部。
[0082] 根据本方式，在进行图像数据的非线性处理的系统中，能够确定合适的复原率及 锐化率。本文提及的非线性处理可以包括包含用一次方程式表示的运算处理以外的处理的 所有处理，具代表性的是，包括条件分支处理的处理成为非线性处理。
[0083]优选非线性处理部包含在复原处理部及锐化处理部中的至少任一个中。
[0084]根据本方式，即使在复原处理和/或锐化处理包括非线性处理的情况下，也能够确 定合适的复原率及锐化率。
[0085] 优选非线性处理为将图像数据中超过剪辑阈值的像素值调整为剪辑阈值的剪辑 处理。