专利名称：摄像系统及图像处理程序的利记博彩app
技术区域本发明涉及降低因摄像元件系所引起的随机噪声的摄像系统及图像处理程序。
背景技术：
在从摄像元件及其随付的模拟电路以及A/D转换器所获得的数字化的信号当中，一般包含有噪声成分，该噪声成份大致可分为固定模式噪声和随机噪声。
上述固定模式噪声主要为因摄像元件所引起的、如缺陷像素等所代表的噪声。
另一方面，随机噪声为在摄像元件及模拟电路中所产生的噪声，具有与白噪声特性相近似的特性。
关于后者的随机噪声，例如在特开2001-157057号公报中公开了如下的技术，即、使用静态常数项a、b、c和转换为密度值的信号电平D、通过N＝abcD、将噪声量N函数化、根据该函数来推测相对信号电平D的噪声量N、根据所推测的噪声量N来控制滤波的频率特性，由此来对信号电平进行适当的降噪处理。
另外，作为其他的例子，在特开2002-57900号公报中记载的技术是求出注目像素与其旁边的像素的差分值Δ、使用所求出的差分值Δ和静态常数项a、b，根据n＝a/(Δ+b)，使用移动平均法控制所使用的平均像素数n，并且在所求出的差分值Δ大于等于规定的阈值的情况下，不进行移动平均。通过采用这样的技术，可在不会使原信号的边缘等不发生恶化的情况下进行降噪处理。
但是，由于噪声量根据拍摄时的摄像元件的温度、曝光时间、增益等的原因而发生动态变化，因而在采用上述特开2001-157057号公报所记述的静态常数项的技术中，不能与适合拍摄时的噪声量的函数化相对应，噪声量的推测精度低。另外，虽然是根据噪声量来控制滤波的频率特性，但由于该滤波无论平坦部分还是边缘部分也不进行区别而实施同等的处理，因而在位于根据信号电平所推测的噪声为大的区域的边缘部会出现恶化。即、存在着不能与区别了原信号和噪声的处理相对应、不能很好地保存原信号的问题。
另外，上述特开2002-57900号公报所记述的技术，是通过与阈值的比较来进行是否实施移动平均法的选择，但由于该阈值也是在静态下所给与的，因而不能根据信号电平与噪声量不同的情况相对应，不能最恰当地控制平均像素数及移动平均法的选择。因此，不能与正确的噪声量的推测和噪声的降低处理相对应，会产生噪声成分的残存及原信号的恶化等的情况。
还有，在拍摄时的状况及被摄体有差异的情况下，例如在皮肤等的平坦的被摄体和具有纹理结构的被摄体中，即使为相同的噪声量，主观上的评价也会不同的，但在上述的以往技术中，存在着不能对应这样的情况、即使实施了降噪处理、也并不一定能够得到主观上最适合的图像的问题。
发明内容
简单地来讲，本发明的摄像系统具有噪声推测部，以每个像素或以每个由多个像素构成的规定的单位面积来推测来自通过排列多个像素而构成的摄像元件的数字化的信号中所包含的噪声量；和降噪部，根据该噪声推测部所推测的噪声量来降低上述信号中的噪声。
图1是表示本发明的第1实施方式的摄像系统的构造的方框图。
图2是表示上述第1实施方式的噪声推测部的构造的方框图。
图3是表示上述第1实施方式的OB区域的配置例的图。
图4是表示在上述第1实施方式中、OB区域的方差和摄像元件的温度的关系的曲线图。
图5是说明在上述第1实施方式中将噪声量进行定式化的曲线图。
图6是说明在上述第1实施方式中将噪声量进行定式化所使用的参数的曲线图。
图7是表示上述第1实施方式的降噪部的构造的方框图。
图8是表示本发明的第2实施方式的摄像系统的构造的方框图。
图9是表示上述第2实施方式的滤色镜的原色Bayer型滤色镜的构造图。
图10是表示上述第2实施方式的噪声推测部的构造的方框图。
图11是表示上述第2实施方式的降噪部的构造的方框图。
图12是表示在上述第2实施方式的计算机中图像处理程序所进行的降噪处理的流程图。
图13是表示本发明的第3实施方式的摄像系统的构造的方框图。
图14是表示上述第3实施方式的滤色镜的原色Bayer型滤色镜的构造图。
图15是表示上述第3实施方式的拍摄状况推测部的构造的方框图。
图16是说明在上述第3实施方式中评价测光用的分割图像的图。
图17是表示上述第3实施方式的噪声推测部的构造的方框图。
图18是说明在上述第3实施方式中将噪声量进行定式化的曲线图。
图19是说明在上述第3实施方式中将噪声量进行定式化的曲线图。
图20是说明在上述第3实施方式中将噪声量进行定式化所采用的参数的曲线图。
图21是表示上述第3实施方式的降噪部的构造的方框图。
图22是表示本发明的第4实施方式的摄像系统的构造的方框图。
图23是表示上述第4实施方式的拍摄状况推测部的一个构造例的方框图。
图24是表示上述第4实施方式的噪声推测部的构造的方框图。
图25是表示在上述第4实施方式的计算机中图像处理程序所进行的降噪处理的一部分的流程图。
图26是表示在上述第4实施方式的计算机中图像处理程序所进行的降噪处理的另外一部分的流程图。
具体实施例方式
下面，结合附图对本发明的实施方式进行说明。
图1～图7表示了本发明的第1实施方式，图1是表示摄像系统的构造的方框图、图2是表示噪声推测部的构造的方框图、图3是OB区域的配置例的图、图4是表示OB区域的方差和摄像元件的温度的关系的曲线图、图5是说明将噪声量进行定式化的曲线图、图6是说明将噪声量进行定式化所采用的参数的曲线图、图7是表示降噪部的构造的方框图。
该摄像系统如图1所示，具有将被摄体进行成像的透镜系统1；和配置在该透镜系统1内的、规定通过该透镜系统1的光束的通过范围的光圈2；将不需要的高频成分从上述透镜系统1的成像光束中除去的低通滤波器3；通过该低通滤波器3将所成像的光学的被摄体像进行光电转换、并输出电图像信号的黑白用的摄像元件的CCD4；对该CCD4输出的图像信号进行相关双重取样的CDS(相关双重取样器Correlated DoubleSampling)5；将该CDS5所输出的信号进行放大的放大器6；将该放大器6所放大的模拟图像信号转换为数字信号的A/D转换器7；将该A/D转换器7所输出的数字图像数据暂时存储的图像用缓冲寄存器8；根据该图像用缓冲寄存器8所存储的图像数据、进行与被摄体有关的测光评价、根据该评价结果来进行上述光圈2、CCD4、放大器6的控制的测光评价部9；根据上述图像用缓冲寄存器8所存储的图像数据、进行焦距检测、根据检测结果来驱动后面所述的AF马达11的焦距检测部10；由该焦距检测部10所控制的、对上述透镜系统1所包含的焦距镜头等进行驱动的AF马达11；根据上述图像用缓冲寄存器8所存储的图像数据、如后面详细说明的那样进行噪声推测的作为噪声推测装置的噪声推测部13；采用该噪声推测部13的推测结果，对从上述图像用缓冲寄存器8中所读出的图像数据进行降噪的作为降噪装置的降噪部12；将该降噪部12所输出的图像数据进行处理的信号处理部14；为了将来自该信号处理部14的图像数据记录到例如存储卡等内而进行输出的输出部15；具有对电源开关、快门按钮、切换各种拍摄模式的模式开关等的接口的外部I/F部17；控制部16，该控制部16是由与上述CDS5、放大器6、A/D转换器7、测光评价部9、焦距检测部10、降噪部12、噪声推测部13、信号处理部14、输出部15、外部I/F部17双向连接，并对包含上述各部分的该摄像系统进行统一控制的微型计算机等构成的控制装置，并兼有作为参数计算装置和快门速度计算装置的功能。
下面，对图1所示的摄像系统的信号的流向进行说明。
该摄像系统其构造为可以通过外部I/F部17来设定ISO感光度等的拍摄条件，在进行了这些设定后，通过将由双段式按钮开关构成快门按钮按下一半，进入到预拍摄模式。
在CDS5中，通过公知的相关双重取样，作为模拟信号，读出通过上述透镜系统1、光圈2、低通滤波器3、由CCD4所拍摄并输出的影像信号。
将该模拟信号通过放大器6放大规定的量，通过A/D转换器7转换为数字信号，并转送到图像用缓冲寄存器8。
然后，将图像用缓冲寄存器8内的影像信号转送到测光评价部9和焦距检测部10。
测光评价部9求出图像的亮度电平，考虑到所设定的ISO感光度及手晃动限度的快门速度等，将镜头2的光圈值及CCD4的电子快门速度、放大器6的放大率等控制为适当的曝光。
另外，焦距检测部10检测出图像中的边缘强度，使该边缘强度为最大来控制AF马达11，得到聚焦图像。
通过实施此种预拍摄模式，完成了正式拍摄的准备，然后，当通过外部I/F部17检测出快门按钮被全部按下时，正式拍摄进行了。
根据测光评价部9所出得的曝光条件和焦距检测部10所求出的焦距条件来进行该正式拍摄，并将这些拍摄时的条件转送到控制部16。
这样，当进行正式拍摄时，和预拍摄时一样将影像信号转送到图像用缓冲寄存器8、并进行储存。
将该图像用缓冲寄存器8内的影像信号转送到噪声推测部13，并通过控制部16，同时也将测光评价部9所求出的曝光条件及外部I/F部17所设定的ISO感光度等的拍摄条件转送到该噪声推测部13。
噪声推测部13根据上述信息和影像信号，对每个规定尺寸、例如在本实施方式中对每个像素(像素单位)计算出噪声量，将所计算出的噪声量转送到降噪部12。根据控制部16的控制，与降噪部12的处理同步来进行该噪声推测部13的噪声量的计算。
降噪部12根据噪声推测部13所计算出的噪声量，对图像用缓冲寄存器8内的影像信号进行降噪处理，并将处理后的影像信号转送到信号处理部14。
信号处理部14根据控制部16的控制，对降噪后的影像信号进行公知的强调处理及压缩处理等，并将处理后的影像信号转送到输出部15。
输出部15将所接收到的影像信号进行记录、保存到存储卡等内。
下面，结合图2对噪声推测部13的构造的例子进行说明。
该噪声推测部13具有根据控制部16的控制，从图像用缓冲寄存器8所存储的影像信号中抽出如图3A所示的设置在CCD4的图像区域右侧的OB(光学黑)区域的信号的OB区域抽出部21；和将该OB区域抽出部21所抽出的OB区域的信号进行存储的第1缓冲寄存器22；作为读出该第1缓冲寄存器22所存储的OB区域的信号、计算出方差值，并采用与上述控制部16所转送来的曝光条件有关的信息对该方差值进行上述放大器6的放大量的校正的方差计算装置的方差计算部23；作为将事先所计测的方差值和摄像元件的温度的关系进行记录的温度推测装置的温度推测用ROM25；作为根据上述方差计算部23所输出的方差值和来自该温度推测用ROM25的信息、求出摄像元件的温度的参数计算装置的、温度推测装置的温度推测部24；作为从图像用缓冲寄存器8所存储的影像信号中抽出规定位置的规定尺寸的局部区域的信号值计算装置的局部区域抽出部26；将该局部区域抽出部26所抽出的局部区域的信号进行存储的第2缓冲寄存器27；作为读出该第2缓冲寄存器27所存储的局部区域的信号、计算出平均值、并作为注目像素的信号值电平进行输出的参数计算装置的、信号值计算装置的平均计算部28；作为根据与上述控制部16所转送的曝光条件有关的信息(ISO感光度、曝光信息、白平衡信息等)、计算出上述放大器6的放大量的参数计算装置的增益计算装置的增益计算部29；作为在省略了其中任何一个参数的情况下附加标准值的附加装置的标准值附加部30；作为将推测噪声量时所采用的、后面所述的函数的参数进行存储的系数计算装置的参数用ROM32；作为根据该参数用ROM32所读出的参数和上述温度推测部24或上述标准值附加部30所输出的摄像元件的温度、上述平均计算部28或上述标准值附加部30所输出的信号值电平、上述增益计算部29或上述标准值附加部30所输出的放大量、以及上述控制部16或上述标准值附加部30所输出的快门速度的信息，根据规定的公式来推测注目像素的噪声量的噪声量计算装置的系数计算装置的系数计算部31；作为采用该系数计算部31所输出的系数、采用后面所述的被定式化的函数来计算出噪声量的噪声量计算装置的函数运算装置的函数计算部33；作为将该函数计算部33所输出的噪声量限制在不超过规定的阈值、并输出到上述降噪部12的上限值设定装置的上限设定部34。
上述局部区域抽出部26在本实施方式中，由于在后面所说明的降噪部12的处理分离为水平方向和垂直方向，因而在水平方向处理的情况下例如以4×1尺寸单位、在垂直方向处理的情况下例如以1×4尺寸单位按顺序一边对图像整体进行扫描一边进行抽出。该局部区域抽出部26的处理是和降噪部12的处理同步进行的。
另外，上限设定部34对理论上的噪声量的降低处理，是考虑到主观上过量的情况所设定的。即、在噪声量大的情况下，要想将其完全去除的话，会损坏原信号，在主观上当然会有图像质量恶化了的感觉。因此，即使残存有噪声成分，也要优先保存原信号，从而提高总体的图像质量。另外，也可以通过外部I/F 17来操作该上限设定部34的功能，通过控制部16使其停止操作。
还有，上述控制部16与上述OB区域抽出部21、方差计算部23、温度推测部24、局部区域抽出部26、平均计算部28、增益计算部29、标准值附加部30、系数计算部31、函数计算部33、上限设定部34进行双向连接并对其进行控制。
结合图4对在上述温度推测部24中所推测的OB区域的方差和摄像元件的温度的关系进行说明。
如图所示，可以知道摄像元件的温度随着OB区域的方差变大，在描绘曲线的同时会一直增加、上升起来。
在没有射入光的OB区域的随机噪声，暗电流噪声成为主导，该暗电流噪声与摄像元件的温度有关。
因此，作为方差值，计算出OB区域的随机噪声，事先对该方差值和摄像元件的温度变化的关系进行计测并存储到温度推测用ROM25内。这样，温度推测部24可以根据方差计算部23所计算出的方差值，采用温度推测用ROM25所存储的对应关系来推测摄像元件的CCD4的温度。
另外，在以上所述中，是无论在摄像元件上的哪个位置、均将摄像元件的温度视为相同的并只求得一个温度的，但并没有必要限定于此，也可以求出装置上的各点的局部的温度。
例如，如图3B所示，也可以将OB区域配置在图像区域的四边，对图像中的特定板块求出分别位于相当于上端、下端、左端、右端的OB区域的方差值，通过将这些方差值进行线形内插来求出对特定板块的方差值。这样，即使在摄像元件的温度为不均等的情况下，也可以进行高精度的温度推测。
下面，结合图5A、图5B对系数计算部31在推测注目像素的噪声量时所采用的噪声量的定式化进行说明。
将对信号值电平L的噪声量N的函数，如以下公式(1)所示那样来进行定式。
N＝ALB+C ……(1)在这里，A、B、C为常数项，是将常数项附加到形成信号值电平L的取幂的函数中。
当绘成此种函数的、例如A＞0、0＜B＜1、C＞0时的大概形状时，成为图5A所示的形状。
但是，噪声量N并不只依赖于信号值电平L，除此以外，也因摄像元件的CCD4的温度及放大器6的增益而产生变化。因此，图5B所示的例子是将这些要素也考虑在内的例子。
即、在上述公式1中，取代常数项的A、B、C、如公式(2)所示那样引入将温度T和增益G作为参数的a(T、G)、b(T、G)、c(T、G)。
N＝a(T、G)Lb(T、G)+c(T、G)……(2)图5B为在多个温度T(在图中所示的例子中为温度T1～T3)的多个增益G(在图中所示的例子中为1、2、4倍)的情况下，绘成了该公式(2)所示的曲线。
图5B是将独立变量作为信号值电平L、将从属变量作为噪声量N来进行表示的，在与这些变量相正交的方向上，将参数的温度T作为座标轴来进行描绘。这样，可以读出T＝T1所表示的平面内、T＝T2所表示的平面内、T＝T3所表示的平面内的各个信号值电平L的噪声量N。这时，并通过在各平面内描绘多个曲线来表示参数的增益G的曲线形状的变化。
各参数所表示的各个曲线，形成和图5A所示的公式(1)的曲线几乎类似的形态，当然，各系数a、b、c根据温度T及增益G的各值而不同。
图6A、图6B、图6C分别表示了上述函数a(T、G)、上述函数b(T、G)、上述函数c(T、G)的特性的大致的情况。
这些各个函数由于为将温度T和增益G作为独立变量的双变量函数，因而将图6A～图6C描绘为3维座标，而成为该被描绘的空间的曲面。但是，在这里，取代用图表示具体的曲面形状、而是采用曲线表示了大概的特性变化的情况。
通过将温度T和增益G作为参数引入到此种函数a、b、c内，来输出各常数项A、B、C。并且，通过事先测定包含CCD4及放大器6的摄像元件系的特性，可以很容易地取得这些函数的具体的形状。
但是，在随机噪声中，随着曝光时间变长有增加的倾向。因此，即使为相同的曝光量，当快门速度和光圈值的组合不同时，所产生的噪声量会出现差异。因此，结合图6D对也考虑到了这样的差异来进行校正的例子进行说明。
在这里，引入将快门速度S作为参数的校正系数d(S)，通过用公式2乘以该校正系数的方法，可以进行公式(3)所示的定式化的校正。
N＝{a(T、G)Lb(T、G)+c(T、G)}d(s) ……(3)通过事先测定摄像元件系的特性，可以得到该校正系数d(S)的函数形状，例如形成图6D所示的形状。图6D表示了对快门速度S的噪声量的增加部分D的情况。
如该图6D所示，噪声量的增加部分D具有当快门速度S变得小于某阈值STH(为长时间曝光)时会急速上升的性质。因此，也可以将快门速度S分为大于该阈值STH或小于该阈值STH两种，在长时间曝光的情况下采用函数的d(S)、在短时间曝光的情况下采用固定的系数来使之简单化。
将上述的4个函数a(T、G)、b(T、G)、c(T、G)、d(S)记录到上述参数用ROM32内。另外，对快门速度的校正，并不一定要准备函数，也可以准备其他的方式、例如表格等。
系数计算部31采用将动态所取得的(或从标准值附加部30所取得的)温度T、增益G、快门速度S作为输入参数记录到参数用ROM32内的4个函数，来计算出各系数A、B、C、D。
函数计算部33通过将根据该系数计算部31计算出的各系数A、B、C、D用于上述公式3，来决定用来计算噪声量N的函数形状，并通过该系数计算部31并根据从上述平均计算部28输出的信号值电平L来算出噪声量N。
这时，在每次拍摄时并没有必要要求出温度T、增益G、快门速度S等的各参数。例如，由于从电源接通时到经过了一定的时间温度T为稳定的，因而也可以在稳定后，控制部16让标准值附加部30将在温度推测部24中所计算出的温度信息进行存储，可以省略以后的计算过程、采用从该标准值附加部30所读出的温度信息。这样，标准值附加部30在没有得到来自温度推算部24、平均计算部28、增益计算部29、控制部16等的参数的情况下，设定标准的参数来进行输出，这样，可以达到处理的高速化及电力节省化。另外，标准值附加部30除此以外，也可以对必要的参数输出标准的值。
下面，结合图7对降噪部12的构造例进行说明。
该降噪部12具有以水平线单位按顺序从上述图像用缓冲寄存器8中抽出影像信号的水平线抽出部41；以像素单位对该水平线抽出部41所抽出的水平线的影像信号实施扫描、将来自后面所述的阈值设定部46的阈值作为噪声量、进行公知的磁滞平滑处理的平滑装置的第1平滑处理部42；通过将该第1平滑处理部42所实施了平滑处理的水平线按顺序进行存储，来存储一个画面量的影像信号的缓冲寄存器43；在一个画面量的影像信号被储存到该缓冲寄存器43后，以垂直线单位、按顺序从该缓冲寄存器43中抽出影像信号的垂直线抽出部44；作为以像素单位对该垂直线抽出部44所抽出的垂直线的影像信号实施扫描、将来自后面所述的阈值设定部46的阈值作为噪声量、进行公知的磁滞平滑处理、并按顺序输出到上述信号处理部14的平滑处理装置的第2平滑处理部45；作为根据上述水平线抽出部41所抽出的水平线、或上述垂直线抽出部44所抽出的垂直线，以像素单位取得上述噪声推测部13所推测的噪声量，将噪声的振幅值作为阈值(微小振幅值)来设定，并输出到上述第1平滑处理部42或上述第2平滑处理部45的阈值设定装置的阈值设定部46。
在这里，上述第1、第2平滑处理部42、45的磁滞平滑处理是通过控制部16的控制、与噪声推测部13的动作及阈值设定部46的动作同步来进行的。
另外，上述控制部16与上述水平线抽出部41、垂直线抽出部44、阈值设定部46进行双向连接，并对其进行控制。
另外，在上述中，是以像素单位来推测噪声量的，但并不限定于此，例如也可以以2×2像素及4×4像素等的任意的规定的每个单位面积来推测噪声量。在该情况下，噪声推测的精确度会下降，但另一方面有可以更加高速地进行处理的优点。
根据此种第1实施方式，由于以每个像素或每个单位面积来推测噪声量、实施适合局部的噪声量的降噪处理，因而可以最恰当地从明亮部到暗部进行降噪，可以得到高品质的图像。
另外，由于每次拍摄都可以在动态的情况下求出与噪声量相关的各种参数、并根据这些参数计算出噪声量，因而每次拍摄可以在动态的情况下适应不同的条件，可以进行高精度的噪声量的推测。
还有，由于将噪声量作为阈值来进行设定、将该阈值以下的信号作为噪声来除去，因而可以将该值以上的信号作为原信号来进行保存，可以得到边缘部没有恶化的、只降低了噪声的高品质的图像。
并且，由于对所计算出的噪声量将其限制在不超过规定的上限值，因而可以防止进行过量的降噪处理，确保对原信号的边缘成分的保存性。这时，由于可以通过操作来设定是否设定上限值，因而可以更主观地选择能够得到好的画面质量的的方法。
还有，由于通过在注目像素的邻近区域实施平均化、取得注目像素的信号电平，因而可以减少噪声成分的影响，可以进行高精度的噪声量的推测。
另外，由于根据摄像元件的OB区域的方差值来推测该摄像元件的温度、并作为噪声量推测的参数，因而可以在动态的情况下适应拍摄时的温度变化，可以进行高精度的噪声量的推测。这时，由于利用了OB区域，因而可以实现低成本的摄像系统的目的。
由于根据ISO感光度、曝光信息、白平衡信息来求出拍摄时的增益量、并作为噪声量推测的参数，因而可以在动态的情况下适应拍摄时的增益变化，可以进行高精度的噪声量的推测。
由于与所使用的快门速度相对应来求出与噪声有关的校正量，因而可以在动态的情况下适应拍摄时的快门速度，即使对在长时间曝光时所增加的噪声也可以进行高精度的噪声量的推测。
由于对在拍摄时没能得到的参数设定标准值，和所得到的参数同时求出计算噪声量的系数、并根据该系数计算出噪声量，因而即使在拍摄时没有得到所需要的参数的情况下，也可以进行噪声量的推测，可以得到稳定的降低噪声的效果。另外，由于噪声量的计算是采用函数，因而所必要的存储量很少，可以实现低成本化。并且，通过有意识地省略一部分参数的计算，也可以达到低成本化及电力节省化。
这样，根据本实施方式，即使给与噪声量影响的原因为动态变化的，也可以与其相对应恰当地降低噪声量，得到高品质的图像。
图8～图12表示了本发明的第2实施方式，图8是表示摄像系统的构造的方框图、图9是表示滤色镜的原色Bayer型的滤色镜的构造图、图10是表示噪声推测部的构造的方框图、图11是表示降噪部的构造的方框图、图12是表示在计算机中图像处理程序所进行的降噪处理的流程图。
在该第2实施方式中，对于和上述第1实施方式相同的部分附以相同的符号并省略说明，主要只对不同的地方进行说明。
该第2实施方式的摄像系统如图8所示，在上述第1实施方式的构造的基础上，具有配置在上述CCD4的前面的、如原色Bayer型滤色镜51；构成被配置在该CCD4的旁边的、用于实时计测该CCD4的温度并将计测结果输出到上述控制部16的参数计算装置的温度传感器52；根据上述图像用缓冲寄存器8所存储的影像信号、实施简单的白平衡检测、并根据该结果来控制上述放大器6的预置白平衡部53；作为读出上述图像用缓冲寄存器8所存储的影像信号、进行颜色信号的分离、并输出到上述降噪部12和上述噪声推测部13的分离装置的颜色信号分离部54，预置白平衡部53和颜色信号分离部54与上述控制部16进行双向连接并受其控制。
该图8所示的摄像系统的信号的流向，和上述第1实施方式基本相同，只对不同的部分进行说明。
当通过将快门按钮按下一半、进入到预拍摄模式时，通过CCD4拍摄通过滤色镜51的被摄体图像，并作为影像信号进行输出。
将该影像信号实施在第1实施方式中所说明的处理，并作为数字的影像信号存储到图像用缓冲寄存器8内。在将该图像用缓冲寄存器8所存储的影像信号转送到上述测光评价部9及焦距检测部10的同时，并转送到预置白平衡部53。
该预置白平衡部53通过对每个颜色信号累计影像信号中的规定亮度电平的信号，计算出简单白平衡系数并转送到放大器6。
放大器6采用从预置白平衡部53所取得的简单白平衡系数，通过对每个颜色信号乘以不同的增益来进行白平衡调整。
接下来，在当检测出快门按钮被全部按下时、根据测光评价部9所求出的曝光条件和焦距检测部10所求出的焦距条件、预置白平衡部53所求出的白平衡系数进行正式拍摄的同时，将这些拍摄条件转送到控制部16。
在将由正式拍摄所取得的影像信号存储到图像用缓冲寄存器8内后，转送到颜色信号分离部54，进行滤色镜的每个颜色的分离。
配置在CCD4的前面的上述滤色镜51的滤色镜构造，为如上述那样的、如图9所示的原色Bayer型，即、以2×2像素为基本单位，将绿色(G1、G2)的滤色镜配置在对角位置上，将红色(R)和蓝色(B)的滤色镜配置到剩下的对角位置上。另外，绿色滤色镜G1、G2为相同的光学特性的滤色镜，但在这里为了处理上的方便，作为G1、G2来进行区别。
颜色信号分离部54根据这4个种类的滤色镜R、G1、G2、B，将图像用缓冲寄存器8内的影像信号进行分离，该分离动作是根据控制部16的控制、与降噪部12的处理及噪声推测部3的处理同步来进行的。
颜色信号分离部54所分离的各种颜色信号被转送到噪声推测部13，如上述那样进行噪声量的推测，在降噪部12中采用该推测结果来进行噪声的降低处理，将处理后的各种颜色信号归纳起来转送到信号处理部14。其后的动作和上述的第1实施方式相同。
下面，结合图10对本实施方式的噪声推测部13的构造的例子进行说明。
该噪声推测部13的基本构造和上述的第1实施方式的图2所示的构造相同，将相同的名称及符号附加发挥相同功能的构造要素。
该噪声推测部13具有对上述颜色信号分离部54所输出的每个颜色信号抽出规定位置的规定尺寸的局部区域的局部区域抽出部26；将该局部区域抽出部26所抽出的局部区域的颜色信号进行存储的缓冲寄存器61；根据与上述控制部16所转送的曝光条件相关的信息和与白平衡系数相关的信息，计算上述放大器6的放大量的增益计算部29；在省略了任何一个参数的情况下，附加标准值的标准值附加部30；读出上述缓冲寄存器61的信号，计算出平均值和方差值，将平均值作为注目像素的信号值电平转送到查寻表部63，并且为了将方差值作为降噪部12的控制参数来使用而转送到控制部16的均方差计算部62；和作为查寻表装置的查寻表部63。该查寻表部63是采用和上述的第1实施方式相同的方法构筑上述控制部16或标准值附加部30所输出的快门速度、与上述温度传感器52或标准值附加部30所输出的摄像元件的温度有关的信息、上述增益计算部29或标准值附加部30所输出的放大量、上述均方差计算部62或标准值附加部30所输出的信号值电平与噪声量之间的关系，并作为查寻表记录的噪声量计算装置。
这样，将通过查寻表部63所得到的噪声量转送到降噪部12。
另外，上述局部区域抽出部26的处理是和降噪部12的处理同步进行的，为了以板块单位进行后面所述的降噪部12的处理，在本实施方式中，例如以4×4像素单位按顺序一边对整体图像进行扫描一边进行抽出。
另外，上述控制部16与上述局部区域抽出部26、均方差计算部62、增益计算部29、标准值附加部30、查寻表部63进行双向连接，并对其进行控制。
下面，结合图11对降噪部12的构造的例子进行说明。
该降噪部12具有为根据上述噪声推测部13所推测的噪声量来设定滤色镜尺寸的控制值设定装置的尺寸设定部74；和将注目像素包含在内(例如以注目像素作为中心)、从上述颜色信号分离部54所输出的各种颜色信号中抽出相当于该尺寸设定部74所设定的滤色镜尺寸的像素板块的局部区域抽出部71；作为将与事先所设定的滤色镜尺寸相对应的系数进行记录的平滑处理装置的系数用ROM75；根据上述尺寸设定部74所设定的滤色镜尺寸，从上述系数用ROM75中读取所对应的滤色镜尺寸的系数，对上述局部区域抽出部71所抽出的像素板块进行公知的平滑化的平滑处理的平滑处理装置的滤色部72；使所有颜色与CCD4的信号输出位置相对应来存储该滤色部72所输出的、被进行了滤色处理的各种颜色信号的缓冲寄存器73。
上述尺寸设定部74根据噪声推测部13所推测的噪声量，例如从1×1像素～9×9像素的滤色镜尺寸中、使噪声量在小的时候为小尺寸、在大的时候为大尺寸来进行选择。该滤色镜尺寸为控制平滑化处理的频率特性的控制值，这样，根据噪声的频率特性来进行降低影像信号中的特定频率频带的平滑处理(平滑化处理)。
还有，该尺寸设定部74从上述控制部16接收与注目像素旁边的信号值电平相关的方差值信息，在该方差值为小的情况下，将注目像素识别为平坦区域，在大的情况下，识别为边缘区域，根据该识别结果，在为平坦区域的情况下，不进行滤色镜尺寸的校正，在为边缘区域的情况下，将滤色镜尺寸校正为更小的尺寸。
另外，通过对每个各种颜色信号反复进行如同上述的处理，来对所有的颜色实施滤色处理，然后，读出缓冲寄存器73所存储的各种颜色信号，由上述信号处理部14进行处理。
另外，上述控制部16与上述局部区域抽出部71、滤色部72、尺寸设定部74进行双向连接，并对其进行控制。
还有，在上述说明中是以通过硬件来进行处理为前提的，但并不限于此，也可以通过软件来进行处理。
例如，也可以将CCD4所输出的影像信号作为未处理的Raw数据搁置起来，将来自上述控制部16的拍摄时的温度、增益、快门速度等的信息作为标题信息附加到该Raw数据中。将被被附加了该标题信息的Raw数据输出到计算机等的处理装置内，在该处理装置中，通过软件来进行处理。
结合图12对在计算机中通过图像处理程序来进行降噪处理的例子进行说明。
当开始进行处理时，首先，读取包含了为Raw数据的所有颜色信号和温度、增益、快门速度等的信息的标题信息(步骤S1)。
然后，将Raw数据分离为各种颜色信号(步骤S2)，对每个颜色信号均个别地进行扫描(步骤S3)。
并且，以注目像素为中心，例如抽出为4×4像素单位的规定尺寸的局部区域(步骤S4)。
对所抽出的局部区域计算出识别注目像素的信号值电平的平均值、和平坦区域及边缘区域所采用的方差值(步骤S5)。
接下来，根据所读取的标题信息，求出温度、增益、快门速度等的参数。这时，在标题信息内没有包含所需要的参数的情况下，赋予规定的标准值(步骤S6)。
根据在上述步骤5中所计算出的信号值电平、和在上述步骤6中所设定的参数的温度、增益、快门速度等，通过采用查寻表来计算出噪声量(步骤S7)。
接下来，根据在上述步骤5中所计算出的方差值和在上述步骤7中所计算出的噪声量，求出滤色尺寸(步骤S8)。
以注目像素为中心，抽出与在上述步骤8中所求出的滤色尺寸相对应的区域(步骤S9)。
然后，读取与在上述步骤8中所求出的滤色镜尺寸相对应的系数(步骤S10)。
采用在上述步骤8中所求出的滤色镜尺寸、和在上述步骤10中所求出的系数，对在上述步骤9中所抽出的区域实施平滑化的滤色处理(步骤S11)。
然后，将被实施了平滑化的信号按顺序进行输出(步骤S12)，对一种颜色判断是否完成了全部画面的扫描(步骤S13)，在没有完成的情况下，返回到上述步骤S3，继续上述的处理直到完成。
另一方面，在该步骤S13中，在判断完成了画面扫描的情况下，并且在对全部颜色的颜色信号判断是否完成了处理(步骤S14)、在对全部颜色的颜色信号没有完成处理的情况下，返回到上述步骤S2，进行上述的处理，另外，在完成了的情况下，结束该处理。
另外，在以上所述中，是将滤色镜51为原色Bayer型的情况作为例子来进行说明的，但并不限定于此，例如也可以同样适用于为补色滤色镜的情况，并且，也可以同样适用于两板CCD及三板CCD的情况。
根据这种第2实施方式，在达到和上述的第1实施方式几乎同样的效果的同时，由于将来自具有滤色镜的摄像元件的信号分离为每个滤色镜的颜色信号，以每个像素单位或每个单位面积来推测噪声量，进行适合局部的噪声量的降噪处理，因而可以最恰当地进行从明亮部到暗部的降噪处理，可以得到高品质的图像。另外，也可以适用于原色、补色及单板、两板、三板等多样的摄像系。
还有，由于选择与噪声量相对应的滤色镜尺寸、根据该滤色镜尺寸来进行降噪处理，因而可以只除去噪声成分、将除此以外的信号作为原信号来进行保存，可以得到只降低了噪声的高品质的图像。
并且，由于直接实时地计测拍摄时的摄像元件的温度、并作为推测噪声量的参数，因而可以在动态的情况下适应拍摄时的温度变化，可以高精度地推测噪声量。
还有，由于对拍摄时没能得到的参数设定标准值、根据查寻表和所得到的参数同时计算出噪声量，因而即使在拍摄时没有得到所需要的参数的情况下，也可以推测噪声量，可以得到稳定的降低噪声的效果。另外，由于在计算噪声量时采用查寻表，因而可以实施高速的处理。还有，通过有意识地省略一部分的参数计算，可以达到低成本化及电力节省化。
这样，根据本实施方式，在彩色CCD中，即使给与噪声量的影响的原因在动态地变化，仍然也可以与此相对应适当地进行噪声量的降低，得到高品质的图像。
如以上所说明的那样，根据本发明的摄像系统及图像处理程序，可以恰当地降低图像内的噪声量，得到高品质的图像。
图13～图21表示了本发明的第3实施方式，图13是表示摄像系统的构造的方框图、图14是表示滤色镜的原色Bayer型的滤色镜的构造图、图15是表示拍摄状况推测部的构造的方框图、图16是说明评价测光用的分割图像和评价用参数的图、图17是表示噪声推测部的构造的方框图、图18、图19是说明将噪声量进行定式化的曲线图、图20是说明将噪声量进行定式化所采用的参数的曲线图、图21是表示降噪部的构造的方框图。
该摄像系统如图13所示，具有将被摄体像进行成像的透镜系统101；配置在该透镜系统101内的、规定该透镜系统101的光束的通过范围的光圈102；根据上述透镜系统101的成像光束、除去不需要的高频成分的低通滤波器103；配置在上述透镜系统101的成像光束的光路上的、后面所述的CCD105的前面的、例如原色Bayer型的滤色镜104；作为将通过该滤色镜104所成像的光学的被摄体像进行光电转换、并输出电影像信号的黑白用的摄像元件的CCD105；构成配置在该CCD105旁边的、实时计测该CCD105的温度、并将计测结果输出到后面所述的控制部122的参数计算装置的温度传感器106；对上述CCD105所输出的影像信号进行相关双重抽样的CDS(Correlated Double Sampling)107；将该CDS107所输出的信号进行放大的放大器108；将通过该放大器108所放大的模拟影像信号转换为数字信号的A/D转换器109；将该A/D转换器109所输出的数字图像数据进行暂时存储的图像用缓冲寄存器110；根据该图像用缓冲寄存器110所存储的图像数据来进行与被摄体有关的测光评价，并根据该评价结果来进行上述光圈102、CCD105、放大器108的控制的测光评价部111；根据上述图像用缓冲寄存器110所存储的图像信号来控制上述放大器108的预置白平衡部112；根据上述图像用缓冲寄存器110所存储的图像数据来进行焦距检测、并根据检测结果来驱动后面所述的AF马达114的焦距检测部113；进行该焦距检测部113所控制的、包含在上述透镜系统101内的焦距镜头等的驱动的AF马达114；作为读出上述图像用缓冲寄存器110所存储的影像信号、进行颜颜色信号的分离的分离装置的颜色信号分离部115；根据该颜色信号分离部115所输出的图像数据、进行在后面所详细说明的噪声推测的噪声推测装置的噪声推测部117；作为推测拍摄状况的拍摄状况推测装置的拍摄状况推测部116；作为采用该拍摄状况推测部116的推测结果、对上述噪声推测部117的推测结果进行校正的校正装置的校正部118；作为采用该校正部118所校正的推测噪声、进行上述颜色信号分离部115所输出的图像数据的降噪的降噪装置的降噪部119；将该降噪部119所输出的图像数据进行处理的信号处理部120；为了将来自该信号处理部120的图像数据例如记录到存储卡等内而进行输出的输出部121；为了切换电源开关、快门按钮、各种拍摄模式、具有对模式开关等的接口的外部I/F部123；作为与上述CDS107、放大器108、A/D转换器109、测光评价部111、预置白平衡部112、焦距检测部113、颜色信号分离部115、拍摄状况推测部116、噪声推测部117、校正部118、降噪部119、信号处理部120、输出部121、外部I/F部123进行双向连接、并统一控制包含这些装置的该摄像系统的微型计算机等的控制装置的、参数计算装置的控制部122。
下面，对图13所示的摄像系统的信号的流向进行说明。
该摄像系统其构造为可以通过外部I/F部123设定ISO感光度等的拍摄条件，在实施了这些设定后，通过将双段式的按下按钮开关的快门开关按下一半，进入到预拍摄模式。
在CDS107中，进行公知的相关双重抽样，作为模拟信号，读出通过上述透镜系统101、光圈102、低通滤波器103、滤色镜104、由CCD105所拍摄、输出的影像信号。
通过放大器108，将该模拟信号只放大规定量，通过A/D转换器109转换为数字信号，并转送到图像用缓冲寄存器110。
然后，将图像用缓冲寄存器110内的影像信号分别转送到测光评价部111和预置白平衡部112、焦距检测部113。
测光评价部111求出图像中的亮度电平，考虑到所设定的ISO感光度及手晃动限度的快门速度等，将图像分割为多个区域，通过各区域的亮度电平的组合，计算出恰当的曝光值，将光圈102的光圈值及CCD105的电子快门速度、放大器108的放大率控制为该恰当的曝光值。
另外，预置白平衡部112通过对每个颜色信号累计影像信号中的规定亮度电平的信号，计算出简单的白平衡系数，并转送到放大器108，对每个颜色信号乘以不同的增益来实施白平衡。
然后，焦距检测部113检测出图像中的边缘强度，将AF马达114控制为该边缘强度为最大来得到焦距图像。
在通过进行此种预拍摄模式、完成了正式拍摄的准备时，接下来，当通过外部I/F部123检测出快门按钮被全部按下时，正式拍摄进行了。
该正式拍摄是根据测光评价部111所求出的曝光条件、和预置白平衡部112所求出的白平衡系数、焦距检测部113所求出的焦距条件来进行的，并将这些拍摄时的条件转送到控制部112。
这样，当进行正式拍摄时，影像信号和预拍摄时一样被转送到图像用缓冲寄存器110、并进行储存。
该图像用缓冲寄存器110内的影像信号被转送到颜色信号分离部115，被分离为滤色镜的每个颜色。
配置在CCD15的前面的上述滤色镜104的滤色镜构造为如上述那样、例如图14所示的原色Bayer型，即、以2×2像素为基本单位，将绿色(G1、G2)的滤色镜配置在对角位置上，将红色(R)和蓝色(B)的滤色镜配置到剩下的对角位置上。另外，绿色滤色镜G1、G2为相同的光学特性的滤色镜，但在这里为了处理上的方便，作为G1、G2来进行区别。
颜色信号分离部115根据这4个种类的滤色镜R、G1、G2、B，将图像用缓冲寄存器110内的影像信号进行分离，该分离动作是根据控制部112的控制、与噪声推测部117的处理及降噪部119的处理同步来进行的。
另一方面，控制部112通过测光评价部111、预置白平衡部112、聚焦检测部113将拍摄时的测光信息及焦距信息转送到拍摄状况推测部116。
拍摄状况推测部116根据转送来的这些信息，将与整体画面有关的拍摄状况例如推测为风景拍摄、人物拍摄、近景拍摄、夜景拍摄等，并将其转送到校正部118。此种拍摄状况推测部116的拍摄状况的推测处理，在每一次拍摄时要进行一次。
接下来，根据控制部122的控制，在噪声推测部117读取来自颜色信号分离部115的各种颜色信号的同时，并通过控制部122，将测光评价部111所求出的曝光条件及外部I/F部123所设定的ISO感光度等的拍摄条件也同时转动到该噪声推测部117。
噪声推测部117根据上述信息和各种颜色信号，在每个规定尺寸、例如在本实施方式中为在每个像素(像素单位)计算出噪声量，并将所计算出的噪声量转送到校正部118。
校正部118根据拍摄状况推测部116所输出的拍摄状况，对噪声推测部117所输出的噪声量进行校正，并将所校正的噪声量转送到降噪部119。
这时，上述噪声推测部117的处理和校正部118的处理是根据控制部122的控制、与降噪部119的处理同步进行的。
降噪部119根据校正部118所校正的噪声量，对来自颜色信号分离部115的各种颜色信号实施降噪处理，将处理后的影像信号转送到信号处理部120。
信号处理部120根据控制部122的控制，对降噪后的影像信号实施公知的强调处理及压缩处理等，并将处理后的影像信号转送到输出部121。
输出部121将所接收的影像信号记录、保存到存储卡等内。
下面，结合图15对拍摄状况推测部116的构造的例子进行说明。
该拍摄状况推测部116具有为从控制部122取得在上述焦距检测部113所设定AF信息、例如分类为5m～∞(风景拍摄)、1m～5m(人物拍摄)、1m以下(近景拍摄)等的焦点位置推测装置的焦点位置推测部131；和为从控制部122取得上述测光评价部111的分割测光结果、计算出后面所述的评价用参数S1～S3的被摄体分布推测装置的被摄体分布推测部132；从控制部122取得来自上述测光评价部111的AE信息、在比规定的快门速度为长时间的曝光、且画面整体的平均亮度电平为规定的阈值以下的情况下、推测拍摄状况为夜景拍摄的夜景推测部133；作为根据上述焦点位置推测部131的分类结果和上述被摄体分布推测部132的推测结果、上述夜景推测部133的推测结果、求出对噪声量实施校正的增益、并转送到校正部118的整体推测装置的整体推测部134。
另外，上述焦点位置推测部131和被摄体分布推测部132、夜景推测部133是与控制部122进行双向连接的。
上述测光评价部111如图16所示，将来自CCD105的信号分割为13个区域来进行公知的分割测光。
在图中所示的例子中，将CCD105的拍摄区域分类为最中央部、和包围该最中央部的内周部、包围该内周部的外周部，并将它们分别分割为以下的区域。
即、将最中央部分割为正中央的区域(用a1表示平均亮度电平)、和其左邻的区域(用a2表示平均亮度电平)、右邻的区域(用a3表示平均亮度电平)。
另外，将内周部分割为平均亮度电平为a1的区域的上下区域(分别用a4、a5来表示平均亮度电平)、和平均亮度电平为a4的区域的左右区域(分别用a6、a7来表示平均亮度电平)、平均亮度电平为a5的区域的左右区域(分别用a8、a9来表示平均亮度电平)。
还有，将外周部分割为左上的区域(用a10表示平均亮度电平)、和右上的区域(用a11表示平均亮度电平)、左下的区域(用a12表示平均亮度电平)、右下的区域(用a13表示平均亮度电平)。
将这样被分割的各区域的平均亮度电平通过测光评价部111转送到被摄体分布推测部132。
在这样的区域的分割测光中，上述被摄体分布推测部132按下面公式11、公式12、公式13所示那样来计算出以下所示的各评价用参数，并将计算结果转送到整体推测部134。
参数S1＝|a2-a3|……(11)S2＝max(|a4-a6|，|a4-a7|) ……(12)S3＝max(a10，a11)-AvAv＝(∑ai)/13 ……(13)Av=(Σai)/13......(13)]]>在这里，max()为返回括弧内的数字中的最大值的函数， 表示所有i(即、i＝1～13)的总和，Av表示所有测光区域的平均亮度电平(整体画面的平均亮度电平)。
这样，评价用参数S1是表示最中央部的左右的亮度差(中心部)，评价用参数S2是表示内周部的上侧中央和上侧左右中的其中一个亮度差大的一方(中央重点)，评价用参数S3是表示外周部的上侧左右中的其中一个大的一方和整体画面的平均亮度的差(整体画面)。
上述整体推测部134如以上所述那样，根据上述焦点位置推测部131、被摄体分布推测部132、上述夜景推测部133的各个输出，求出校正噪声量的增益，这时，在来自夜景推测部133的推测结果为夜景拍摄的情况下，作为增益指定为「强」、即、例如指定5～2.0，并立即将该增益转送到校正部118，完成处理。
另一方面，在推测为不是夜景拍摄的情况下，整体推测部134采用来自焦点位置推测部131的分类结果和来自被摄体分布推测部132的评价用参数S1～S3，如表1所示那样来推测拍摄状况，决定增益。
如表1所示，在AF信息为5m～∞时，作为风景拍摄，并将上述评价用参数S3与规定值Th1相比较。这时，如果评价用参数S3大于规定值Th1的话，由于a10或a11中的至少其中一方的亮度在某种程度上高于整体画面的平均亮度，因而推测在上方有天空的风景，天空是平坦的，由于噪声成分从主观上来讲为担心的区域，因而作为校正用的增益指定「强」(例如1.5～2.0)。另一方面，在评价用参数S3小于规定值Th1的情况下，与其相反，推测在上方没有天空、或即使有也很少的风景。在该情况下，由于考虑为具有植物及建筑物等的质地构造的物体为主要被摄体，因而作为校正用的增益指定「中」(例如1.0～1.5)。
接下来，在AF信息为1m～5m时，作为人物拍摄，并将上述评价用参数S2与规定值Th2相比较。这时，如果评价用参数S2大于规定值Th2的话，由于内周部的上侧中央a4和上侧左右a6、a7中的至少其中一方有亮度差，因而推测为一个人的人物拍摄(肖像)。在一个人的人物拍摄的情况下，由于脸的面积、即为平坦的，噪声容易醒目的皮肤的面积比较大，因而在想将校正用的增益设定为强的同时，另一方面，由于也存在具有细微构造的头发，因而当该头发影像被破坏时被评价为图像质量恶化。因此，作为校正用的增益指定「中」。另一方面，在评价用参数S2小于规定值Th2的情况下，推测为多个人的人物拍摄(肖像)。在多个人的人物拍摄的情况下，由于脸的面积变得比较小，且很难识别头发的细微构造，因而作为校正用的增益指定「强」。
还有，在AF信息为1m以下时，作为近景拍摄，并将上述评价用参数S1与规定值Th3相比较。这时，在评价用参数S1大于规定值Th3的情况下，在最中央的左右会有亮度差，推测为多个物体的特写。在该情况下，由于考虑到在主要被摄体上有细微的构造，因而作为校正用的增益指定「弱」(例如0.5～1.0)。另一方面，在评价用参数S1小于规定值Th3的情况下，推测为单一的物体的近景拍摄(特写)。在该情况下，由于很难判断有无细微构造，因而考虑到广泛应用性，作为校正用的增益指定「中」。
这样，将整体推测部134所设定的校正用的增益如上述那样转送到校正部118。
下面，结合图17对噪声推测部117的构造的例子进行说明。
该噪声推测部117具有对上述颜色信号分离部115所输出的每个颜色信号抽出规定位置的规定尺寸的局部区域的局部区域抽出部141；将该局部区域抽出部141所抽出的局部区域的颜色信号进行存储的缓冲寄存器142；作为根据与上述控制部112所转送的曝光条件相关的信息和与白平衡系数相关的信息，计算出上述放大器108的放大量的参数计算装置的增益计算部144；在省略了其中任何一个参数的情况下，附加标准值的标准值附加部145；作为读出上述缓冲寄存器142所存储的局部区域的信号、计算出平均值、并作为注目像素的信号值电平转送到系数计算部146的参数计算装置的平均计算部143；作为将在推测噪声量时所采用的、后面所述的函数的参数进行存储的系数计算装置的参数用ROM147；作为系数计算装置的系数计算部146，该系数计算部146是根据从该参数用ROM147所读出的参数、和与通过上述控制部122的温度传感器106或标准值附加部145所输出的摄像元件的温度有关的信息、上述平均计算部143或上述标准值附加部145所输出的信号值电平、上述增益计算部144或上述标准值附加部145所输出的放大量和由上述控制部122和上述标准值附加部145所输出的快门速度的信息，计算出推测注目像素的噪声量的规定的公式的系数的噪声量计算装置；作为函数计算装置的函数计算部148，函数计算部148为采用该系数计算部146所输出的系数、采用后面所述的被定式化的函数计算出噪声量并转送到校正部118的噪声量计算装置。
在本实施方式中，由于在后面所说明的降噪部119的处理分离为水平方向和垂直方向，因而上述局部区域抽出部141在水平方向处理的情况下例如以4×1尺寸单位、在垂直方向处理的情况下例如以1×4尺寸单位按顺序一边对图像整体进行扫描、一边进行抽出。该局部区域抽出部141的处理与降噪部119的处理同步进行。
另外，上述控制部122与上述局部区域抽出部141、平均计算部143、增益计算部144、标准值附加部145、系数计算部146、函数运算部148进行双向连接，并对其进行控制。
下面，参照图19对在系数计算部146推测注目像素的噪声量时所采用的噪声量的定式化进行说明。
如以下的公式14所示那样、将对信号值电平L的噪声量N的函数定式化。
N＝ALB+C ……(14)在这里，A、B、C为常数项，将常数项附加到形成信号值电平L的取幂的函数中。
当绘成此种函数的、例如A＞0、0＜B＜1、C＞0时的大概形状时，成为图18所示的形状。
但是，噪声量N并不只存在于信号值电平L中，除此以外，也根据摄像元件的CCD105的温度及放大器108的增益而发生变化。因此，图19所示的例子是将这些要素也考虑在内的情况。
即、在上述公式14中，取代常数项的A、B、C、如公式15所示那样引入将温度T和增益G作为参数的a(T、G)、b(T、G)、c(T、G)。
N＝a(T、G)Lb(T、G)+c(T、G)……(15)图19绘成了在多个温度T(在图中所示的例子中为温度T1～T3)的多个增益G(在图中所示的例子中为温度1、2、4倍)的情况下、该公式15所示的曲线。
图19是将独立变量作为信号值电平L、将从属变量作为噪声量N来进行表示的，在与这些变量相正交的方向上，将参数的温度T作为座标轴来描绘。这样，可以分别读出T＝T1所表示的平面内、T＝T2所表示的平面内、T＝T3所表示的平面内的信号值电平L的噪声量N。这时，并通过在各平面内描绘多个曲线来表示参数的增益G的曲线形状的变化。
各参数所表示的各个曲线形成和图18所示的公式14的曲线几乎类似的形态，当然，各系数a、b、c根据温度T及增益G的各值而不同。
图20A、图20B、图20C分别表示了上述函数a(T、G)、上述函数b(T、G)、上述函数c(T、G)的特性的概要的情况。
这些各个函数由于为将温度T和增益G作为独立变量的双变量函数，因而将图20A～图20C作为3维座标来描绘，形成该所描绘的空间的曲面。但是，在这里，取代用图表示具体的曲面形状、而采用曲线来表示大概的特性变化的情况。
通过作为参数将温度T和增益G输入到此种函数a、b、c内，来将各常数项A、B、C进行输出。并且，通过事先测定包含CCD105及放大器108的摄像元件系的特性，可以很容易地取得这些函数的具体的形状。
但是，在随机噪声中，随着曝光时间变长，噪声量有增加的倾向。因此，即使为相同的曝光量，当快门速度和光圈值的组合不同时，所产生的噪声量会出现差异。因此，结合图20D对也考虑到了这样的差异来进行校正的例子进行说明。
在这里，引入将快门速度S作为参数、给与常数项D的校正系数d(S)，通过用公式15乘以该校正系数的方法，可以进行公式16所示的定式化的校正。
N＝{a(T、G)Lb(T、G)+c(T、G)}d(s)＝(ALB+C)D ……(16)通过事先测定摄像元件系的特性，可以得到该校正系数d(S)的函数形状，例如形成图20D所示的形状。图20D表示了对快门速度S的噪声量的增加部分D的情况。
如该图20D所示，噪声量的增加部分D具有当快门速度S变得小于某阈值STH(为长时间曝光)时会急速上升的性质。因此，也可以将快门速度S分为大于该阈值STH或小于该阈值STH两种，在长时间曝光的情况下，采用函数的d(S)、在短时间曝光的情况下，采用固定的系数来使之简单化。
将上述的4个函数a(T、G)、b(T、G)、c(T、G)、d(S)记录到上述参数用ROM147内。另外，对快门速度的校正，并不一定要准备参数，也可以准备其他的方式、例如表格等。
系数计算部146将在动态下所取得的(或从标准值附加部145所取得的)温度T、增益G、快门速度S作为输入参数，采用记录到参数用ROM147内的4个函数来计算出各常数项A、B、C、D，并转送到函数运算部148。
函数运算部148通过将该系数计算部146所计算出的各常数项A、B、C、D应用于上述公式16，决定计算噪声量N的函数形状，通过该系数计算部146，根据上述平均计算部143所输出的信号值电平L来计算噪声量N。
这时，在每次拍摄时并不一定要求出温度T、增益G、快门速度S等的各参数。也可以为将任意的参数事先存储到标准值附加部145内、省略计算处理的构造。这样，可以达到处理的高速化及电力节省化等。
上述校正部118当接收到来自如这样所计算出的噪声推测部117的噪声量时，根据控制部122的控制，将该噪声量乘以上述拍摄状况推测部116所转送来的校正用的增益，并将其结果转送到降噪部119。
下面，结合图21对降噪部119的构造的例子进行说明。
该降噪部119具有以水平线单位按顺序对上述颜色信号分离部115所输出的每个颜色信号抽出影像信号的水平线抽出部151；作为以像素单位对该水平线抽出部151所抽出的水平线的影像信号实施扫描、将来自后面所述的阈值设定部156的阈值作为噪声量、实施公知的磁滞平滑处理的平滑处理装置的第1平滑处理部152；通过按顺序将该第1平滑处理部152所实施了平滑处理的水平线进行存储，对全部颜色进行1个画面量的影像信号的存储的缓冲寄存器153；在对全部颜色将1个画面量的影像信号存储到该缓冲寄存器153后，以垂直线单位、按顺序对每个颜色信号从该缓冲寄存器153中抽出影像信号的垂直线抽出部154；作为以像素单位、对该垂直线抽出部154所抽出的垂直线的影像信号进行扫描，将来自后面所述的阈值设定部156的阈值作为噪声量、实施公知的磁滞平滑处理、并按顺序输出到上述信号处理部120的平滑处理装置的第2平滑处理部155；作为根据上述水平线抽出部151所抽出的水平线、或上述垂直线抽出部154所抽出的垂直线、以像素单位取得上述校正部118所校正的噪声量、将噪声的振幅值作为阈值(微小振幅值)来设定、并输出到上述第1平滑处理部152或上述第2平滑处理部155的阈值设定装置的阈值设定部156。
在这里，上述第1、第2平滑处理部152、155的磁滞平滑处理、是根据控制部122的控制、与校正部118的动作及阈值设定部156的动作同步进行的。
还有，上述控制部122与上述水平线抽出部151、垂直线抽出部154、阈值设定部156进行双向连接，并对其进行控制。
另外，在上述中，是以像素单位来推测噪声量的，但并不限定于此，例如也可以对2×2像素及4×4像素等的任意的规定的每个单位面积推测噪声量。在该情况下，噪声推测的精确度会下降，但另一方面有可以进行更高速的处理的优点。
另外，在上述中，滤色镜104是将原色Bayer型的单板CCD作为例子来进行说明的，但并不限定于此，例如滤色镜104也同样可以使用补色滤色镜的单板CCD，并且在为两板CCD及三板CCD的情况下也同样可以使用。
还有，在上述中，推测拍摄状况是采用焦距信息及测光信息的，但并不限定于此，也可以采用变焦位置信息、视线输入信息、闪光灯发光信息等当中的至少其中一个信息来推测拍摄状况，也可以通过将它们适当地组合起来进行精密的推测。
根据该第3实施方式，由于对图像的每个区域、且每个颜色信号推测噪声量，因而可以从明亮部到暗部实施最恰当的降噪，可以得到高品质的图像。
另外，由于在每次拍摄时、在动态的情况下求出与噪声量相关的信号值电平、拍摄时的摄像元件的温度、快门速度、增益等的各种参数、并根据这些参数来计算出噪声量，因而可以高精度地来推测噪声量。这时，通过以像素单位来推测噪声量，可以进一步提高精确度。
还有，由于求出拍摄状况来校正推测噪声量，因而从主观上来讲可以得到理想的高品质的图像。这时，由于将拍摄时的各种信息汇合起来、求出画面整体的拍摄状况，因而可以实现低成本并高速的处理。
通过采用焦距信息及测光信息等来求出拍摄状况，可以推测是否为夜景拍摄、可以推测被分类为了特写、肖像、风景等中的哪一种。
还有，由于将来自具有滤色镜的摄像元件的信号分离为每个滤色镜的颜色信号，因而可以对原色系及补色系、或单板、两板、三板等的多样的摄像系进行降噪。
另外，由于将噪声量作为阈值来设定、将该阈值以下的信号作为噪声来除去，因而可以将阈值以上的信号作为原信号来进行保存，可以得到只降低了噪声成分的高品质的图像。
并且，由于对在拍摄时没有能得到的参数设定标准值、采用该标准值和所得到的参数同时求出计算噪声量用的系数、并根据该系数来计算出噪声量，因而即使在拍摄时不能得到所需要的参数的情况下，也可以推测噪声量、得到稳定的降低噪声量的效果。这时，由于在计算噪声量时采用函数，因而可以减少所必要的存储量，可以实现低成本化。还有，通过有意识地省略一部分的参数计算，可以形成实现了低成本化及电力节省化的摄像系统。
图22～图26表示了本发明的第4实施方式，图22是表示摄像系统的构造的方框图、图23是表示拍摄状况推测部的构造例子的方框图、图24是表示噪声推测部的构造的方框图、图25是表示在计算机中、图像处理程序所进行的降噪处理的一部分的流程图、图26是表示在计算机中、图像处理程序所进行的降噪处理的另外一部分的流程图。
在该第4实施方式中，对于和上述第3实施方式相同的部分附加相同的符号，并省略说明，主要只对不同的地方进行说明。
该第4实施方式的摄像系统如图22所示，在上述第3实施方式的构造的基础上，具有作为将从上述图像用缓冲寄存器110所读出的影像信号根据规定的间隔来拉开间隔的取样装置的取样部161；和对该取样部161所拉开的影像信号实施公知的线形内插、生成RGB的三板图像、并将该结果输出到上述拍摄状况推测部116的内插部162；将上述拍摄状况推测部116所推测的、带有标记的图像区域的信息进行暂时存储、并输出到上述校正部118的缓冲寄存器163，该内插部162与上述控制部122进行双向连接并受其控制。
该图22所示的摄像系统的信号的流向和上述的第3实施方式基本相同，只对不同的部分进行说明。
当通过外部I/F部123检测到快门按钮被全部按下时，如上所述正式拍摄进行了，并将影像信号转送到图像用缓冲寄存器110。
取样部161读出图像用缓冲寄存器110内的影像信号，并在规定取样间隔后转送到内插部162。由于该取样部161的拉开间隔处理在本实施方式中、作为滤色镜104是假定Bayer型的滤色镜的，因而是以2×2像素为基本单位来进行的，具体来讲，例如对16×16像素单位只进行读取左上的2×2像素的拉开间隔。通过进行此种拉开间隔处理，将影像信号缩小到(1/8)×(1/8)尺寸、即缩小到64分之1的数据尺寸。
内插部162通过对上述取样部161所拉开间隔的影像信号进行公知的线形内插处理，生成RGB的三板图像，并将所生成的三板图像的影像信号转送到拍摄状况推测部116。
拍摄状况推测部116根据内插部162所转送来的三板化的影像信号，计算出皮肤颜色、暗部、高频区域等的信息，根据所计算出的信息，将一个影像信号分割为多个区域，并对各区域信息附加标记。
缓冲寄存器163将该拍摄状况推测部116所转送的信息进行存储。
噪声推测部117根据控制部122的控制，对于从颜色信息分离部115所接收的各种颜色信息，以每个规定尺寸、例如在本实施方式中为以像素单位，计算出噪声量，并将所计算出的噪声量转送到校正部118。
校正部118根据从上述缓冲寄存器163中所读出的标记信息，对噪声推测部117所输出的噪声量实施校正，并将所校正的噪声量转送到降噪部119。这时，校正部118根据取样部161所拉开的间隔比例，将缓冲寄存器163的标记信息进行扩大处理，进行与来自噪声推测部117的像素单位的噪声量相对应的处理。
上述噪声推测部117的处理和校正部118的处理，是根据控制部122的控制、与降噪部119的处理同步来进行的。
其后的降噪部119、信号处理部120、输出部121的处理，和上述的第3实施方式相同。
下面，结合图23A对拍摄状况推测部116的构造的例子进行说明。
该拍摄状况推测部116具有为从上述内插部162中读出RGB的三板图像、运算色差信息Cb、Cr、通过规定的阈值处理、抽出皮肤颜色区域并附加标记的图像特性检测装置的、特定颜色检测装置的皮肤颜色检测部171；作为从上述内插部162中读出RGB的三板图像、运算亮度信号Y、抽出小于规定的阈值的暗部区域并附加标记的图像特性检测装置的、特定亮度检测装置的暗部检测部172；根据来自上述皮肤颜色检测部171的信息和来自暗部检测部172的信息、将表示是否为皮肤区域及是否为暗部区域的区域推测结果转送到上述缓冲寄存器163的区域推测装置的区域推测部173。
另外，上述控制部122与上述皮肤颜色检测部171、暗部检测部172进行双向连接、并对其进行控制。
上述皮肤颜色检测部171当从内插部162读出RGB的三板图像时，如下面公式17及公式18所示、将其转换为规定的颜色空间的信号，例如转换为Y、Cb、Cr空间的色差信号Cb、Cr。
Cb＝-0.16874R-0.33126G+0.50000B ……(17)Cr＝0.50000R-0.41869G-0.08131B ……(18)然后，皮肤颜色检测部171通过将这两个色差信号Cb、Cr与规定的阈值相比较，只抽出皮肤颜色区域。
并且，皮肤颜色检测部171采用该结果，以像素单位对被拉开间隔的三板图像附加标记，并转送到区域推测部173。作为该时所附加的具体的标记，例如将1附加给皮肤颜色区域、将0附加给其他区域。
接下来，当上述暗部检测部172从内插部162读出RTB三板图像时，将其按下面的公式19所示那样转换为亮度信号Y。
Y＝0.29900R+0.58700G+0.11400B ……(19)然后，暗部检测部172将该亮度信号Y与规定的阈值相比较，将小于该阈值的区域作为暗部区域来抽出。
并且，暗部检测部172采用该结果，以像素单位对被拉开间隔的三板图像附加标记，并转送到区域推测部173。作为该时所附加的具体的标记，例如将2附加给暗部区域、将0附加给其他区域。
区域推测部173根据来自这些皮肤颜色检测部171的信息和来自暗部检测部172的信息，将皮肤颜色区域作为1、将暗部区域作为2、将为皮肤颜色区域且为暗部区域的区域作为3、将其他区域作为0，输出到缓冲寄存器163。
校正部118从缓冲寄存器163读出这些标记信息，根据其标记的值来调整校正的增益。例如，在标记3(为皮肤颜色区域且为暗部区域)将增益定为强(例如1.5～2.0)、在标记1(为皮肤颜色区域)或标记2(暗部区域)将增益定为中(例如1.0～1.5)、在标记0(为其他区域)将增益定为弱(例如0.5～1.0)。
另外，在该图23A所示的例子中，为了推测画面中的各区域的拍摄状况是采用颜色信息和亮度信息的，但并不限定于采用这些信息，例如也可以如图23B所示那样采用频率信息。
结合图23B对拍摄状况推测部116的构造的其他例子进行说明。
该拍摄状况推测部116具有为以板块单位从上述内插部162读出RGB的三板图像来检测高频成分的图像特性检测装置的、频率检测装置的高频检测部175；和将与该高频检测部175所检测出的高频成分成比例的标记进行附加、并转送到缓冲寄存器163的区域推测部173，上述高频检测部175与上述控制部122进行双向连接并受其控制。
更详细地来讲，上述高频检测部175以规定的板块尺寸、如以8×8像素单位、从上述内插部162读出RGB的三板图像，通过公知的DCT(Discrete Cosine Transform)转换为频率成分，根据所转换的频率成分来求出各板块的高频成分量，并以板块单位转送到区域推测部173。
区域推测部173将与高频成分量成比例的标记赋予该板块，并将其转送到缓冲寄存器163。
校正部118读出缓冲寄存器163所存储的标记信息，根据上述取样部161所拉开间隔的比例、和在上述高频检测部175中所使用的板块尺寸，将该标记信息进行扩大处理，对噪声推测部117所转送的像素单位的噪声量进行校正。
另外，在上述中，是通过DCT来进行频率成分的转换的，当然并不限定于此，也可以广泛使用傅里叶(Fourier)转换Wavelet转换。
下面，结合图24对噪声推测部117的构造的例子进行说明。
该噪声推测部117的基本构造和上述的第3实施方式中图17所示的噪声推测部117相同，不同的部分为取代系数计算部146和参数用ROM147、函数运算部148、而设置了为噪声量计算装置的、查寻表装置的查寻表部181。
查寻表部181与控制部122进行双向连接并受其控制，通过上述平均计算部143、增益计算部144、标准值附加部145输入信息，并将处理结果输出到校正部118。
该查寻表部181为通过和上述的第3实施方式相同的方法，事先将信号值电平、增益、快门速度、及摄像元件的温度和噪声量之间的关系作为查寻表来形成并进行记录，根据与上述平均计算部143所计算出的注目像素的信号值电平、和上述增益计算部144所计算出的增益、上述控制部122所转送的快门速度及摄像元件的温度有关的信息、根据需要通过上述标准值附加部145所附加的标准值，参照该查寻表来推测噪声量，并转送到校正部118。
另外，在上述中，其构造为是在拍摄时进行降噪处理的，但并不限定于此。例如也可以将CCD105所输出的影像信号作为未处理的Raw数据来搁置、将来自上述控制部122的拍摄时的摄像元件的温度、增益、快门速度等的信息作为标题信息附加到该Raw数据中。也可以将附加了该标题信息的Raw数据输出到计算机等的处理装置内，在该处理装置中，通过软件来进行处理。
结合图25及图26对在计算机中通过图像处理程序来进行降噪处理的例子进行说明。另外，图25和图26为一系列的处理。
当开始处理时，首先，读取包含Raw数据的全部颜色信息和温度、增益、快门速度等的信息的标题信息(步骤S101)。
然后，以规定尺寸将影像信号拉开间隔(步骤S102)，通过公知的线形内插，生成RGB三板图像(步骤S103)。
根据所生成的RGB求出色差信号Cb、Cr，将这些色差信息Cb、Cr位于规定范围内的颜色作为皮肤颜色区域来抽出(步骤S104)。
另一方面，根据在上述步骤S103中所生成的RGB求出亮度信号Y，将该亮度信号Y为规定的阈值以下的区域作为暗部区域来抽出(步骤S105)。
将与在步骤S104中所抽出的皮肤颜色区域和在步骤S105中所抽出的暗部区域相关的标记进行附加(步骤S106)，将被附加了标记的信息进行输出(步骤S107)。
接下来，将在步骤S101中所读取的影像信号分割为每个颜色信号(步骤S108)，抽出以注目像素为中心的规定尺寸的局部区域、例如抽出4×1像素单位的局部区域(步骤S109)，作为该局部区域的平均值、计算出注目像素的信号值电平(步骤S110)。
还有，根据在步骤S101中所读取的标题信息，求出温度、增益、快门速度等的参数，但这时，如果在标题信息中不存在有所需要的参数的情况下，给与规定的标准值(步骤S111)。
根据在步骤S110中所求出的信号值电平和在步骤S111中所求出的温度、增益、快门速度等的参数，通过参照查寻表来计算出噪声量(步骤S112)。
另一方面，读取在步骤S107中所输出的标记信息，将与现在的注目像素相对应的标记转送到步骤S114(步骤S113)。
根据在步骤S113中所读取的标题信息，对在步骤S112中所求出的噪声量进行校正(步骤S114)。
以水平线单位抽出在步骤S108中所分离的颜色信号(步骤S115)，根据在步骤S114中所校正的噪声量，进行公知的磁滞平滑处理(步骤S116)。
然后，判断全部水平线的处理是否结束了(步骤S117)，在没有结束的情况下，反复进行上述步骤S109～S116的处理。
另一方面，在结束了全部水平线的处理的情况下，将在水平方向被实施了平滑化的信号进行输出(步骤S118)。
接下来，对于在水平方向被实施了平滑化的信号抽出以注目像素为中心的规定的尺寸的局部区域、例如1×4像素单位的局部区域(步骤S119)，作为该局部区域的平均值、计算出注目像素的信号值电平(步骤S120)。
并且，根据在步骤S11中所读取的标题信息，求出温度、增益、快门速度等的参数，但这时，如果在标题信息中不存在有所需要的参数的情况下，附加规定的标准值(步骤S121)。
根据在步骤S120中所求出的信号值电平和在步骤S121中所求出的温度、增益、快门速度等的参数，通过参照查寻表来计算出噪声量(步骤S122)。
另一方面，读取在步骤S107中所输出的标记信息，将与现在的注目像素相对应的标记转送到步骤S124(步骤S123)。
根据在步骤S123中所读取的标题信息，对在步骤S122中所求出的噪声量进行校正(步骤S124)。
以垂直线单位抽出在步骤S118中在水平方向被实施了平滑化的颜色信号(步骤S125)，根据在步骤S124中所校正的噪声量，进行公知的磁滞平滑处理(步骤S126)。
然后，判断是否结束了全部垂直线的处理(步骤S127)，在没有结束的情况下，反复进行上述步骤S119～S126的处理。
另一方面，在结束了全部垂直线的处理的情况下，将在水平方向及垂直方向的两个方向中被实施了平滑化的信号进行输出(步骤S128)。
然后，判断是否结束了所有的颜色信号的处理(步骤S129)，在没有结束的情况下，反复进行上述步骤S108～S128的处理，另外，在结束了的情况下，结束该处理。
根据该第4实施方式，由于在达到和上述的第3实施方式几乎同样的效果的同时、进行皮肤颜色检测、暗部检测、高频检测、求出一个画面中的各区域的拍摄状况、对每个区域校正噪声量，因而可以进行适合各区域的高精度的降噪处理，可以在主观上得到理想的高品质的图像。另外，也可以根据需要，通过将求出第3实施方式所示的画面整体的拍摄状况的情况和求出该第4实施方式所示的各区域的拍摄状况的情况分开使用，可以构成适应用途的多样的摄像系统。
并且，由于根据以规定的间隔将影像信号拉开间隔、缩小了尺寸的信号、来推测各区域的拍摄状况，因而在可以进行高速处理的同时，由于可以缩小操作用的存储器尺寸，因而可以以低成本来构成摄像系统。
还有，由于在计算噪声量时采用查寻表，因而可以进行高速的处理。
以上，对本发明的实施方式进行了说明，但并不限定于上述实施方式，在不脱离本发明的精神的范围内，当然可以形成多种变化。
如上所述，根据本发明，可以恰当地降低图像内的噪声量，得到高品质的图像。
权利要求
1.一种摄像系统，具有噪声推测装置，按每一个像素、或者按每个由多个像素构成的规定的单位面积，推测在来自通过排列多个像素而构成的摄像元件的数字化的信号中所包含的噪声量；和降噪装置，根据该噪声推测装置所推测的噪声量，降低上述信号中的噪声。
2.根据权利要求1所述的摄像系统，还具有配置在上述摄像元件前面的滤色镜；和将该摄像元件所输出的信号分离为每个该滤色镜的信号的分离装置。
3.根据权利要求2所述的摄像系统，上述噪声推测装置具有参数计算装置，根据上述信号的信号值电平、上述摄像元件的温度、对上述信号的增益、拍摄时的快门速度中的至少一个信息，计算出参数；和噪声量计算装置，根据该参数计算装置计算出的参数，计算出推测噪声量。
4.根据权利要求2所述的摄像系统，其特征在于，上述噪声推测装置具有对上述所推测的噪声量设定上限值的上限值设定装置。
5.根据权利要求2所述的摄像系统，上述降噪装置具有阈值设定装置，根据上述噪声推测装置所推测的噪声量，按每个像素、或者按每个由多个像素构成的规定的单位面积设定作为阈值的噪声振幅值；和平滑处理装置，将小于等于由该阈值设定装置所设定的阈值的上述信号中的振幅成分降低。
6.根据权利要求2所述的摄像系统，上述降噪装置具有控制值设定装置，根据由上述噪声推测装置所推测的噪声量，设定用于控制平滑化处理的频率特性的控制值；和平滑处理装置，根据由该控制值设定装置所设定的控制值，进行降低上述信号中的特定频率频带的平滑化处理。
7.根据权利要求3所述的摄像系统，上述参数计算装置具有信号值计算装置，通过计算出包含注目像素的规定尺寸的附近区域或上述单位面积中的多个像素值的平均值，来求出上述信号值电平。
8.根据权利要求3所述的摄像系统，上述参数计算装置具有测定上述摄像元件的温度的温度传感器。
9.根据权利要求3所述的摄像系统，上述摄像元件具有OB(OpticalBlack光学黑)区域，上述参数计算装置具有方差计算装置，计算出该OB区域的信号的方差；和温度推测装置，根据该方差计算装置所计算出的方差，推测上述摄像元件的温度。
10.根据权利要求3所述的摄像系统，上述参数计算装置具有增益计算装置，根据ISO感光度、曝光信息、白平衡信息中的至少一个信息求出上述增益。
11.根据权利要求3所述的摄像系统，上述参数计算装置具有根据曝光信息，求出上述拍摄时的快门速度的快门速度计算装置。
12.根据权利要求3所述的摄像系统，上述噪声量计算装置把上述信号的信号值电平L、上述摄像元件的温度T、对上述信号的增益G和拍摄时的快门速度S作为参数，并使用这些参数计算出噪声量N，其具有系数计算装置，根据将上述温度T和增益G作为参数的3个函数a(T、G)、b(T、G)、c(T、G)、和将上述快门速度S作为参数的函数d(S)，分别计算出4个系数A、B、C、D；和函数运算装置，根据由该系数计算装置所计算出的上述4个系数A、B、C、D所规定的函数式N＝(ALB+C)D，计算出噪声量N。
13.根据权利要求12所述的摄像系统，上述噪声量计算装置还具有附加标准的参数值的附加装置，上述参数是由上述参数计算装置所计算出的值，或者是由上述附加装置所附加的标准值。
14.根据权利要求3所述的摄像系统，上述噪声量计算装置具有附加装置，对于未能从上述参数计算装置得到的参数，附加标准的参数值；和查寻表装置，把从上述参数计算装置或上述附加装置所得到的信号值电平、温度、增益、和快门速度作为输入，求出噪声量。
15.根据权利要求1所述的摄像系统，上述噪声推测装置具有参数计算装置，根据上述信号的信号值电平、上述摄像元件的温度、对上述信号的增益和拍摄时的快门速度中的至少一个信息，计算出参数；和噪声量计算装置，根据该参数计算装置所计算出的参数，计算出推测噪声量。
16.根据权利要求1所述的摄像系统，其特征在于，上述噪声推测装置具有对上述所推测的噪声量设定上限值的上限值设定装置。
17.根据权利要求1所述的摄像系统，上述降噪装置具有阈值设定装置，按每个像素、或者按每个由多个像素构成的规定的单位面积，根据由上述噪声推测装置所推测的噪声量，把噪声的振幅值设定为阈值；和平滑处理装置，降低小于等于该阈值设定装置所设定的阈值的上述信号中的振幅成分。
18.根据权利要求1所述的摄像系统，上述降噪装置具有控制值设定装置，根据上述噪声推测装置所推测的噪声量，设定控制平滑化处理的频率特性的控制值；和平滑处理装置，根据该控制值设定装置所设定的控制值，实施降低上述信号中的特定频率频带的平滑化处理。
19.根据权利要求15所述的摄像系统，上述参数计算装置具有信号值计算装置，通过计算出包含注目像素的规定尺寸的附近区域、或者上述单位面积中的多个像素值的平均值，来求出上述信号值电平。
20.根据权利要求15所述的摄像系统，上述参数计算装置具有测定上述摄像元件的温度的温度传感器。
21.根据权利要求15所述的摄像系统，上述摄像元件具有OB(Optical Black光学黑)区域，上述参数计算装置具有计算出该OB区域的信号的方差的方差计算装置；和根据该方差计算装置所计算出的方差，推测上述摄像元件的温度的温度推测装置。
22.根据权利要求15所述的摄像系统，上述参数计算装置具有根据ISO感光度、曝光信息和白平衡信息中的至少一个信息来求出上述增益的增益计算装置。
23.根据权利要求15所述的摄像系统，上述参数计算装置具有根据曝光信息求出上述拍摄时的快门速度的快门速度计算装置。
24.根据权利要求15所述的摄像系统，上述噪声量计算装置，把上述信号的信号值电平L、上述摄像元件的温度T、对上述信号的增益G和拍摄时的快门速度S作为参数，并使用这些参数计算出噪声量N，其具有系数计算装置，根据将上述温度T和增益G作为参数的3个函数a(T、G)、b(T、G)、c(T、G)、和将上述快门速度S作为参数的函数d(S)，分别计算出4个系数A、B、C、D；和函数运算装置，根据由该系数计算装置所计算出的上述4个系数A、B、C、D所规定的函数公式N＝(ALB+C)D，计算出噪声量N。
25.根据权利要求24所述的摄像系统，上述噪声量计算装置还具有附加标准参数值的附加装置，上述参数是由上述参数计算装置所计算出的值、或上述附加装置所附加的标准值。
26.根据权利要求15所述的摄像系统，上述噪声量计算装置具有附加装置，对于未能从上述参数计算装置得到的参数，附加标准的参数值；和查寻表装置，将从上述参数计算装置或上述附加装置所得到的信号值电平、温度、增益和快门速度作为输入，求出噪声量。
27.一种摄像系统，具有色分离装置，把来自在前面配置了原色或补色滤色镜的摄像元件的数字化的信号分离成分别对应该滤色镜的每个颜色的颜色信号；信号值计算装置，通过计算出包含注目像素的规定尺寸的附近区域、或单位面积中的多个像素值的平均值，求出对上述各个颜色信号的信号值电平；增益计算装置，根据ISO感光度、曝光信息和白平衡信息中的至少一个信息来求出对上述信号的增益；查寻表装置，通过将上述信号值电平和上述增益作为输入，参照记述了这些输入和噪声量的对应关系的查寻表，求出上述各种颜色信号的噪声量；微小振幅值装置，根据上述噪声量，按每个像素、或按每个由多个像素构成的规定的单位面积，对上述各种颜色信号设定微小振幅值；和平滑处理装置，对上述各种颜色信号降低小于等于由该微小振幅值装置所设定的微小振幅值的振幅成分。
28.一种图像处理程序，具有噪声推测步骤，按每个像素、或者按每个由多个像素构成的规定的单位面积，推测来自通过排列多个像素而构成的摄像元件的数字化的信号中所包含的噪声量；阈值设定步骤，根据该噪声推测步骤所推测的噪声量，按每个像素、或按每个由多个像素构成的规定的单位面积，把噪声的振幅值设定为阈值；平滑处理步骤，降低小于等于在该阈值设定步骤设定的阈值的上述信号中的振幅成分。
29.一种图像处理程序，具有噪声推测步骤，按每个像素、或者按每个由多个像素构成的规定的单位面积，推测来自通过排列多个像素而构成的摄像元件的数字化的信号中所包含的噪声量；控制值设定步骤，根据该噪声推测步骤所推测的噪声量，设定用于控制平滑化处理的频率特性的控制值；和平滑处理步骤，根据该控制值设定步骤所设定的控制值，进行降低上述信号中的特定频率频带的平滑化处理。
30.一种图像处理程序，具有方差计算步骤，用于计算出来自摄像元件的数字化信号中的该OB区域的信号的方差，该摄像元件通过排列多个像素而构成，并具有OB(Optical Black光学黑)区域；温度推测步骤，根据该方差计算步骤所计算出的方差，推测上述摄像元件的温度；参数计算步骤，根据该温度推测步骤所推测的上述摄像元件的温度、上述信号的信号值电平、对上述信号的增益和拍摄时的快门速度中的至少一个信息来计算出参数；噪声量计算步骤，根据该参数计算步骤所计算出的参数，按每个像素、或按每个由多个像素构成的规定的单位面积来计算出所推测的上述信号中所包含的噪声量；和降噪步骤，根据该噪声量计算步骤所计算出的噪声量，降低上述信号中的噪声。
31.一种图像处理程序，具有参数计算步骤，作为参数，计算出来自通过排列多个像素而构成的摄像元件的数字化信号的信号值电平L、上述摄像元件的温度T、对上述信号的增益G和拍摄时的快门速度S；系数计算步骤，根据将上述温度T和增益G作为参数的3个函数a(T、G)、b(T、G)、c(T、G)、及将上述快门速度S作为参数的函数d(S)，分别计算出4个系数A、B、C、D；函数运算步骤，根据该系数计算步骤所计算出的上述4个系数A、B、C、D所规定的函数公式N＝(ALB+C)D，按每个像素、或按每个由多个像素构成的规定的单位面积计算出上述信号中所包含的噪声量N；和降噪步骤，根据该函数运算步骤所计算出的噪声量，降低上述信号中的噪声。
32.一种图像处理程序，具有色分离步骤，把来自在前面配置了原色或补色滤色镜的摄像元件的数字化的信号分离成分别对应该滤色镜的每个颜色的颜色信号；信号值计算步骤，通过计算出包含注目像素的规定尺寸的附近区域、或单位面积中的多个像素值的平均值，求出对上述各个颜色信号的信号值电平；增益计算步骤，根据ISO感光度、曝光信息和白平衡信息中的至少一个信息来求出对上述信号的增益；查寻表步骤，通过将上述信号值电平和上述增益作为输入，参照记述了这些输入和噪声量的对应关系的查寻表，求出上述各种颜色信号的噪声量；微小振幅值步骤，根据上述噪声量，按每个像素、或按每个由多个像素构成的规定的单位面积，对上述各种颜色信号设定微小振幅值；和平滑处理步骤，对上述各种颜色信号降低小于等于在该微小振幅值步骤所设定的微小振幅值的振幅成分。
33.一种摄像系统，具有噪声推测装置，按每个像素、或按每个由多个像素构成的规定的单位面积推测来自通过排列多个像素而构成的摄像元件的数字化信号中所包含的噪声量；拍摄状况推测装置，推测在拍摄上述信号的图像时的拍摄状况；校正装置，根据该拍摄状况推测装置所推测的拍摄状况，对上述噪声推测装置所推测的噪声量进行校正；和降噪装置，根据该校正装置所校正的噪声量，降低上述信号中的噪声。
34.根据权利要求33所述的摄像系统，还具有配置在上述摄像元件的前面的滤色镜；和分离装置，将该摄像元件所输出的信号分离为对应滤色镜的每个颜色的信号。
35.根据权利要求34所述的摄像系统，上述噪声推测装置具有参数计算装置，根据上述信号的信号值电平、上述摄像元件的温度、对上述信号的增益和拍摄时的快门速度中的至少一个信息，来计算出参数；和噪声量计算装置，根据该参数计算装置所计算出的参数，计算出噪声量。
36.根据权利要求34所述的摄像系统，上述拍摄状况推测装置至少具有推测与拍摄上述信号的图像时的整体画面有关的拍摄状况的整体推测装置和推测拍摄该信号的图像时的每个区域的拍摄状况的区域推测装置中的至少一个。
37.根据权利要求34所述的摄像系统，上述拍摄状况推测装置具有根据聚焦信息、测光信息、变焦位置信息、视线输入信息、闪光灯发光信息中的至少一个信息，来推测与拍摄上述信号的图像时的整体画面有关的拍摄状况的整体推测装置。
38.根据权利要求34所述的摄像系统，上述拍摄状况推测装置具有焦点位置推测装置，根据聚焦信息，推测焦点位置是否是以在至少包含风景拍摄、人物拍摄和近景拍摄这3种或3种以上的模式中的任意一种模式进行拍摄时的焦点位置；被摄体分布推测装置，根据测光信息，推测被摄体分布是否是以在至少包含整体画面、中央重点和中心部的3种或3种以上的模式中的一种模式进行拍摄时的被摄体分布；和整体推测装置，结合上述焦点位置推测装置所推测的焦点位置和上述被摄体分布推测装置所推测的被摄体分布，推测与拍摄上述信号的图像时的整体画面有关的拍摄状况。
39.根据权利要求34所述的摄像系统，上述拍摄状况推测装置具有整体推测装置，根据测光信息，推测并判断与拍摄上述信号的图像时的整体画面有关的拍摄状况是否为夜景拍摄。
40.根据权利要求34所述的摄像系统，上述拍摄状况推测装置具有图像特性检测装置，根据上述信号检测基于该信号的图像特性；和区域推测装置，根据该图像特性检测装置所检测出的图像特性，推测拍摄基于上述信号的图像时的各区域的拍摄状况。
41.根据权利要求40所述的摄像系统，上述图像特性检测装置至少具有下述三个装置中的至少一个装置，该三个装置是特定颜色检测装置，作为图像特性，从上述信号中检测出特定颜色区域；特定亮度检测装置，作为图像特性，从上述信号中检测出特定亮度区域；频率检测装置，作为图像特性，从上述信号中求出规定尺寸的局部区域中的频率信息。
42.根据权利要求40所述的摄像系统，上述拍摄状况推测装置还具有对上述信号进行取样的取样装置，上述图像特性检测装置根据该取样装置所取样的信号来检测图像的图像特性。
43.根据权利要求34所述的摄像系统，上述降噪装置具有阈值设定装置，根据上述校正装置所校正的噪声量，按每个像素、或按每个由多个像素构成的规定的单位面积，把噪声的振幅值设定为阈值；和平滑处理装置，降低小于等于该阈值设定装置所设定的阈值的上述信号中的振幅成分。
44.根据权利要求35所述的摄像系统，上述噪声量计算装置把上述信号的信号值电平L、上述摄像元件的温度T、对上述信号的增益G和拍摄时的快门速度S作为参数，并使用这些参数计算出噪声量N，其具有系数计算装置，根据将上述温度T和增益G作为参数的3个函数a(T、G)、b(T、G)、c(T、G)、及将上述快门速度S作为参数的函数d(S)，分别计算出4个系数A、B、C、D；函数运算装置，根据该系数计算装置所计算出的上述4个系数A、B、C、D所规定的函数公式N＝(ALB+C)D，计算出噪声量N。
45.根据权利要求44所述的摄像系统，上述噪声量计算装置还具有附加标准参数值的标准值附加装置，上述参数是上述参数计算装置所计算出的值，或上述附加装置所附加的标准值。
46.根据权利要求35所述的摄像系统，上述噪声量计算装置具有附加装置，对于未能从上述参数计算装置得到的参数，附加成为标准参数值的标准值；和查寻表装置，输入从上述参数计算装置或上述附加装置所得到的信号值电平、温度、增益和快门速度，求出噪声量。
47.根据权利要求33所述的摄像系统，上述噪声推测装置具有参数计算装置，根据上述信号的信号值电平、上述摄像元件的温度、对上述信号的增益和拍摄时的快门速度中的至少一个信息，计算出参数；和噪声量计算装置，根据该参数计算装置所计算出的参数来计算噪声量。
48.根据权利要求33所述的摄像系统，上述拍摄状况推测装置至少具有推测与拍摄上述信号的图像时的整体画面有关的拍摄状况的整体推测装置和推测拍摄该信号的图像时的每个区域的拍摄状况的区域推测装置中的至少一个装置。
49.根据权利要求33所述的摄像系统，上述拍摄状况推测装置具有根据聚焦信息、测光信息、变焦位置信息、视线输入信息、闪光灯发光信息中的至少一个信息，来推测与拍摄上述信号的图像时的整体画面有关的拍摄状况的整体推测装置。
50.根据权利要求33所述的摄像系统，上述拍摄状况推测装置具有焦点位置推测装置，根据聚焦信息，推测焦点位置是否是以在至少包含风景拍摄、人物拍摄和近景拍摄这3种或3种以上的模式中的任意一种模式进行拍摄时的焦点位置；被摄体分布推测装置，根据测光信息，推测被摄体分布是否是以在至少包含整体画面、中央重点和中心部的3种或3种以上的模式中的一种模式进行拍摄时的被摄体分布；和整体推测装置，结合上述焦点位置推测装置所推测的焦点位置和上述被摄体分布推测装置所推测的被摄体分布，推测与拍摄上述信号的图像时的整体画面有关的拍摄状况。
51.根据权利要求33所述的摄像系统，上述拍摄状况推测装置具有整体推测装置，根据测光信息，推测并判断与拍摄上述信号的图像时的整体画面有关的拍摄状况是否为夜景拍摄。
52.根据权利要求33所述的摄像系统，上述拍摄状况推测装置具有图像特性检测装置，根据上述信号检测基于该信号的图像特性；和区域推测装置，根据该图像特性检测装置所检测出的图像特性，推测拍摄基于上述信号的图像时的各区域的拍摄状况。
53.根据权利要求52所述的摄像系统，上述图像特性检测装置至少具有下述三个装置中的至少一个装置，该三个装置是特定颜色检测装置，作为图像特性，从上述信号中检测出特定颜色区域；特定亮度检测装置，作为图像特性，从上述信号中检测出特定亮度区域；频率检测装置，作为图像特性，从上述信号中求出规定尺寸的局部区域中的频率信息。
54.根据权利要求52所述的摄像系统，上述拍摄状况推测装置其构造为还具有对上述信号进行取样的取样装置，上述图像特性检测装置根据该取样装置所取样的信号来检测图像的图像特性。
55.根据权利要求33所述的摄像系统，上述降噪装置具有阈值设定装置，根据上述校正装置所校正的噪声量，按每个像素、或按每个由多个像素构成的规定的单位面积，把噪声的振幅值设定为阈值；和平滑处理装置，降低小于等于该阈值设定装置所设定的阈值的上述信号中的振幅成分。
56.根据权利要求47所述的摄像系统，上述噪声量计算装置把上述信号的信号值电平L、上述摄像元件的温度T、对上述信号的增益G和拍摄时的快门速度S作为参数，并使用这些参数计算出噪声量N，其具有系数计算装置，根据将上述温度T和增益G作为参数的3个函数a(T、G)、b(T、G)、c(T、G)、及将上述快门速度S作为参数的函数d(S)，分别计算出4个系数A、B、C、D；函数运算装置，根据该系数计算装置所计算出的上述4个系数A、B、C、D所规定的函数公式N＝(ALB+C)D，计算出噪声量N。
57.根据权利要求56所述的摄像系统，上述噪声量计算装置还具有附加标准参数值的标准值附加装置，上述参数是上述参数计算装置所计算出的值，或上述附加装置所附加的标准值。
58.根据权利要求47所述的摄像系统，上述噪声量计算装置具有附加装置，对于未能从上述参数计算装置得到的参数，附加成为标准参数值的标准值；和查寻表装置，输入从上述参数计算装置或上述附加装置所得到的信号值电平、温度、增益和快门速度，求出噪声量。
59.一种图像处理程序，具有噪声推测步骤，按每个像素、或按每个由多个像素构成的规定的单位面积来推测来自通过排列多个像素而构成的摄像元件的数字化信号中所包含的噪声量；拍摄状况推测步骤，推测拍摄上述信号的图像时的拍摄状况；校正步骤，根据在该拍摄状况推测步骤所推测的拍摄状况，对在上述噪声推测步骤所推测的噪声量进行校正；降噪步骤，根据在该校正步骤所校正的噪声量，降低上述信号中的噪声。
全文摘要
本发明的摄像系统在动态情况下取得对噪声产生影响的信号电平、拍摄时的CCD的温度、曝光时间、增益等的要素，通过噪声推测部，例如以像素单位来推测CCD上的噪声电平，通过降噪部来抑制影像信号中的该噪声电平以下的信号成分，既可保持图像的边缘等又可获得噪声小的高品质的图像，这时，根据光学黑区域的信号的方差和温度的相关关系，在噪声推测部内推测CCD的温度，并且，噪声推测部计算出信号电平并把其作为局部区域的平均值。
文档编号H04N9/07GK1675919SQ0381861
公开日2005年9月28日 申请日期2003年8月22日 优先权日2002年8月22日
发明者鹤冈建夫 申请人:奥林巴斯株式会社