专利名称::摄像装置及其光源推断装置的利记博彩app
技术领域:
:本发明涉及一种摄像装置,尤其涉及一种具备推断拍摄输入图像时的光源种类的功能的摄像装置、及其处理方法以及使计算机执行该方法的程序。
背景技术:
:人眼具备彩色适应功能,即使在光源发生了变化的情况下,也将白色物体识别为白色。通过该功能,尽管根据太阳高度不同光源的分光分布会发生变化,人也可以将白色物体识别为白色。同样地,即使在与太阳光的分光分布完全不同的荧光灯下,也可以将白色物体识别为白色,也是由于彩色适应功能。在装置中实现这些功能的是“白平衡功能”。而且,即使通过白平衡功能使得白色物体看上去是白色,但是,由于“图像传感器的分光感光度”和“人眼的分光感光度”的不同造成的影响,存在色彩不能像看到的那样再现的情况。作为对此进行校正的功能,提供了“色彩再现功能”。“白平衡功能”和“色彩再现功能”的参数分别用矩阵表示,所以,在实现阶段也有集中为利用一个矩阵进行一个处理的情况。为了实现白平衡功能,通常使用以埃文斯原理(grayworldassumption灰色世界假说)为基础,结合黑体辐射轨迹(blackbodyradiationlocus)信息进行综合控制的算法。此处,埃文斯原理指的是如果将世界上的被拍摄物体的色彩相加就会成为无彩色的假说。另外,黑体辐射轨迹指的是在将完全的黑体加热的情况下,从黑体发出的按照红铜色、黄色、绿色、蓝色变化的色彩的轨迹。由于自然光会承载在黑体辐射轨迹上,因此黑体辐射轨迹通常用作处理自然光的色彩信息时的基准。但是,在像整个画面拍摄天空的场景,或被树木包围这样的场景等那样,即使对画面中的有效像素全部进行积分也不能成为无彩色的条件下,存在埃文斯原理不成立的情况。例如,在整个画面拍摄天空的场景中,假定埃文斯原理成立而进行控制,则会发生色彩损失(colorfailure),使天空的蓝色成为无彩色(灰色),云带有黄色。在实际的照相机控制中,为了避免这个问题,提出了从画面的有效像素中只选择性地抽出被认为是无彩色的像素值、通过对其进行积分来作为进行白平衡控制时的评价值的方案(例如,参照专利文献1。)。另外,也提出了这样的方式,即,使用由照相机内的图像传感器拍摄的图像,对亮度信息、对被认为是无彩色的像素值进行积分后的值、对整个画面进行积分后的值进行综合评价来推断光源,从而提高白平衡控制及色彩再现控制的精度(例如,参照专利文献2。)。专利文献1日本特开平3-16494号公报(图1)专利文献2日本特开2000-224608号公报(图1)
发明内容发明要解决的问题但是,即使只选择性地抽出被认为是无彩色的像素值进行白平衡控制,也有可能由于难以区别荧光灯下的摄影情况和屋外被绿色包围进行摄影的情况而发生色彩损失。另外,在根据评价空间内的映射的位置来推断光源的方式中,发光二极管(LED)的YAG(钇铝石榴石)类型的光源与日光的观测值的大部分重复,很难辨识这两种光源,很难再现自然的色彩。而且,即使在不同的光源下进行了摄影,在条件匹配时,也有带有积分结果相同的RGB信号的比的摄影条件,存在引起色彩损失的情况。因此,本发明的目的在于实现准确度高的光源推断,提供白平衡处理及色彩再现处理的适当的参数。用于解决问题的方案本发明是为了解决上述课题而提出的,其第1侧面是一种光源推断装置,推断拍摄输入图像时的光源的种类,其特征在于,具备分布保持单元,对于在第1光源或第2光源下拍摄的像素数据,保持在所述第1光源或第2光源下拍摄的像素数据在规定空间中的分布;坐标决定单元,决定所述输入图像的像素数据在所述空间中的坐标;以及分布判断单元,判断所述坐标属于在所述第1光源或第2光源下拍摄的像素数据的哪个分布。由此,带来这样的作用,即,根据在规定空间中的在第1光源或第2光源下拍摄的像素数据的分布,推断输入图像的像素数据在规定空间中的坐标属于在第1光源或第2光源下拍摄的像素数据的哪个分布。另外,在该第1侧面中,可以设为上述空间是一维空间,上述分布是通过将像素数据射影(project)到上述一维空间上而得到的分布。由此,带来这样的作用,即,将多维空间的像素数据射影到一维空间,使光源的推断变得容易。另外,在该第1侧面中,还可以具备多数决定单元,该多数决定单元对于所述输入图像的多个像素数据根据所述坐标属于在所述第1光源或第2光源下拍摄的像素数据的哪个分布的判断结果,通过多数决定来推断光源。由此,带来这样的作用,即,根据输入图像的多个像素数据,以较高的准确度来推断光源。另外,在该第1侧面中,上述第1光源也可以包括LED。在分布保持单元中保持在LED下拍摄的像素数据的分布,在分布判断单元中判断是否属于在LED下拍摄的像素数据,由此可以推断包括LED的光源的种类。另外,在该第1侧面中,上述第1光源可以是多种光源的任意一种,上述第2光源可以是上述多种光源之中非上述第1光源的任意一种。即,在多种光源中的1种之间进行比较来推断光源。在这种情况下,多种光源也可以包括LED。另外,也可以设为上述第1光源是太阳光、荧光灯、白炽灯或LED等4种光源的任意一种,上述第2光源是上述4种光源之中非上述第1光源的任意一种。另外,在该第1侧面中,也可以设为上述第1光源是多种光源的任意一种,上述第2光源是上述多种光源之中非上述第1光源的其他多种。即,对多种光源中的特定的一种和其以外的种类进行比较,推断光源是否是特定的一种。在这种情况下,作为多种光源,也可以包含LED。另外,也可以设为上述第1光源是太阳光、荧光灯、白炽灯或LED等4种光源的任意一种,上述第2光源是上述多种光源之中非上述第1光源的其他3种。另外,本发明的第2侧面是一种摄像装置,其特征在于,具备摄像单元,拍摄输入图像;分布保持单元,对于在第1光源或第2光源下拍摄的像素数据,保持在所述第1光源或第2光源下拍摄的像素数据在规定空间中的分布;坐标决定单元,决定所述输入图像的像素数据在所述空间中的坐标;分布判断单元,判断所述坐标属于在所述第1光源或第2光源下拍摄的像素数据的哪个分布;白平衡处理单元,根据所述判断的结果进行所述输入图像的白平衡处理;以及色彩再现处理单元,根据所述判断的结果,对所述白平衡处理的输出进行色彩再现处理。由此,带来这样的作用,即,根据在第1光源或第2光源下拍摄的像素数据在规定空间中的分布,推断输入图像的像素数据在规定空间中的坐标属于在第1光源或第2光源下拍摄的像素数据的哪个分布,根据推断的光源来进行白平衡处理及色彩再现处理。在该第2侧面中,还可以具备光源限定单元,该光源限定单元将所述第1光源限定为特定种类的光源,使所述分布判断单元进行所述判断。由此,带来提高光源推断的准确度的作用。在这种情况下,还可以具备闪光灯发光检测单元,该闪光灯发光检测单元检测在拍摄所述输入图像时是否进行了闪光灯发光;上述光源限定单元根据所述闪光灯发光的检测结果,使所述分布判断单元进行所述判断。通过与闪光灯开关连动来提高光源推断的准确度。在该第2侧面中,也可以设为上述第1光源是多种光源的任意一种,上述第2光源是上述多种光源之中非上述第1光源的其他种类。在这种情况下,还可以具备光源限定单元,该光源限定单元限定为上述多种光源之中的特定种类的光源,使分布判断单元进行上述判断。另外,该上述光源限定单元也可以限定为上述多种光源之中的荧光灯及LED,使分布判断单元进行上述判断。通过预先限定光源来提高光源推断的准确度。另外,在该第2侧面中,在作为上述判断的结果判断为光源是LED的情况下,上述白平衡处理单元使用太阳光的白平衡增益。由此,在光源是LED的情况下也可以采取与太阳光同样的处理。另外,本发明的第3侧面是一种光源推断装置的光源推断方法,或使计算机在光源推断装置中执行下面步骤的程序,其特征在于该光源推断装置推断拍摄输入图像时的光源的种类,并具备分布保持单元,该分布保持单元对于在第1光源或第2光源下拍摄的像素数据,保持在所述第1光源或第2光源下拍摄的像素数据在规定空间中的分布,该光源推断方法或程序具备以下步骤决定所述输入图像的像素数据在所述空间中的坐标;判断所述坐标属于在所述第1光源或第2光源下拍摄的像素数据的哪个分布。由此,带来这样的作用,即,根据在第1光源或第2光源下拍摄的像素数据在规定空间中的分布,推断输入图像的像素数据在规定空间中的坐标属于在第1光源或第2光源下拍摄的像素数据的哪个分布。发明的效果根据本发明,能实现以下良好的效果,即,可以实现准确度高的光源推断,提供白平衡处理及色彩再现处理的适当的参数。图1是表示本发明的实施方式中的摄像装置100的一个结构例的图。图2是表示本发明的实施方式中的摄像元件110的一个结构例的图。图3是表示彩色图像的生成模型的图。图4是表示本发明的实施方式中的通过线形辨识法进行光源判断的一例的图。图5是表示本发明的实施方式中的光源推断的前处理的一例的图。图6是表示本发明的实施方式中的光源推断电路200的一个结构例的图。图7是表示本发明的实施方式中的保持白平衡增益及色彩校正矩阵的查找表的一例的图。图8是表示本发明的实施方式中的摄像装置100的处理过程的一例的图。图9是表示本发明的实施方式中的光源推断处理的处理过程的一例的图。附图标记说明10光源;20物体;30摄像元件;100摄像装置;110摄像元件;120A/D转换电路;130解马赛克块;140白平衡电路;150色彩再现处理电路;160信号转换处理电路;170伽马校正电路;181显示部;182数据保持部;190用户接口;200光源推断电路;210有效像素选择电路;220光源推断参数保持部;230内积运算电路;240判断电路;250光源限定部;260多数决定电路;270上次结果保持部;300图像处理参数设定部。具体实施例方式下面,参照附图详细说明本发明的实施方式。图1是表示本发明的实施方式中的摄像装置100的一个结构例的图。该摄像装置100具备摄像元件110;A/D(AnalogtoDigital模拟/数字)转换电路120;解马赛克块(demosaicblock)130;白平衡电路140;色彩再现处理电路150;信号转换处理电路160;伽马校正电路170;显示部181;数据保持部182;用户接口(图中略称为“用户I/F”。)190;光源推断电路200;以及图像处理参数设定部300。摄像元件110是将输入图像的光信息转换为电信号(电压值)的光电转换元件,也称为图像传感器。作为该摄像元件110,例如,使用CCD(ChargeCoupledDevice电荷耦合器件)等。作为摄像元件110,如图2(a)所示,一般是具备红(RRed)、绿(GGreen)、蓝(BBlue)这3种滤色器的图像传感器,但是,近年来实现了一种图像传感器,如图2(b)所示,追加祖母绿(EEmerald)的滤色器来补偿人眼特有的红色的负感光度。在本发明的实施方式中,作为摄像元件110,设想为具备在RGB上追加了祖母绿的4种滤色器的图像传感器来进行说明。A/D转换电路120是将从摄像元件110提供的模拟信号转换为数字信号的电路。通过该A/D转换电路120,将输入图像的各像素量子化为例如14位的像素数据。解马赛克块130是对像素数据实施解马赛克处理的块。此处,解马赛克处理指的是对每1像素1色的像素数据利用周边的像素数据进行插值,使得1像素具备3色(RGB)或4色(RGBE)的色彩的处理。在本发明的实施方式中,RGB的像素数据通过信号线138提供给白平衡电路140、RGBE的像素数据通过信号线139提供给光源推断电路200作为解马赛克块130的输出。光源推断电路200是根据从解马赛克块130提供的RGBE的像素数据,推断拍摄输入图像时的光源的电路。其结构及处理内容将在后面说明。该光源推断电路200的推断结果通过信号线209提供给图像处理参数设定部300。图像处理参数设定部300是用于设定与通过光源推断电路200推断的光源对应的图像处理的参数的设定部。即,图像处理参数设定部300将白平衡增益通过信号线308提供给白平衡电路140,并且将与通过光源推断电路200推断的光源对应的色彩校正矩阵通过信号线309提供给色彩再现处理电路150。白平衡增益是由与红绿蓝各色对应的3个增益gr、gg、gb组成的纵矢量。另外,色彩校正矩阵是由纵方向3元素、横方向3元素的9个元素(M11至M33)组成的矩阵。另外,图像处理参数设定部300可以通过例如微处理器等的CPU(CentralProcessingUnit中央处理单元)来实现。白平衡电路140是进行白平衡处理的电路,对从解马赛克块130提供的RGB的像素数据乘以与从图像处理参数设定部300提供的白平衡增益对应的增益。即,对R的像素数据乘以R的增益gr、对G的像素数据乘以G的增益gg、对B的像素数据乘以B的增益gb来形成新的RGB的像素数据。色彩再现处理电路150是进行色彩再现处理的电路,对通过白平衡电路140实施了白平衡处理后的RGB的像素数据乘以从图像处理参数设定部300提供的色彩校正矩阵。色彩再现处理电路150将该色彩再现处理结果的RGB像素数据映射(map)到XYZ空间。信号转换处理电路160是从XYZ空间上的坐标转换为YCC形式,即,亮度Y、蓝的色差Cb及红的色差Cr的电路。伽马校正电路170是进行与显示部181等的伽马值对应的伽马校正的电路。显示部181是LCD(LiquidCrystalDisplay液晶显示器)等显示器,在未按下快门按钮的情况下对从伽马校正电路170提供的输入图像进行监视器显示。数据保持部182是记录介质,在按下了快门的情况下,保持从伽马校正电路170提供的输入图像。用户接口190是摄像装置100中设定的硬件开关或软件的GUI(GraphicalUserInterface图形用户接口)。上述快门按钮也是该用户接口190之一。另外,作为其他用户接口190,可以具备光源设定开关,将光源限定为特定的种类来进行光源推断;闪光灯开关,指示闪光灯动作的有无。该用户接口190的指示内容通过信号线199提供给光源推断电路200。图3是表示彩色图像的生成模型的图。此处对从光源10照射的光在物体20的表面反射,到在摄像元件30中受光为止的流程进行说明。此外,λ是表示波长的符号。来自光源10的照射光通过分光能量分布E(λ)来表示各波长的放射能量(相对值)。来自该光源10的照射光在物体20的表面被吸收或反射。分光反射率S(λ)表示物体对各波长的入射光的反射光比例。因此,射向摄像元件30的反射光的分光分布由光源10的分光能量分布E(λ)和分光反射率S(λ)的积(E(λ)·S(λ))来表示。此外,这里是以在表面的反射只基于扩散反射成分为前提,而没有考虑镜面反射等其他成分。通常情况下,镜面反射成分非常亮的情况较多,在摄影图像上成为高亮度像素的可能性高。因此,在本发明的实施方式中,预先排除那样的高亮度部分的数据,由此进行只以扩散反射成分为对象的处理。来自物体20的反射光入射到摄像元件30中。摄像元件30的分光响应通过RGBE4种分光感光度函数RR(λ)、RG(λ)、RB(λ)、RE(λ)来表示。因此,摄像元件30的第x个像素的输出ρi(x)如下式所示。ρi(x)=∫E(λ)·S(λ)·Ri(λ)dλ(i=R,G,B,E)(式1)此外,作为可视区域,通常对400至700nm左右的区间的波长进行该积分。这样,像素的输出ρi(x)由光源10的分光能量分布E(λ)、物体20的分光反射率S(λ)及摄像元件30的分光感光度函数Ri(λ)来决定。此处,已经知道光源10的分光能量分布E(λ)依存于光源10。在本发明的实施方式中,作为一例,假设{L1,L2,L3,L4}={太阳光、荧光灯、白炽灯、LED}这4种。另外,已经知道物体20的分光反射率S(λ)依赖于物体20。而且,已经知道分光感光度函数具有将在摄像元件30中使用的滤色器的分光透过率、图像传感器的分光感光度、摄像装置的镜头的分光透过率相乘后的特性。因此,作为物体20,假设有m个(m是正整数)代表性物体,分别关于4种光源,通过式1生成像素数据。即,对于太阳光(光源L1),摄像元件30的输出成为以下元素的4维矢量。ρR(j)_underL1=∫E1(λ)·Sj(λ)·RR(λ)dλρG(j)_underL1=∫E1(λ)·Sj(λ)·RG(λ)dλρB(j)_underL1=∫E1(λ)·Sj(λ)·RB(λ)dλρE(j)_underL1=∫E1(λ)·Sj(λ)·RE(λ)dλ(j=1~m)(式2)另外,对于荧光灯(光源L2),摄像元件30的输出成为以下元素的4维矢量。ρR(j)_underL2=∫E2(λ)·Sj(λ)·RR(λ)dλρG(j)_underL2=∫E2(λ)·Sj(λ)·RG(λ)dλρB(j)_underL2=∫E2(λ)·Sj(λ)·RB(λ)dλρE(j)_underL2=∫E2(λ)·Sj(λ)·RE(λ)dλ(j=1~m)(式3)另外,对于白炽灯(光源L3),摄像元件30的输出成为以下元素的4维矢量。ρR(j)_underL3=∫E3(λ)·Sj(λ)·RR(λ)dλρG(j)_underL3=∫E3(λ)·Sj(λ)·RG(λ)dλρB(j)_underL3=∫E3(λ)·Sj(λ)·RB(λ)dλρE(j)_underL3=∫E3(λ)·Sj(λ)·RE(λ)dλ(j=1~m)(式4)另外,对于LED(光源L4),摄像元件30的输出成为以下元素的4维矢量。ρR(j)_underL4=∫E4(λ)·Sj(λ)·RR(λ)dλρG(j)_underL4=∫E4(λ)·Sj(λ)·RG(λ)dλρB(j)_underL4=∫E4(λ)·Sj(λ)·RB(λ)dλρE(j)_underL4=∫E4(λ)·Sj(λ)·RE(λ)dλ(j=1~m)(式5)然后,将“光源L1下的摄影”、“光源L2下的摄影”、“光源L3下的摄影”、“光源L4下的摄影”分别作为“状态”进行捕捉。另外,将通过式2至5表示的4维空间的点考虑为各个状态中的现象的样本。另外,可以认为m个物体是世界上存在的物体的代表,是数量足够并且没有偏差的样本。因此,可以通过应用线形辨识法来辨识“状态”。此外,世界上存在的物体的代表性的物体分光反射率刊载在ISO的“用于色彩再现评价的标准物体的色彩的频谱数据库”(ISO/TR160662003)中,可以在式2至4的计算中使用。图4是表示本发明的实施方式中通过线形辨识法进行光源判断的一例的图。此处,通过将RGBE空间中的样本的像素数据射影到一维的ω12轴上来生成样本的分布(P12(y)·P12′或P21(y)·P21′),其后,通过将要判断的像素数据x0射影到一维的ω12轴上,根据线形辨识法来判断该像素数据属于哪个分布。此处,首先说明线形辨识法。假设存在D1和D2的状态。假设在D1或D2的状态下,发生了某现象x(x表示为4维空间的点)。假设不清楚是D1或D2的哪个状态。此时,为了根据发生了现象x的事实来推测状态是D1还是D2,根据D1和D2的分布求出最适合于辨识2个类的最好的超平面,在该超平面上辨识D1和D2的状态,这就是线形辨识法。假设在状态为D1的条件下发生的现象的样本是x(1)~x(n1)(合计n1个)。另外,假设在状态为D2的条件下发生的现象的样本是x(n1+1)~x(N)(合计n2=N-n1个)。假设n1、n2、及N是足够大的数,另外,x(1)~x(n1)、x(n1+1)~x(N)作为样本没有偏差,以足够的精度对在各个条件下可能发生的密度分布进行了近似。此时,分别如下定义标本平均mi、散布矩阵Si(scattermatrix)及类内散布矩阵Sw(between-classscattermatrix)。mi=1niΣx∈Dix(i=1,2)]]>Si=Σx∈Di(x-mi)(x-mi)t(i=1,2)]]>Sw=S1+S2即,散布矩阵Si用属于类i的特征矢量x和类平均mi的差的乘方和的形式定义。此外,t表示矢量的转置。由此,应该射影的一维的轴ω通过下式求得。ω=Sw-1(m1-m2)(式6)如果将各样本x(j)(j=1~N)射影在该轴ω上的点设为y(j),那么,下式成立。y(j)=ωtx(j)(式7)此外,x(j)、ω都是由4个元素组成的纵矢量。y(j)是标量。通过式7,可以说y(1)~y(n1)是状态为D1的条件下发生的现象(1维空间的点)的样本,y(n1+1)~y(N)是状态为D2的条件下发生的现象(1维空间的点=标量)的样本。其后,假设在D1或D2的状态下观测到了某现象x0。此时,使用式6所示的ω来计算下式。y0=ωtx0(式8)根据该式8计算的y0如果是满足P(D1|y0)>>P(D2|y0)(式9)的y0,判断为状态是D1。另外,如果是满足P(D1|y0)<<P(D2|y0)(式10)的y0,判断为状态是D2。另外,如果是此外的情况,则认为不能判断状态。即,根据“如果发生了某现象y0,认为其在状态D1的条件下发生的有条件概率P(D1|y0)和认为其在状态D2的条件下发生的有条件概率P(D2|y0)的大小关系”来进行判断。此处,有条件概率通常满足下面式所示的贝叶斯公式。P(a|b)×P(b)=P(b|a)×P(a)因此,式9及式10与下式11及12的值相同。P(y0|D1)P(D1)>>P(y0|D2)P(D2)(式11)P(y0|D1)P(D1)<<P(y0|D2)P(D2)(式12)x(1)~x(n1)、x(n1+1)~x(N)是数量足够大且没有偏差的样本。因此,通过式5导出的y(1)~y(n1)是在状态为D1的条件下发生的现象的样本(数量足够大且没有偏差)。并且,通过式7导出的y(n1+1)~y(N)是在状态为D2的条件下发生的现象的样本(数量足够大且没有偏差)。由此,使用数量足够大并没有偏差的样本,可以对任意y求得“在状态D1的条件下发生y的有条件概率P(y|D1)”及“在状态D2的条件下发生y的有条件概率P(y|D2)”。也就是说,在将P(y|D1)及P(y|D2)考虑为y的函数时,可以求得这2个函数。另外,P(D1)表示在两种状态D1和D2之中,是D1的可能性的比例,P(D2)表示在两种状态D1和D2之中,是D2的可能性的比例。例如,在两种状态以相等概率发生的情况下,设定为P(D1)=P(D2)=1/2。或者如后所述,D1及D2表示光源的种类,考虑到一般在太阳光下拍摄的比例较多,因此也可以增大针对太阳光的比例(是太阳光的可能性的比例)P。可以求出作为y的函数的P(y|D1)和P(y|D2)及P(D1)=P(D2)的值,因此可以判断通过式8求得的y0是否满足式11或12。即,可以判断为状态是D1还是D2、或不能判断。此外,在严格定义式11及12的情况下,设置某阈值(常数),如果P(y0|D1)×P(D1)-P(y0|D2)×P(D2)的值在该阈值以上,则可以判断为满足式11,如果P(y0|D2)×P(D2)-P(y0|D1)×P(D1)的值在该阈值以上,则可以判断为满足式12。另外,P(y0|D1)×P(D1)-P(y0|D2)×P(D2)比0大得越多,是状态D1的推断结果的准确度越高。另一方面,P(y0|D1)×P(D1)-P(y0|D2)×P(D2)比0小得越多,是状态D2的推断结果的准确度越高。参照图4说明将此前说明的线形辨识法应用于光源判断的示例。图中,○标记是在光源L1下拍摄的m个像素数据的样本,×标记是在光源L2下拍摄的m个像素数据的样本。假定各个像素数据是由RGBE的4元素组成的纵矢量。根据这2m个样本,通过式6求得一维的轴ω12。因此,该一维的轴ω12也成为由4元素组成的纵矢量。然后,对在光源L1下拍摄的m个样本,通过式7求得一维的轴ω12上的分布y(j)。该分布是P(y|D1),考虑为y的函数,设为P12(y)。另外,对在光源L2下拍摄的m个样本,通过式7求得一维的轴ω12上的分布y(j)。该分布是P(y|D2),考虑为y的函数,设为P21(y)。另外,式7是4维矢量的内积运算,生成的是标量。进而,设定D1及D2的发生概率。作为相等概率,可以将两者设定为P(D1)=P(D2)=1/2。或,由于一般在太阳光下拍摄的比例较多,也可以增大针对太阳光的发生概率。这样设定后的概率就成为P12′=P(D1)、P21′=P(D2)。由此,将一维的轴ω12上的分布和发生概率相乘后的内容通过P12(y)·P12′和P21(y)·P21′这2个曲线图来表示。其后,摄像的结果,在信号线139中得到图像数据x0时,通过式8求出射影到一维的轴ω12上的值y0。另外,式8是4维矢量的内积运算,生成的是标量。调查该求得的值y0是否满足式11或12。此外,在式11及12中的P(y0|D1)是P12(y),P(y0|D2)是P21(y),P(D1)是P12′,P(D2)是P21′。在满足式11的情况下,判断为不是“在光源L2(荧光灯)下的摄影”,而是“在光源L1(太阳光)下的摄影”。在满足式12的情况下,判断为不是“在光源L1(太阳光)下的摄影”,而是“在光源L2(荧光灯)下的摄影”。在不满足式11或12的情况下,认为不能判断。图5是表示本发明的实施方式中的光源推断的前处理的一例的图。此处,对前处理进行说明,该前处理用于判断是“在光源Lh下的摄像(状态Dh)”,还是“在光源Lk下的摄像(状态Dk)”。此外,h≠k。首先,作为像素数据的样本,通过与式2至5中的Lh对应的式取得m个4维空间的点,并通过与式2至5中的Lk对应的式取得m个4维空间的点(步骤S901)。然后,通过将这些点作为样本计算式6,来算出一维的轴ωhk(步骤S902)。另外,通过对各样本计算式7,对“在光源Lh下的摄像”得到的摄像数据和“在光源Lk下的摄像”得到的摄像数据双方,生成在一维的轴ωhk上的射影的分布(步骤S903)。“在光源Lh下的摄像”的分布是P(y|Dh),将其设为Phk(y)。另外,“在光源Lk下的摄像”的分布是P(y|Dk),将其设为Pkh(y)。进而,设定“在光源Lh下的摄像”和“在光源Lk下的摄像”的发生概率(步骤S904)。此处,如果两者以相等概率发生,就是P(Dh)=P(Dk)=1/2。另外,将P(Dh)设为Phk′,将P(Dk)设为Pkh′。例如,在将本发明应用在数码照相机中的情况下,只要在出厂时等预先进行该前处理,就可以在摄像时进行快速的处理。此处,说明了是“在光源Lh下的摄像(状态Dh)”还是“在光源Lk下的摄像(状态Dk)”这样一对一的判断,在一对多的情况下也同样。即,也可以判断是“在光源Lh下的摄像(状态Dh)”还是“在光源Lh以外之下的摄像(状态Dk)”。在这种情况下,在步骤S901中取得的样本数对于光源Lh是m个,对光源Lh以外是3m个。另外,将在步骤S902中通过式6算出的一维的轴设为ωh0。另外,将在步骤S903中通过式7生成的分布中,将光源Lh的分布设为Ph0(y),将光源Lh以外的分布设为P0h(y)。另外,在这种情况下,为了区别4个光源中的一个和其他三个,将在步骤S904中的发生概率设为,例如,P(Dh)=1/4、P(Dk)=3/4。此处,将P(Dh)设为Ph0′,将P(Dk)设为P0h′。图6是表示本发明的实施方式中的光源推断电路200的一个结构例的图。该光源推断电路200具备有效像素选择电路210、光源推断参数保持部220、内积运算电路230、判断电路240、光源限定部250、多数决定电路260、以及上次结果保持部270。有效像素选择电路210是在从解马赛克块130通过信号线139提供的整个画面的像素数据中选择有效的像素数据的电路。即,有效像素选择电路210排除极暗的像素数据及极亮的像素数据。由于极暗的像素受噪点的影响大,所以,不应该作为判断的对象。另外,极亮的像素如上述那样,有镜面反射成分的影响,另外,RGBE任何一个像素数据饱和而无法取得正确的值的情况较多,所以不应该作为判断的对象。因此,有效像素选择电路210在像素数据为零或接近零的情况下、为最大值或接近最大值的情况下不进行选择,而只选择此外的像素数据。光源推断参数保持部220保持光源推断所需要的参数。该参数是预先通过式6算出的一维的轴ω、通过式7生成的分布y(j)及任意设定的发生概率。例如,为了判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lk下的摄像(状态Dk)”,需要将4维矢量ω12、ω13、ω14、ω23、ω24、ω34及y的函数P12(y)、P21(y)、P13(y)、P31(y)、P14(y)、P41(y)、P23(y)、P32(y)、P24(y)、P42(y)、P34(y)、P43(y)及标量值P12′、P21′、P13′、P31′、P14′、P41′、P23′、P32′、P24′、P42′、P34′、P43′预先保持在光源推断参数保持部220中。另一方面,例如,为了判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lh以外之下的摄像(状态Dk)”,将4维矢量ω10、ω20、ω30、ω40及y的函数P10(y)、P01(y)、P20(y)、P02(y)、P30(y)、P03(y)、P40(y)、P04(y)及标量值P10′、P01′、P20′、P02′、P30′、P03′、P40′、P04′预先保持在光源推断参数保持部220中。内积运算电路230在有效像素选择电路210选择的像素数据和在光源推断参数保持部220中保持的一维的轴ω之间,进行式8的内积运算。例如,为了判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lk下的摄像(状态Dk)”,读取光源推断参数保持部220中保持的ω12、ω13、ω14、ω23、ω24、ω34,进行与像素数据x0(4维矢量)之间的内积运算,算出内积计算结果y0。由此,按全部光源的“一对一”的组合,进行6组内积运算,通过合计输出有效像素数据的6倍数量的标量值。另一方面,例如,为了判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lh以外之下的摄像(状态Dk)”,读取光源推断参数保持部220中保持的ω10、ω20、ω30、ω40,进行与像素数据x0(4维矢量)之间的内积运算,算出内积计算结果y0(标量值)。由此,按全部光源的“一对多”的组合,进行4组内积运算,通过合计输出有效像素数据的4倍数量的标量值。判断电路240根据在内积运算电路230中算出的内积运算的结果,判断是在哪个光源下的摄像。例如,为了判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lk下的摄像(状态Dk)”,分别调查在内积运算电路230中得到的6个标量值是否满足式11或12。式11及12所需要的参数从光源推断参数保持部220读取。通过这种方式,可以对每个像素数据得到(1)D1和D2之一或不清楚、(2)D1和D3之一或不清楚、(3)D1和D4之一或不清楚、(4)D2和D3之一或不清楚、(5)D2和D4之一或不清楚、(6)D3和D4之一或不清楚这6个判断结果。另一方面,例如,为了判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lh以外之下的摄像(状态Dk)”,分别调查在内积运算电路230中得到的4个标量值是否满足式11或12。式11及12所需要的参数从光源推断参数保持部220读取。由此,可以对每个像素数据得到(1)D1和D1以外之一或不清楚、(2)D2和D2以外之一或不清楚、(3)D3和D3以外之一或不清楚、(4)D4和D4以外之一或不清楚这4个判断结果。多数决定电路260是根据由判断电路240得到的判断结果,决定哪个状态比较多的电路。例如,为了判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lk下的摄像(状态Dk)”,(1)比较D1和D2,在判断为是D1的情况下,计数器N12增加“1”,在判断为D2的情况下,计数器N21增加“1”;(2)比较D1和D3,在判断为是D1的情况下,计数器N13增加“1”,在判断为是D3的情况下,计数器N31增加“1”;(3)比较D1和D4,在判断为是D1的情况下,计数器N14增加“1”,在判断为是D4的情况下,计数器N41增加“1”;(4)比较D2和D3,在判断为是D2的情况下,计数器N23增加“1”,在判断为是D3的情况下,计数器N32增加“1”;(5)比较D2和D4,在判断为是D2的情况下,计数器N24增加“1”,在判断为是D4的情况下,计数器N42增加“1”;(6)比较D3和D4,在判断为是D3的情况下,计数器N34增加“1”,在判断为是D4的情况下,计数器N43增加“1”。其结果,如果“某h对全部k(k=1~4。其中,k=h除外)都是Nhk>Nkh”,表示得到可以推测为“光源Lh与其他任何光源Lk进行比较,总得到Lh”的结果,因此判断为“最终的光源是Lh”。如果没有这样的h,则计算(N12+N13+N14)、(N21+N23+N24)、(N31+N32+N34)和(N41+N42+N43),选择其中最大的和第二大的。然后,如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是(N12+N13+N14)”,表示判断为“光源是L1”的像素的数量相当多,因此判断为“最终的光源是L1”。另外,如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是(N21+N23+N24)”,表示判断为“光源是L2”的像素的数量相当多,因此判断为“最终的光源是L2”。另外,如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是(N31+N32+N34)”,表示判断为“光源是L3”的像素的数量相当多,因此判断为“最终的光源是L3”。另外,如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是(N41+N42+N43)”,表示判断为“光源是L4”的像素的数量相当多,因此判断为“最终的光源是L4”。然后,在第一个和第二个的差小于期望的大小的情况下,表示至少对2个不同的光源(La和Lb),判断为“光源是La”的像素的数量与判断为“光源是Lb”的像素的数量仅有微小差异,因此这次判断为不能判断,将上次结果保持部270中保持的上次的结果判断为最终的光源。另一方面,例如,为了判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lh以外之下的摄像(状态Dk)”,(1)比较D1和D1以外,在判断为是D1的情况下,计数器N10增加“1”,(2)比较D2和D2以外,在判断为是D2的情况下,计数器N20增加“1”,(3)比较D3和D3以外,在判断为是D3的情况下,计数器N30增加“1”,(4)比较D4和D4以外,在判断为是D4的情况下,计数器N40增加“1”。其结果,选择N10、N20、N30、N40之中最大的和第二大的值。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是N10”,表示判断为“光源是L1”的像素的数量相当多,因此判断为“最终的光源是L1”。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是N20”,表示判断为“光源是L2”的像素的数量相当多,因此判断为“最终的光源是L2”。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是N30”,表示判断为“光源是L3”的像素的数量相当多,因此判断为“最终的光源是L3”。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是N40”,表示判断为“光源是L4”的像素的数量相当多,因此判断为“最终的光源是L4”。在第1个和第2个的差小于期望的大小的情况下,表示至少对2个不同的光源(La和Lb),判断为“光源是La”的像素的数量与判断为“光源是Lb”的像素的数量仅有微小差异,因此,这次判断为不能判断,将上次结果保持部270中保持的上次的结果判断为最终的光源。上次结果保持部270保持由多数决定电路260判断的上次的结果。这里所说的上次表示时间上的上次。在监视输入图像的过程中,例如,按1秒30次的比例进行摄像,因此1/30秒前的输入图像的结果就是上次的结果。在多数决定电路260中判断为不能判断的情况下,使用该上次结果保持部270中保持的判断结果,即,光源的种类。此外,可以考虑将例如使用最多的“太阳光”设定为电源接通后的初始状态。光源限定部250限定应该成为对内积运算电路230及判断电路240中的处理的对象的光源。该光源限定部250通过信号线199连接到用户接口190,根据用户的设定指示,进行光源的限定。例如,在设定了将光源限定为特定种类而进行光源推断的光源设定开关的情况下,根据该设定的内容来限定光源,进行内积运算电路230及判断电路240中的处理。此外,荧光灯和LED这2种照明有很多外观相似的形状,会出现难以判断在当前摄影的场景(尤其是屋内)中存在的照明是荧光灯还是LED的情况。即使在这种情况下,也可以通过由用户进行“当前摄影的场景是在LED或荧光灯下”的判断来简化光源判断的判断。另外,如果有指示闪光灯动作有无的闪光灯开关,可以通过其有无改变要推断的光源的种类。在闪光灯动作的有无不明确的情况下,必须考虑{太阳光、荧光灯、白炽灯、LED闪光灯、闪光灯和太阳光的混合光、闪光灯和荧光灯的混合光、闪光灯和白炽灯的混合光、闪光灯和LED的混合光}这9种光源,但是如果知道闪光灯动作的有无,就可以如下那样缩小要考虑的光源。即,在没有闪光灯动作的情况下,作为光源,只要考虑{太阳光、荧光灯、白炽灯、LED}这4种光源就可以。另外,在有闪光灯动作的情况下,只要考虑{闪光灯、闪光灯和太阳光的混合光、闪光灯和荧光灯的混合光、闪光灯和白炽灯的混合光、闪光灯和LED的混合光}这5种光源就可以。此外,这里说明了对整个画面中的有效像素逐一像素判断光源,通过对其结果进行计数进行多数决定处理的示例,但是本发明不限于此。例如,也可以对有效像素的每一像素求得推断结果的准确度,通过对其进行累加,最终推断光源。下面,举两个例子进行说明。例如,为了根据准确度判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lk下的摄像(状态Dk)”,判断电路240对在内积运算电路230中得到的6个标量值分别求出P(y0|D1)×P(D1)-P(y0|D2)×P(D2)。由此,得到(1)“不是光源L2而是光源L1”的推断结果的准确度、(2)“不是光源L3而是光源L1”的推断结果的准确度、(3)“不是光源L4而是光源L1”的推断结果的准确度、(4)“不是光源L3而是光源L2”的推断结果的准确度、(5)“不是光源L4而是光源L2”的推断结果的准确度、(6)“不是光源L4而是光源L3”的推断结果的准确度。然后,(1)对“不是光源L2而是光源L1”的推断结果的准确度大于等于“0”的像素,累加该值,将其结果设为N12′,对其准确度小于“0”的像素,累加该值的“-1”倍的值,将其结果设为N21′。另外,(2)对“不是光源L3而是光源L1”的推断结果的准确度为大于等于“0”的像素,累加该值,将其结果设为N13′,对其准确度小于“0”的像素,累加该值的“-1”倍的值,将其结果设为N31′。另外,(3)对“不是光源L4而是光源L1”的推断结果的准确度大于等于“0”的像素,累加该值,将其结果设为N14′,对其准确度小于“0”的像素,累加该值的“-1”倍的值,将其结果设为N41′。另外,(4)对“不是光源L3而是光源L2”的推断结果的准确度大于等于“0”的像素,累加该值,将其结果设为N23′,对其准确度小于“0”的像素,累加该值的“-1”倍的值,将其结果设为N32′。另外,(5)对“不是光源L4而是光源L2”的推断结果的准确度大于等于“0”的像素,累加该值,将其结果设为N24′,对其准确度小于“0”的像素,累加该值的“-1”倍的值,将其结果设为N42′。另外,(6)对“不是光源L4而是光源L3”的推断结果的准确度大于等于“0”的像素,累加该值,将其结果设为N34′,对其准确度小于“0”的像素,累加该值的“-1”倍的值,将其结果设为N43′。其结果,如果“某h对全部k(k=1~4,其中,k=h除外)都是Nhk′>Nkh′”,表示得到可以推测为“光源Lh与其他任何光源Lk进行比较,总得到Lh”的结果,因此判断为“最终的光源是Lh”。如果没有这样的h,则计算(N12′+N13′+N14′)、(N21′+N23′+N24′)、(N31′+N32′+N34′)和(N41′+N42′+N43′),选择其中最大的和第二大的值。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是(N12′+N13′+N14′)”,表示判断为“光源是L1”的像素的数量相当多,因此判断为“最终的光源是L1”。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是(N21′+N23′+N24′)”,表示判断为“光源是L2”的像素的数量相当多,因此判断为“最终的光源是L2”。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是(N31′+N32′+N34′)”,表示判断为“光源是L3”的像素的数量相当多,因此,判断为“最终的光源是L3”。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是(N41′+N42′+N43′)”,表示判断为“光源是L4”的像素的数量相当多,因此判断为“最终的光源是L4”。在第一个和第二个的差小于期望的大小的情况下,表示至少对两个不同的光源(La和Lb),判断为“光源是La”的像素的数量与判断为“光源是Lb”的像素的数量仅有微小差异,因此这次的判断为不能判断,将上次结果保持部270中保持的上次的结果判断为最终的光源。另一方面,例如,为了判断在4种光源之中是“在光源Lh下的摄像(状态Dh)”还是“在光源Lh以外之下的摄像(状态Dk)”,判断电路240对在内积运算电路230中得到的4个标量值分别求得P(y0|D1)×P(D1)-P(y0|D2)×P(D2)。由此,得到(1)“是光源L1”的推断结果的准确度、(2)“是光源L2”的推断结果的准确度、(3)“是光源L3”的推断结果的准确度、(4)“是光源L4”的推断结果的准确度。然后,(1)对“是光源L1”的推断结果的准确度进行累加,将其结果设为N10′。另外,(2)对“是光源L2”的推断结果的准确度进行累加,将其结果设为N20′。另外,(3)对“是光源L3”的推断结果的准确度进行累加,将其结果设为N30′。另外,(4)对“是光源L4”的推断结果的准确度进行累加,将其结果设为N40′。其结果,选择N10′、N20′、N30′及N40′中最大的和第二大的值,进行以下判断。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是N10′”,表示判断为“光源是L1”的像素的数量相当多,因此判断为“最终的光源是L1”。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是N20′”,表示判断为“光源是L2”的像素的数量相当多,因此判断为“最终的光源是L2”。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是N30′”,表示判断为“光源是L3”的像素的数量相当多,因此判断为“最终的光源是L3”。如果“第一个和第二个的差大于等于期望的大小”,并且“最大的是N40′”,表示判断为“光源是L4”的像素的数量相当多,因此判断为“最终的光源是L4”。在第一个和第二个的差小于期望的大小时,表示至少对两个不同的光源(La和Lb),判断为“光源是La”的像素的数量与判断为“光源是Lb”的像素的数量仅有微小差异,因此这次的判断为不能判断,将上次结果保持部270中保持的上次的结果判断为最终的光源。图7是表示本发明的实施方式中的保持白平衡增益及色彩校正矩阵的查找表(lookuptable)的一例的图。图像处理参数设定部300将与通过光源推断电路200推断的光源对应的白平衡增益及色彩校正矩阵分别提供给白平衡电路140及色彩再现处理电路150。此时,图像处理参数设定部300从在图像处理参数设定部300的内部或外部预先准备的查找表中读取保持在与光源对应的地址中的参数。图7(a)是白平衡增益的查找表,分别对光源L1至L4各保持1组RGB的白平衡增益gr、gg、gb。图像处理参数设定部300根据通过光源推断电路200推断出的光源读取对应的白平衡增益的组,通过信号线308提供给白平衡电路140。在光源是太阳光、荧光灯、白炽灯等的情况下,白平衡增益已知,如果推断出的光源是太阳光、荧光灯、白炽灯等,则可以使用这些白平衡增益。另外,在推断出的光源是LED的情况下,设为使用与太阳光相同的白平衡增益。由此,在光源是LED的情况下也可以与其他光源同样对应。图7(b)是色彩校正矩阵的查找表,分别对光源L1至L4各保持1组由3×3的9个元素组成的色彩校正矩阵M11至M33。图像处理参数设定部300根据通过光源推断电路200推断出的光源,读取对应的色彩校正矩阵的组,通过信号线309提供给色彩再现处理电路150。在光源是太阳光、荧光灯、白炽灯等的情况下,色彩校正矩阵已知,如果推断出的光源是太阳光、荧光灯、白炽灯等,则可以使用这些色彩校正矩阵。另外,在推断的光源是LED的情况下,可以如下预先进行准备。此处,考虑使用了麦克贝思色表的方法。麦克贝思色表是由24色组成的比色表(色表),各色表集中世界上的各种物体的分光反射率,在分光反射率中具有通过对其进行主成分分析而求得的各主成分。其中,20色是有彩色。如果能感觉到拍摄麦克贝思色表时的照相机输出色彩与人眼看到的色彩相同,就可以认为能够进行正确的白平衡和色彩再现。因此,如果假定在LED照明下存在麦克贝思色表,则从式1可以得到下式。RsensorjGsensorjBsensorj∫E4(λ)Sj(λ)RR(λ)dλ∫E4(λ)Sj(λ)RG(λ)dλ∫E4(λ)Sj(λ)RB(λ)dλ(j=1~20)]]>对上式乘以白平衡及色彩校正矩阵,则成为下式(式13)。另外,在这里为了强调是LED的色彩校正矩阵,通过M11′至M33′表示色彩校正矩阵。M11′M12′M13′M21′M22′M23′M31′M32′M33′gr×Rsensorjgg×Gsensorjgb×Bsensorj=M11′M12′M13′M21′M22′M23′M31′M32′M33′gr×∫E4(λ)Sj(λ)RR(λ)dλgg×∫E4(λ)Sj(λ)RG(λ)dλgb×∫E4(λ)Sj(λ)RB(λ)dλ]]>(j=1~20)(式13)上述式逻辑上与表示人眼的输出的下式(式14)一致。XhumanjYhumanjZhumanj=∫E4(λ)Sj(λ)X(λ)dλ∫E4(λ)Sj(λ)Y(λ)dλ∫E4(λ)Sj(λ)Z(λ)dλ(j=1~20)]]>(式14)因此,只要对麦克贝思色表中的全部有彩色j(j=1~20),都求得使“式13=式14”的“由M11′至M33′的元素组成的3×3矩阵”就可以。此外,在式13及式14中,M11′至M33′以外的数据是已知的。未知数是9个,观测数据是20个,实际上,很难“对全部j(j=1~20)都使式13=式14”,因此,求出“(式13-式14)的平方”最小的M11′至M33′。即,通过误差最小二乘法确定M11′至M33′。将这样求得的M11′至M33′的元素组成的3×3矩阵作为“与LED对应的色彩校正矩阵”,预先保存到图7(b)的查找表中。图8是表示本发明的实施方式中的摄像装置100的处理过程的一例的图。接通电源后,取得摄像元件110通过(未图示的)镜头接受的光作为输入图像。输入图像被摄像元件110进行光电转换,作为电信号(电压值)输出(步骤S911)。该电信号通过A/D转换电路120从模拟信号转换为数字信号(步骤S912)。然后,该数字信号通过解马赛克块130实施解马赛克处理(步骤S913)。其结果,将RBGE信号提供给光源推断电路200,将RGB信号提供给白平衡电路140。在光源推断电路200中,根据RGBE信号推断拍摄该输入图像时的光源(步骤S940)。将通过该光源推断处理推断出的光源的种类提供给图像处理参数设定部300。图像处理参数设定部300根据推断的光源的种类,从查找表读取白平衡增益及色彩校正矩阵作为图像处理的参数(步骤S915)。将白平衡增益提供给白平衡电路140,将色彩校正矩阵提供给色彩再现处理电路150。白平衡电路140对从解马赛克块130提供的RGB的像素数据乘以与从图像处理参数设定部300提供的白平衡增益所对应的增益,来进行白平衡处理(步骤S916)。另外,色彩再现处理电路150对通过白平衡电路140实施了白平衡处理后的RGB的像素数据乘以从图像处理参数设定部300提供的色彩校正矩阵,来进行色彩再现处理(步骤S917)。通过该色彩再现处理,像素数据成为XYZ空间上的1点。信号转换处理电路160进行从XYZ空间到YCC形式的转换(步骤S918)。另外,伽马校正电路170进行与显示部181等的伽马值对应的伽马校正(步骤S919)。经过这种处理后的输入图像如果是没有按下用户接口190中的快门按钮的状态,就作为监视器图像输出到显示部181中(步骤S922)。另一方面,在按下了快门按钮时,此时的输入图像作为图像数据记录到数据保持部182中(步骤S923)。这些处理在电源切断之前重复进行(步骤S924)。图9是表示本发明的实施方式中的光源推断处理(步骤S940)的处理过程的一例的图。从解马赛克块130提供的RGBE信号通过有效像素选择电路210除去0附近、最大值附近的极端的值(步骤S941)。然后,在内积运算电路230中进行式8的内积运算(步骤S942)。由此,根据输入图像的像素数据求得射影到轴ω上的坐标。然后,在判断电路240中,根据射影到轴ω上的坐标,判断是否满足式11或12(步骤S943)。在满足式11的情况下,判断为状态是D1,在满足式12的情况下,判断为状态是D2,在都不满足的情况下,判断为不能判断。根据这样判断出的结果,在多数决定电路260中对整个输入图像的有效像素进行多数决定,最终推断光源(步骤S944)。此外,如上述那样,也可以在步骤S943中计算射影到轴ω上的坐标中的状态的准确度,对其进行累加。这样,依据本发明的实施方式,通过由内积运算电路230将输入图像的像素数据射影到一维的轴上,可以在判断电路240中推断拍摄输入图像时的光源。此外,本发明的实施方式是表示用来具体实现本发明的一个示例的内容,与权利要求中的发明特定事项分别具有对应关系,但是并不限于此,在不脱离本发明的要旨的范围内,可以实施各种变形。即,在权利要求1中,分布保持单元例如对应于光源推断参数保持部220。另外,坐标决定单元例如对应于内积运算电路230。另外,分布判断单元例如对应于判断电路240。另外,在权利要求3中,多数决定单元例如对应于多数决定电路260。另外,在权利要求11中,摄像单元例如对应于摄像元件110。另外,分布保持单元例如对应于光源推断参数保持部220。另外,坐标决定单元例如对应于内积运算电路230。另外,分布判断单元例如对应于判断电路240。另外,白平衡处理单元例如对应于白平衡电路140。另外,色彩再现处理单元例如对应于色彩再现处理电路150。另外,在权利要求12及15中,光源限定单元例如对应于光源限定部250。另外,在权利要求13中,闪光灯发光检测单元例如对应于用户接口190。另外,权利要求18及19中,分布保持单元例如对应于光源推断参数保持部220。另外,决定输入图像的像素数据在规定空间中的坐标的步骤例如对应于步骤S942。另外,判断坐标属于在第1或第2光源下拍摄的像素数据的哪个分布的步骤例如对应于步骤S943。另外,在本发明的实施方式中说明的处理步骤也可以理解为是具有这一系列步骤的方法,另外,也可以理解为用于使计算机执行这一系列步骤的程序以及存储该程序的记录介质。权利要求1.一种光源推断装置,推断拍摄输入图像时的光源的种类,其特征在于,具备分布保持单元,对于在第1光源或第2光源下拍摄的像素数据,保持在所述第1光源或第2光源下拍摄的像素数据在规定空间中的分布;坐标决定单元,决定所述输入图像的像素数据在所述空间中的坐标;以及分布判断单元,判断所述坐标属于在所述第1光源或第2光源下拍摄的像素数据的哪个分布。2.根据权利要求1所述的光源推断装置,其特征在于,所述空间是一维空间,所述分布是通过将像素数据射影到所述一维空间上而得到的分布。3.根据权利要求1所述的光源推断装置,其特征在于,还具备多数决定单元,该多数决定单元对于所述输入图像的多个像素数据根据所述坐标属于在所述第1光源或第2光源下拍摄的像素数据的哪个分布的判断结果,通过多数决定来推断光源。4.根据权利要求1所述的光源推断装置,其特征在于,所述第1光源包括LED。5.根据权利要求1所述的光源推断装置,其特征在于,所述第1光源是多种光源的任意一种,所述第2光源是所述多种光源之中非所述第1光源的任意一种。6.根据权利要求5所述的光源推断装置,其特征在于,所述多种光源包括LED。7.根据权利要求5所述的光源推断装置,其特征在于,所述第1光源是太阳光、荧光灯、白炽灯或LED等4种光源的任意一种,所述第2光源是所述4种光源之中非所述第1光源的任意一种。8.根据权利要求1所述的光源推断装置,其特征在于,所述第1光源是多种光源的任意一种,所述第2光源是所述多种光源之中非所述第1光源的其他多种。9.根据权利要求8所述的光源推断装置,其特征在于,所述多种光源包括LED。10.根据权利要求8所述的光源推断装置,其特征在于,所述第1光源是太阳光、荧光灯、白炽灯或LED等4种光源的任意一种,所述第2光源是所述多种光源之中非所述第1光源的其他3种。11.一种摄像装置,其特征在于,具备摄像单元,拍摄输入图像;分布保持单元,对于在第1光源或第2光源下拍摄的像素数据,保持在所述第1光源或第2光源下拍摄的像素数据在规定空间中的分布;坐标决定单元,决定所述输入图像的像素数据在所述空间中的坐标;分布判断单元,判断所述坐标属于在所述第1光源或第2光源下拍摄的像素数据的哪个分布;白平衡处理单元,根据所述判断的结果进行所述输入图像的白平衡处理;以及色彩再现处理单元,根据所述判断的结果,对所述白平衡处理的输出进行色彩再现处理。12.根据权利要求11所述的摄像装置,其特征在于,还具备光源限定单元,该光源限定单元将所述第1光源限定为特定种类的光源,使所述分布判断单元进行所述判断。13.根据权利要求12所述的摄像装置,其特征在于,还具备闪光灯发光检测单元,该闪光灯发光检测单元检测在拍摄所述输入图像时是否进行了闪光灯发光;所述光源限定单元根据所述闪光灯发光的检测结果,使所述分布判断单元进行所述判断。14.根据权利要求11所述的摄像装置,其特征在于,所述第1光源是多种光源的任意一种,所述第2光源是所述多种光源之中非所述第1光源的其他种类。15.根据权利要求14所述的摄像装置,其特征在于,还具备光源限定单元,该光源限定单元限定为所述多种光源之中的特定种类的光源,使所述分布判断单元进行所述判断。16.根据权利要求15所述的摄像装置,其特征在于,所述光源限定单元限定为所述多种光源之中的荧光灯及LED,使所述分布判断单元进行所述判断。17.根据权利要求11所述的摄像装置,其特征在于,在作为所述判断的结果判断为光源是LED的情况下,所述白平衡处理单元使用太阳光的白平衡增益。18.一种光源推断装置的光源推断方法,其特征在于,该光源推断装置推断拍摄输入图像时的光源的种类,并具备分布保持单元,该分布保持单元对于在第1光源或第2光源下拍摄的像素数据,保持在所述第1光源或第2光源下拍摄的像素数据在规定空间中的分布,该光源推断方法具备以下步骤决定所述输入图像的像素数据在所述空间中的坐标;判断所述坐标属于在所述第1光源或第2光源下拍摄的像素数据的哪个分布。全文摘要一种摄像装置及其光源推断装置,实现准确度高的光源推断,提供白平衡处理及色彩再现处理的合适的参数。由摄像元件(110)拍摄的输入图像的像素数据,经过A/D转换电路(120),通过解马赛克块(130)作为RGB信号(138)及RGBE信号(139)输出。光源推断电路(200)通过将RGBE信号(139)射影到线形辨识法的一维的轴上来推断光源。图像处理参数设定部(300)根据推断的光源,从查找表读取并提供白平衡增益及色彩校正矩阵。由此,白平衡电路(140)进行白平衡处理,色彩再现处理电路(150)进行色彩再现处理。文档编号H04N5/243GK101052099SQ20071008959公开日2007年10月10日申请日期2007年4月3日优先权日2006年4月3日发明者桥本泰成,大木光晴申请人:索尼株式会社