专利名称：数字摄像装置及其图像处理方法
技术领域：
本发明涉及一种图像处理方法，特别是涉及一种用于检测及校正瑕疵像素的数字摄像装置及其图像处理方法。
背景技术：
目前数字成像技术大多利用互补金属氧化物半导体(ComplementaryMetal-Oxide Semiconductor, CMOS)作为感光元件，并在其上覆盖一层彩色的滤色阵列(Color Filter Array，CFA)，将撷取到的图像的红绿蓝(RGB)三原色各自分开，进而产生符合拜耳图样(Bayer Pattern)的像素阵列图像，如图I所示，其为5X5像素阵列1，其中R表示红色，B表示蓝色，G表示绿色。然而，所撷取到的像素阵列I中的相邻像素会互相干扰，或CMOS感光元件在工艺中的电路缺陷，都有可能产生瑕疵像素(Bad Pixel)，进而使得处理后的图像中出现特别突兀的部分，如亮点。为了修正瑕疵像素，目前通常会找其周围同颜色的像素来进行修补，以图I为例，假设欲修正正中央的蓝色像素，则处理器会从其四周的蓝色像素中找最大和次大的像素值来作权重运算后，取代中央的蓝色样素值。但在某些情况下，运算出的校正值仍然无法显著且有效地校正瑕疵像素。因此，亟需提出一种新颖的数字摄像装置及其图像处理方法，使能准确地检测出瑕疵像素，并有效地对其校正。
发明内容
鉴于上述，本发明实施例的目的之一在于提出一种数字摄像装置及其图像处理方法，其藉由待测像素周围的像素值来检测是否为瑕疵像素，并根据与待测像素相同颜色的像素的值，来校正待测像素，进而能准确地检测出瑕疵像素，并有效地校正之。本发明揭示一种图像处理方法，适用于nXn像素阵列的正中央的待测像素，该待测像素具有待测像素值。所述的图像处理方法包含以下步骤首先，判断待测像素值是否大于校正门坎值；之后，若待测像素值大于校正门坎值，则进行第一图像校正程序，用来将对称于具有最大像素值的同色像素的多个同色像素的值进行权重运算，并将运算结果与待测像素值进行权重运算后，取代待测像素值。本发明又揭示一种数字摄像装置，其包含感光元件、瑕疵像素判断单元以及瑕疵像素校正(Bad Pixel Correction,BPC)处理器。感光元件用来撷取符合拜耳图样(BayerPattern)的像素阵列图像，其包含多个nXn像素阵列，其中每一nXn像素阵列的正中央具有待测像素，其具有待测像素值。瑕疵像素判断单元耦接于感光元件，用来判断待测像素值是否大于校正门坎值，以输出校正致能信号。瑕疵像素校正处理器耦接于瑕疵像素判断单元，当接收到校正致能信号后，便将对称于具有最大像素值的同色像素的多个同色像素的值进行权重运算，并将运算结果与待测像素值进行权重运算后，取代待测像素值。
图I为现有的拜耳图样的示意图； 图2为本发明实施例的数字摄像装置的框图；图3为本发明实施例的像素阵列图像的示意图；图4为本发明实施例的5 X 5像素阵列的示意图；图5为本发明实施例的3X3像素阵列及其对应的像素值的示意图；图6为本发明实施例的图像处理方法的流程图。
具体实施例方式首先，请参考图2，为本发明实施例的数字摄像装置的框图。如图2所示，数字摄像装置2包含感光元件21、瑕疵像素判断单元23、瑕疵像素校正(Bad Pixel Correction,BPC)处理器25、数字化处理单元27以及储存单元29。数字摄像装置2用来撷取图像，其利用感光元件21上覆盖的一层拜耳图样(Bayer Pattern)的彩色滤色阵列(Color FilterArray, CFA)(图中未示)产生拜耳图样像素阵列图像。瑕疵像素判断单元23耦接于感光元件21，用来判断像素阵列图像中是否有瑕疵像素；而瑕疵像素校正处理器25耦接于瑕疵像素判断单元23，根据将瑕疵像素判断单元23判断出的瑕疵像素进行校正。数字化处理单元27用来将所有瑕疵像素都校正完的像素阵列图像进行处理，如拜耳图样插补(Bayer Pattern Interpolation)、信号放大、模拟数字转换等，以产生数字化图像储存至储存单元29中。具体来说，数字摄像装置2包含数字相机、移动通信装置、个人数字助理(Personal Digital Assistant, PDA)、或任何电子图像传感器(electronic imagesensors)。感光元件21包含感光稱合元件(Charge Coupled Device, CO))、互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor, CMOS)、或互补金属氧化物半导体-有源像素传感器(Complimentary Metal-Oxide Semiconductor-Active PixelSensors, CM0S-APS)。值得一提的是，本发明的主要技术特征在于判断及校正瑕疵像素的算法，然而现有数字摄像装置中的必要元件及电路虽未进一步描述，但亦为本发明保护的范围，不以揭露者为限。接着，请一并参考图3，该图为本发明实施例的像素阵列图像的示意图。如图3所示，像素阵列图像3符合拜耳图样(Bayer Pattern)的排列方式，包含多个nXn像素阵列4，如5 X 5像素阵列4，其中R表示红色，B表示蓝色，G表示绿色。本发明会对每一组的5 X 5像素阵列4的正中央像素进行检测及校正，为了方便说明，以下针对单一个5X5像素阵列4来举例。请再参考图4，为本发明实施例的5X5像素阵列4的示意图，其对应于像素阵列图像3所排列的颜色。每一像素都有所对应的像素值来表示信号强度，5X5像素阵列4的正中央具有待测像素Ne，其待测像素值为VN。；环绕于待测像素Ne周围的是八个周围像素Ntl-N7，其各别的周围像素值为Ptl-P7 ;第一同色像素Dtl-D7最接近待测像素Ne且与其同样是蓝色的像素，各别的第一同色像素值为Vtl-V715瑕疵像素判断单元23主要参考每一组5X5像素阵列4中的待测像素Ne与其周围像素Ntl-N7的差异，来判断待测像素是否是瑕疵像素。于本发明的实施例中，瑕疵像素判断单元23会先将待测像素Ne周围的周围像素值Ptl-P7由大到小进行排序(sort)，便根据已排序的周围像素值Ptl-P7来运行校正门坎值产生程序，以产生校正门坎值来作为待测像素Ne是否为瑕疵像素的标准。
瑕疵像素判断单元23执行校正门坎值产生程序时，会根据周围像素值Ptl-P7来产生多个校正门坎参数值，例如，校正门坎参数值可以是其一或最大的周围像素值、全部周围像素值Ptl-P7的平均值、部分周围像素值Po-P7的平均值、或部分周围像素值Po-P7进行权重运算后的平均值。实施例中，上述产生的校正门坎参数值可统合成校正门坎参数群组。由于瑕疵像素通常是个具有很大值的像素，瑕疵像素判断单元23便会一并利用多个像素值较小的像素来拉低瑕疵像素的值。于本发明的实施例中，瑕疵像素判断单元23是加总四个最小的周围像素值，并将其正规化来获得正规化参数值，其中正规化的处理是为了使正规化参数值的单位可与校正门坎参数值搭配，例如将四个最小的周围像素值的总和除以四或除以十六，但不以揭露者为限。瑕疵像素判断单元23再根据运算出的正规化参数值及校正门坎参数值来产生校正门坎值，一具体实施例中，校正门坎值可以是正规化参数值和其中一个校正门坎参数值的总和，或正规化参数值和多个校正门坎参数值的总和，或正规化参数值、至少一个校正门坎参数值、和一可手动调整的参数的总和。瑕疵像素判断单元23会比较每一组5X5像素阵列4中的待测像素值VN。是否大于校正门坎值，若是，则表示待测像素Ne为瑕疵像素，进而输出一校正致能信号S来驱动瑕疵像素校正处理器25对5X5像素阵列4进行校正。瑕疵像素校正处理器25接收到校正致能信号S后，会先从第一同色像素Dtl-D7中找出具有最大像素值的像素，并从其对称方向选出多个第一同色像素，以利用选出来的第一同色像素的像素值来校正待测像素值。举例来说，假设第一同色像素Dtl的像素值Vtl最大，则选择五个对称于的第一同色像素Dtl的第一同色像素D2, D4, D5, D6, D7,将其像素值与待测像素值VN。进行权重运算，进而获得第一校正像素值DP1。一具体实施例中，第一同色像素值V2，V4，V5，V6，V7所占权重为1/8，待测像素值Vn。所占权重为3/8，则瑕疵像素校正处理器25可根据公式(I)来计算出第一校正像素值DP115DP1 = (VVVVV7) X 1/8+VNcX3/8. · · (I)瑕疵像素校正处理器25会根据原本的待测像素值VN。以及运算出的第一校正像素值DP1来校正待测像素值VN。，一具体实施例中，是将待测像素值VN。与第一校正像素值DPi进行权重运算，再将计算结果取代待测像素值VN。。举例来说，假设两者各占权重为1/2，则瑕疵像素校正处理器25可根据公式(2)来计算出最后的待测像素值Vn。，其中，权重分布根据两者的强度来设定，故不以揭露者为限。Vnc = Vnc X 1/2+DPi X 1/2......(2)同样在第一同色像素Dtl的像素值Vtl最大的情况下，另一具体实施例中，可仅选择三个对称于的第一同色像素Dtl的第一同色像素D4, D6, D7,将其像素值与待测像素值VN。进行权重运算，进而获得第一校正像素值DP115具体实施例中，第一同色像素值V4，V6, V7所占权重为1/8，待测像素值Vn。所占权重为3/8，则瑕疵像素校正处理器25可根据公式(3)来计算出第一校正像素值DP115DP1 = (V4+V4+V6+V6+V7) X l/8+VNcX3/8. · · (3)第三、四图适用于当待测像素Ne为蓝色或红色像素的情况，由于人眼对绿色的辨别敏感度大于红色和蓝色，故产生的像素阵列图像3中，绿色像素个数是蓝色和红色的两倍，其对瑕疵像素的校正方式也有些微不同。请参考图5，为本发明实施例的3X3像素阵列5及其对应的像素值的示意图。3X3像素阵列5的正中央为绿色的待测像素Ne，其待测像素值为VN。；第二同色像素Gtl-G3最接近待测像素Ne且与其同样是绿色的像素，各别的第二同色像素值为H0-Hy瑕疵像素校正处理器25接收到3 X 3像素阵列5后，会利用最接近待测像素Ne且与待测像素Ne同样为绿色的第二同色像素Gtl-G3来运算出第三校正像素值，以校正待测像素值。具体来说，第三校正像素值为最小的第二同色像素值、全部第二同色像素值Htl-H3的平均值、或前述两者的平均值。同样地，瑕疵像素校正处理器25会根据原本的待测像素值Vnc以及运算出的第三校正像素值来校正待测像素值VN。，一具体实施例中，将待测像素值VN。与第三校正像素值进行权重运算，再将计算结果取代待测像素值VN。。为了更进一步了解本发明的运作，请参考图6，为本发明实施例的图像处理方法的流程图，其应用于数字摄像装置2中。相关系统架构及像素阵列请一并参考图2至图5。所述的图像处理方法的步骤如下首先，感光元件21将撷取到的图像产生符合拜耳图样的像素阵列图像，并将其一切分成多个nXn像素阵列的小单位(步骤S601),如5X5像素阵列4,来对每一像素进行检测及校正。瑕疵像素判断单元23接收到5X5像素阵列4后，便执行校正门坎值产生程序，其根据周围像素值Ptl-P7来定义多个校正门坎参数值(步骤S603)，并将多个最小的周围像素值相加再正规化来获得正规化参数值(步骤S605);接着，瑕疵像素判断单元23便可根据正规化参数值及校正门坎参数值来运算出校正门坎值(步骤S607)。接着，瑕疵像素判断单元23判断待测像素值VN。是否大于校正门坎值(步骤S609)，若否，则表示待测像素Ne是正常像素，进而对下一组5X5像素阵列4进行检测，直到每组5 X 5像素阵列4都检测完及校正完毕后，便将整个像素阵列图像传至数字化处理单元27，以进行数字化处理(步骤S611)，如信号放大、模拟数字转换等，进而产生数字化图像储存至储存单元29 (步骤S629)。若步骤609的判断为是，则表示待测像素Ne为瑕疵像素，因此便输出校正致能信号S来驱动瑕疵像素校正处理器25对像素阵列进行校正。像素校正处理器25收到校正致能信号S后，先判断目前接收到的像素阵列中的待测像素Ne是否为绿色像素(步骤S613)，若是，则执行第二图像校正程序，其根据与待测像素Ne同色的像素值(第二同色像素Gtl-G3)来计算出第三校正像素值(步骤S615)，并权重运算待测像素值VN。与第三校正像素值(步骤S617)，以利用运算结果来取代待测像素值Vn。(步骤S619)，其中详细程序请参考图5及其相关说明。若待测像素Ne为蓝色或红色像素，则瑕疵像素校正处理器25执行第一图像校正程序，其先找出最接近待测像素Ne且与待测像素Ne同颜色的第一同色像素Dtl-D7,再从第一同色像素Dtl-D7选出多个校正像素(如上例中的D2, D4, D5, D6, D7),其中校正像素对称于具有最大像素值(如上例中的V。)的第一同色像素(如上例中的Dtl)(步骤S621)。接着，瑕疵像素校正处理器25将选出的像素值与待测像素值VN。进行权重运算，以获得第一校正像素值DP1 (步骤S623)，并权重运算待测像素值VN。与第一校正像素值DP1 (步骤S625)，以利用运算结果来取代待测像素值Vn。(步骤S627) ，其中详细程序请参考图4及其相关说明。瑕疵像素校正处理器25将每组5 X 5像素阵列4中的待测像素Ne校正完毕后，便将整个像素阵列图像传至数字化处理单元27，以进行数字化处理(步骤S611)，如信号放大、模拟数字转换等，进而产生数字化图像储存至储存单元29(步骤S629)。值得一提的是，在瑕疵像素判断单元23判断待测像素值VN。是否大于校正门坎值的步骤之前，可先将环绕于待测像素Vn。周围的八个周围像素Ntl-N7的周围像素值Ptl-P7由大到小进行排序(sort)，以利后续产生校正门坎值。而于步骤S621之前，更可进一步判断是要采用三个(如上例中的D4, D6, D7)或五个(如上例中的D2, D4, D5, D6, D7)校正像素来校正待测像素，以根据各种情况来选择适当的校正模式藉由以上实例详述，当可知悉本发明的数字摄像装置及其图像处理方法，是先根据待测像素周围的像素值来检测是否为瑕疵像素，并利用和待测像素同色的像素的值与待测像素值进行权重运算，来校正待测像素。藉由本发明所提出的算法，其根据待测像素的周围像数值来微调校正门坎值，使更能精确的判断出瑕疵像素；再利用同颜色且较小的像素值来拉低信号值过大的瑕疵像素，使得能够显著且有效地校正瑕疵像素。以上所述仅为本发明的优选实施例而已，并非用以限定本发明的权利范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在下述的权利要求范围内。
权利要求
1.一种图像处理方法，适用于nXn像素阵列的正中央的待测像素，所述待测像素具有待测像素值，所述方法包含 判断所述待测像素值是否大于校正门坎值；及 若所述待测像素值大于所述校正门坎值，则执行第一图像校正程序，包含 找出最接近所述待测像素且与所述待测像素同颜色的多个第一同色像素； 从所述多个第一同色像素选出多个校正像素，其中所述多个校正像素对称于具有最大像素值的所述第一同色像素； 将所述待测像素值与所述多个校正像素的像素值进行权重运算，进而获得第一校正像素值； 将所述待测像素值与所述第一校正像素值进行权重运算，进而获得第二校正像素值；及 以所述第二校正像素值取代所述待测像素值。
2.如权利要求I所述的图像处理方法，其中判断所述待测像素值是否大于所述校正门坎值的步骤之前，还包含 将环绕于所述待测像素周围的八个周围像素的周围像素值由大到小进行排序；及 进行校正门坎值产生程序，其根据所述多个周围像素值来产生所述校正门坎值。
3.如权利要求2所述的图像处理方法，其中进行所述校正门坎值产生程序的步骤中，包含 提供校正门坎参数群组，包含多个校正门坎参数值，每一所述校正门坎参数值根据所述多个周围像素值或其运算来定义； 加总多个最小的所述周围像素值，并将其正规化来获得正规化参数值；及 根据所述正规化参数值及至少一个所述校正门坎参数值来运算出所述校正门坎值。
4.如权利要求3所述的图像处理方法，其中运算出所述校正门坎值的步骤中，包含 加总所述正规化参数值及至少一个所述校正门坎参数值。
5.如权利要求2所述的图像处理方法，其中判断所述待测像素值是否大于所述校正门坎值的步骤之后，还包含 判断所述待测像素是否为绿色像素； 若否，则进行所述第一图像校正程序；及 若是，则进行第二图像校正程序，包含 找出最接近所述待测像素且与所述待测像素同颜色的多个第二同色像素； 计算第三校正像素值，其中所述第三校正像素值为最小的所述第二同色像素的像素值、所述多个第二同色像素的像素值的平均值、或前述两者的平均值； 将所述待测像素值与所述第三校正像素值进行权重运算，进而获得第四校正像素值；及 以所述第四校正像素值取代所述待测像素值。
6.如权利要求3所述的图像处理方法，其中所述校正门坎参数值包含最大的所述周围像素值、全部的所述多个周围像素值的平均值、或部分的所述多个周围像素值的平均值。
7.如权利要求5所述的图像处理方法，其中所述nXn像素阵列为符合拜耳图样的滤色阵列的一部分，所述nXn像素阵列包含5X5像素阵列。
8.如权利要求7所述的图像处理方法，其中所述校正像素包含三个或五个，而所述第二同色像素包含四个。
9.一种数字摄像装置，包含 感光元件，用来撷取符合拜耳图样的像素阵列图像，所述像素阵列图像包含多个nXn像素阵列，其中每一个所述nXn像素阵列的正中央具有待测像素，所述待测像素具有待测像素值； 瑕疵像素判断单元，耦接于所述感光元件，用来判断所述待测像素值是否大于校正门坎值，以输出校正致能信号 '及 瑕疵像素校正处理器，耦接于所述瑕疵像素判断单元，用来根据第一图像校正程序执行下列步骤 找出最接近所述待测像素且与所述待测像素同颜色的多个第一同色像素； 从所述多个第一同色像素选出多个第一校正像素，其中所述多个校正像素对称于具有最大像素值的所述第一同色像素； 将所述待测像素值与所述多个校正像素的像素值进行权重运算，进而获得第一校正像素值； 将所述待测像素值与所述第一校正像素值进行权重运算，进而获得第二校正像素值；及 以所述第二校正像素值取代所述待测像素值； 其中，当接收到所述校正致能信号，所述瑕疵像素校正处理器便执行所述第一图像校正程序。
10.如权利要求9所述的数字摄像装置，其中所述瑕疵像素判断单元根据多个周围像素的像素值来产生所述校正门坎值，其中所述多个周围像素环绕于所述待测像素的周围。
11.如权利要求10所述的数字摄像装置，其中所述多个周围像素各具有周围像素值，所述瑕疵像素判断单元根据所述多个周围像素值或其运算来定义多个校正门坎参数值，并加总多个最小的所述周围像素值，将其正规化来获得正规化参数值，以及加总所述正规化参数值和至少一个所述校正门坎参数值来作为所述校正门坎值。
12.如权利要求11所述的数字摄像装置，其中所述校正门坎参数值包含最大的所述周围像素值、全部的所述多个周围像素值的平均值、或部分的所述多个周围像素值的平均值。
13.如权利要求9所述的数字摄像装置，其中所述瑕疵像素校正处理器判断所述待测像素不为绿色像素，便执行所述第一图像校正程序，而所述瑕疵像素校正处理器判断所述待测像素为绿色像素，则根据第二图像校正程序执行下列步骤 找出最接近所述待测像素且与所述待测像素同颜色的多个第二同色像素； 计算第三校正像素值，其中所述第三校正像素值为最小的所述第二同色像素的像素值、所述多个第二同色像素的像素值的平均值、或前述两者的平均值； 将所述待测像素值与所述第三校正像素值进行权重运算，进而获得第四校正像素值；及 以所述第四校正像素值取代所述待测像素值。
14.如权利要求13所述的数字摄像装置，其中所述nXn像素阵列包含5X5像素阵列。
15.如权利要求13所述的数字摄像装置，其中所述校正像素包含三个或五个，而所述第二同色像素包含四个。
16.如权利要求9所述的数字摄像装置，包含数字相机、移动通信装置、个人数字助理、或任何电子图像传感器。
17.如权利要求9所述的数字摄像装置，其中所述感光元件包含感光耦合元件、互补金属氧化物半导体、或互补金属氧化物半导体-有源像素传感器。
全文摘要
一种图像处理方法，适用于像素阵列的正中央的待测像素，所述待测像素具有待测像素值。所述的图像处理方法包含以下步骤首先，判断所述待测像素值是否大于校正门坎值；之后，若待测像素值大于校正门坎值，则将对称于具有最大像素值的同色像素的多个同色像素的值进行权重运算，并将运算结果与待测像素值进行权重运算后，取代待测像素值。
文档编号H04N5/335GK102625055SQ20111003656
公开日2012年8月1日 申请日期2011年1月31日 优先权日2011年1月31日
发明者蔡易霖 申请人:英属开曼群岛商恒景科技股份有限公司