专利名称:像素色彩信息重建方法
技术领域：
本发明是有关一种重建像素色彩的方法，特别是关于一种加入权重及及色差校正的像素色彩信息重建方法，以提供准确的色彩插补值。
背景技术：
随着影音多媒体的盛行及数字影像设备的相继推出，使用者对影像色彩的要求愈趋严格。其中，影像传感器数组是数字摄影中用以记录影像信号的装置，在影像传感器数组上组成画面的最小单位为光电体，通常称为像素(pixel)。由于光电体本身仅对光的强度有反应而对光的色彩没有分释能力，因此必须在影像传感器数组的每一光电体前分别加上红(R)、绿(G)、蓝(B)三原色(primary color)的滤镜或滤光片，以分别仅让红光、绿光及蓝光通过来得到彩色的影像。
然而，经由影像感测数组及滤光片后所得到的影像像素数组中，每一影像像素仅具有单一色彩元素，因此必须再以影像处理软件来处理影像像素辉度数，使每一影像像素皆含有红、蓝、绿三个色彩元素。已知像素色彩重建方法是运用内插法(interpolation)来重建色彩元素，常用的做法是利用双线性法(bilinear)即四点平均法为每一原色像素计算出其余两色彩的资料，如图1所示，每一红色像素10的周边分别有着四个蓝色像素12和四个绿色像素14，像素插补系统是利用最邻近的四个蓝色像素12的光度平均值和四个绿色像素14的光度平均值，为中心的红色像素10计算出所遗失的蓝色和绿色的资料，以使红色像素得到一完整的RGB光度资料。同理，蓝色和绿色像素12、14的插补原理亦相同。然而，此传统作法未考虑影像边缘(edge)及信号走势变化，当拍摄一些具有细致彩色线条或精密色彩变化的影像时，若被平均的四点像素其中一点是位于影像边缘(edge)或信号突波之处，则整体平均值将会受此点影响而产生较大的误差，使得此处的分辨率变差，而出现钜齿状色纹或产生伪色(aliasing)问题，导致整体影像画质较差且容易失真。
为了改善此问题，已知演算系统如美国专利US 4,774,565，其是先利用双线性法(bilinear)来求取出G色频(channel)，再以中值滤波器(median filter)计算出R及B色频的色差域(color difference domain)；然而由于该专利于求取G色频时仅以双线性法而未加入任何判断方向性的步骤，因此不仅插补出来的G色频存在有误差大的缺点，连带使得基于G色频所求出的R及B色频亦有误差大的问题，而仍具有分辨率差的缺点。
另一已知技术如美国专利US 5,373,322，其插补法是先判断中心像素的水平及垂直方向的信号差异量，再以差异量较小的方向计算插补值，由于未加入R及B色差域的适当重建，故仍存在着误判方向的可能性，导致插补值不一定正确而产生严重伪色问题。
因此，本发明是针对上述的问题，提出一种像素色彩信息重建方法。
发明内容本发明的主要目的，是在提供一种像素色彩信息重建方法，其是依据数个特定方向的信号差异量分配权重比例而将该等方向的插补值进行加权总合，以求出精确的绿色插补值，且配合中值滤波器建立精确的红色及蓝色信息，使重建的色彩信息具有精确度高的功效，以有效克服已知插补色彩误差大的缺点。
本发明的另一目的，是在提供一种像素色彩信息重建方法，以达成分辨率高且色彩均匀的功效，以确实改善已知插补系统易产生伪色及色彩失真的问题。
为达到上述的目的，本发明的一种像素色彩信息重建方法，用以将一影像像素数组中的红像素、蓝像素及绿像素中所遗失的色彩元素予以补足，使每一该像素各含有红色、蓝色及绿色三元素，其特征在于，该像素色彩信息重建方法包括下列步骤对于待重建绿色元素的每一该红/蓝像素选取数个方向，且依据该红/蓝像素周围的像素的位置远近分配权重比例，以根据该等权重比例计算出每一该方向上的色彩信号差异量；根据该等色彩信号差异量的反比例分配该等方向的权重值，且分别沿循该等方向将该红/蓝像素所邻接的二个绿像素值加以平均而得到数个平均值，进而将该等平均值各乘以其所属方向的该权重值而后相加，所得的加权总合即成为该待重建红/蓝像素中的绿色元素信息；以及以双线性内插法补足每一该待重建像素所遗失的红色元素及蓝色元素，进而使每一该像素各含有绿色、红色、蓝色三元素。
其中，该等方向包括水平方向及垂直方向。
其中，于计算该等方向的色彩信号差异量的步骤中，对于每一该待重建像素，位置较远的周围像素是分配较小的权重比例，而位置较近的周围像素是分配较大的权重比例。
其中，在依据该等方向分别计算色彩信号差异量的步骤中，是根据该待重建像素周边的绿像素及红/蓝像素的值加以计算该色彩信号差异量。
其中，在补足每一该待重建像素所遗失的红色元素及蓝色元素之后，还包括一步骤，是以每一该待重建像素为基准，利用一中值滤波器选取该待重建像素周围矩阵排列的复数个该像素来个别计算色差值，求取该矩阵中每一该像素的红、绿色差值及蓝、绿色差值，进而由该等红、绿色差值及该等蓝、绿色差值中各选取至少一中间值而与该像素中的绿色元素相加，进一步求出精确的红色元素及蓝色元素的信息。
其中，该中值滤波器所选取的矩阵是选自3*3、4*4及5*5其中之一。
其中，该影像像素数组是一绿、蓝像素列及一红、绿像素列依序排列形成数组。
本发明一种像素色彩信息重建方法，应用于一影像像素数组的色彩重建，该影像像素数组包含有第一像素、第二像素及第三像素，藉由该重建方法将该影像像素数组中的像素所遗失的色彩元素予以补足，使每一该像素各含有第一元素、第二元素及第三元素，其特征在于，该像素色彩信息重建方法包括下列步骤对于待重建第一元素的每一该第二像素/第三像素选取数个方向，且依据该红/蓝像素周围的像素的位置远近分配权重比例，以根据该等权重比例计算出每一该方向上的色彩信号差异量；根据该等色彩信号差异量的反比例分配该等方向的权重值，且分别沿循该等方向将该红/蓝像素所邻接的二个第一像素值加以平均而得到数个平均值，进而将该等平均值各乘以其所属方向的该权重值而后相加，所得的加权总合即成为该待重建第二/第三像素中的第一元素信息；以及以双线性内插法补足每一该待重建像素所遗失的第二元素及第三元素，进而使每一该像素各含有第一、第二及第三元素。
其中，该第一、第二及第三像素是分别为绿像素、红像素及蓝像素，且该影像像素数组是一绿、蓝像素列及一红、绿像素列依序排列形成数组。
其中，该等方向包括水平方向及垂直方向。
其中，于计算该等方向的色彩信号差异量的步骤中，对于每一该待重建像素，位置较远的周围像素是分配较小的权重比例，而位置较近的周围像素是分配较大的权重比例。
其中，在依据该等方向计算其上的色彩信号差异量的步骤中，是根据该待重建像素周边的第一像素及第二/第三像素的值加以计算。
其中，在补足每一该待重建像素所遗失的第二元素及第三元素之后，还包括一步骤，是以每一该待重建像素为基准，利用一中值滤波器选取该待重建像素周围矩阵排列的复数个该像素来个别计算色差值，进而由该等色差值中选取至少一中间值而与该像素中的第一元素相加，进一步求出精确的第二元素及第三元素的信息。
其中，该中值滤波器所选取的矩阵是选自3*3、4*4及5*5其中之一。
底下由具体实施例配合附图详加说明如后，当更容易了解本发明的目的、技术内容、特点及其所达成的功效，其中图1为已知在影像像素数组中插补色彩的示意图。
图2为本发明所插补的影像像素数组的示意图。
图3为本发明重建像素色彩信息的流程图。
图4为本发明在影像像素数组中重建色彩信息的示意图。
具体实施方法本发明是在以内插法重建一像素之前，先依据周围像素的位置远近分配权重比例而计算出水平及垂直方向的色彩信号差异量，以根据色彩信号差异量的反比例分配权重值，进而将水平及垂直方向所求出的绿色元素各乘以其所属方向的权重值，所得的加权总合即成为红/蓝像素中的绿色元素插补值。
请参阅图2所示，在光线通过一彩色滤光片后所产生的影像像素数组20，其是由复数像素22所组成，包括红像素24、蓝像素26及绿像素28，以一绿、蓝像素(G、B)列及一红、绿像素(R、G)列依序排列形成数组，进而构成每一红像素24或蓝像素26的周围具有四个绿像素28的数组。由于每一原色像素22仅具有单一色彩元素，因此必须将每一像素22所遗失的其它二色彩元素予以补足，使每一像素22各含有红、蓝、绿三元素。
由于在红、蓝、绿三原色中，绿原色的辉度值最高而可提供较准确的光度资料，因此本发明的内插法是先以适当的权重计算来重建绿色色频(G channel)，再以精确的绿色色频资料计算红色及蓝色的色差域(color difference domain)，以得到精确的绿色、红色及蓝色色频资料。
本发明像素色彩信息重建方法是为软件，通常是以一影像处理装置来实现。此像素色彩信息重建方法的流程图请参阅图3所示，其是运用内插法且在内插过程加入适当的加权判断，请同时配合图2，本发明的方法包括下列步骤首先，如步骤S10开始像素色彩信息重建的流程，接收由影像传感器数组所传来的影像像素数组20的信号，接着如步骤S12所示，由左至右扫依序描影像像素数组20，以便先进行绿色元素的重建，其中每扫描到一蓝像素26或红像素24，是对于该像素选取水平及垂直方向，且依据其周围的像素的位置远近分配权重比例，位置较远的周围像素是分配较小的权重比例，而位置较近的周围像素则分配较大的权重比例；接下来即如步骤S14，根据该等权重比例计算出水平及垂直方向上的色彩信号差异量ΔH、ΔV，此计算色彩信号差异量的步骤，是根据该待重建像素周边的绿像素28、红像素24及蓝像素26的值来加以计算而求出色彩信号差异量。
在计算出水平及垂直方向的色彩信号差异量之后，旋即如步骤S16所示，根据该等色彩信号差异量的反比例分配水平及垂直方向的权重值来进行加权总合，即差异量大者分配较小的权重值，进而分别沿循水平及垂直方向将待重建像素红/蓝像素24/26所邻接的二个绿像素值加以平均而得到二个平均值，且将该二平均值各乘以其所属方向的权重值而后相加，所得的加权总合即成为红/蓝像素24/26中的绿色元素信息。如此重复步骤S12至S16，依序扫描且重建每一红、蓝像素24、26中所遗失的绿色元素，直至所有红、蓝像素24、26中的绿色元素重建完成。上述扫描的方向亦可由右至左或由上至下等方向扫描。
而后接续进行步骤S18，以双线性(bilinear)内插法依序补足每一待重建像素所遗失的红色元素及蓝色元素，此双线性内插法即是利用周围四点或二点以线性内插法求取待插补值，进而使影像像素数组20中的每一像素22各含有绿色、红色、蓝色三元素。
在完成步骤S18之后，每一像素22即具有绿色、蓝色及红色三种色彩信息，为使利用双线性法而求得的蓝色及红色元素值更加精确，因此本发明在完成步骤S18之后，还包括一色差校正的步骤，如步骤S20所示，是以一待重建像素为基准，利用一中值滤波器(median filter)选取该像素周围矩阵排列的复数个像素，且求取该矩阵中每一像素22的红、绿色差值(color difference)及蓝、绿色差值，进而由该等红、绿色差值及该等蓝、绿色差值中各选取一中间值，且将该中间值与该待重建像素中的绿色元素相加，以进一步求出精确的红色元素及蓝色元素的信息。在依序完成每一红、蓝插补值的色差校正之后，即可使每一像素22各具有精确的绿、红、蓝色彩信息，进而如步骤S22结束整个色彩重建流程。其中，中值滤波器所选取的矩阵通常是为3*3、4*4或5*5。
至此，本发明的像素色彩信息重建方法的精神已说明完毕，以下特以一具体范例来详细验证说明本发明的内插法，以使熟习此项技术者将可参酌此范例的描述而获得足够的知识而据以实施。
利用本发明的像素色彩信息重建方法作为影像处理系统中色彩重建的实际应用是如第四图所示，影像通过彩色滤光数组(color filter array，CFA)及影像传感器数组之后形成如图所示的影像像素数组，在此影像进行后续处理的前，必需将所遗失的色彩成分加以重建，重建方法包括下列四个主要步骤。
步骤一由加权总合重建绿(G)颜色值。
在图4中，G44原为不存在的，R44位置的G44的重建需参考R44四周的G34、G54、G43、G45四个绿色光度值，且经过一定的加权处理，此加权处理原则的计算式如下
ΔH＝w1×abs(G43-G45)+w2×[abs(R44-R42)+abs(R44-R46)] (1)ΔV＝w1×abs(G34-G54)+w2×[abs(R44-R24)+abs(R44-R64)] (2)其中，ΔH代表R44四周像素于水平方向的信号差异量，即水平方向的信号走势变化，而ΔV代表R44四周像素于垂直方向的信号差异量；w1及w1各代表权重值，分别为w1＝1/2及w1＝1/4。
如图所示，对于R44的水平方向而言，由于G43、G45较近，故权重值较大，为1/2；而R42及R46较远，故权重值较小，为1/4，透过上述依位置远近分配权重比例的方式，是可使所求出的水平、垂直方向信号差异量ΔH、ΔV较接近真实的情况，可有效解决已知未加入适当判断或处理而求取ΔH、ΔV的缺点。
在计算出水平及垂直方向信号变化量ΔH、ΔV之后，接着再进行插补值的加权计算，其计算式如下G44=k1×G43+G452+k2×G34+G542---(3)]]>
其中，k1=ΔVΔH+ΔV,k2=ΔHΔH+ΔV]]>在计算式(3)中，k1及k2值分别为水平及垂直分量的权重值，其是随着水平及垂直方向信号差异量ΔH、ΔV而变动，使G值依据该等信号差异量ΔH、ΔV的反比例来分配水平及垂直分量的权重值而进行加权总合，以由此使差异量大方向的G分量具有较小的权重值，而差异量小方向的G分量具有较大的权重值。因此式(3)是用以沿循水平及垂直方向将待重建像素G44所邻接的二个绿像素值G43、G45及G34、G54分别加以平均，而得到二个平均值，即水平分量及垂直分量，且将该二平均值各乘以其所属方向的权重值k1及k2，而后相加加权值，所得的加权总合G44即成为待重建红像素R44中的绿色元素信息，进而将B44位置的所遗失的G44予以补足。
如此依序将每一列中的R及B位置所遗失的G值以前述加权内插方法求出，使影像像素数组中的R像素及B像素各含有所遗失的绿色元素G。至此，已完成影像像素数组中所有像素的绿颜色重建。
步骤二以双线性法决定红(G)、蓝(B)颜色值。
在完成G色频重建之后，接着，利用双线性法求出遗失的红(G)、蓝(B)颜色值，请再参图4所示，R33原为不存在的，B33位置的R33的重建是参考B33最邻近的4个R值，计算式如下
R33=R22+R24+R42+R444]]>由于B33最邻近的4个R位置分别为R22、R24、R42、R44，故将此四点加以平均，即插补得到R33值。
其中，位于影像边缘的像素的插补，则以其水平或垂直二侧的R值平均，例如R23=R22+R242]]>R32=R22+R422]]>如此依序将影像像素数组中的G及B像素所缺少的R值一一计算出来，使每一G位置及B位置各具有红色元素R。
同理，蓝色元素的重建亦同，故于此不赘述。至此，已完成影像像素数组中蓝(B)颜色及红(R)颜色的初步重建。
步骤三由中值滤波器求取色差信息。
在完成每一像素的绿色、蓝色及红色元素的插补计算之后，为使利用双线性法而求得的蓝色及红色元素值更加精确，因此本发明并以每一待重建像素为基准，利用一中值滤波器(median filter)由影像像素数组中选取5*5个区块(像素)，先个别将每一像素建立色差域(color differencedomain)，再由该等色差域中选取色差中值，其计算程序如下(Ri-Gi)median＝median filter(R-G) (4)(Bi-Gi)median＝median filter(B-G) (5)上述的程序(4)、(5)是用以基于精确的G值配合中值滤波器的中值选择，以选取出最佳的红色差域中值及蓝色差域中值。
步骤四计算精确的R及B值。
在利用中值滤波器选取出最佳的红色差域中值及蓝色差域中值之后，接着旋即利用下式(6)、(7)计算出精确的R及B值。
Ri‾=(Ri-Gi)median+Gi---(6)]]>B‾i=(Bi-Gi)median+Gi---(7)]]>如此将影像像素数组中所插补的每一R像素及每一B像素一一进行色差校正，使得每一像素各含有精确的RGB三颜色信息，进而完成整个影像重建的程序。
因此，本发明利用在内插计算的前，先依据位置远近分配权重比例，以演算出待插补G值位置周边的水平及垂直方向的信号差异量，进而由信号差异量分配水平权重值及垂直权重值，提供内插求出的水平G值及垂直G值各乘以其所属方向的权重值，以利用加权总合为红/蓝像素求取绿色元素插补值，而后再进行其它像素所遗失的红色元素及/或蓝色元素的内插计算，并以一中值滤波器建立更精确的红色及蓝色信息。故，本发明可使整个内插过程的信号数值的演算较接近真实情况，以提供准确的插补色彩值，以达成分辨率高及色彩均匀的功效，进而可确实地改善已知插补系统因误差大而产生的伪色、失真等问题。
以上所述是由实施例说明本发明的特点，其目的在使熟习该技术者能暸解本发明的内容并据以实施，而非限定本发明的专利范围，故，凡其它未脱离本发明所揭示的精神所完成的等效修饰或修改，仍应包含在以下所述的申请专利范围中。
权利要求
1.一种像素色彩信息重建方法，用以将一影像像素数组中的红像素、蓝像素及绿像素中所遗失的色彩元素予以补足，使每一该像素各含有红色、蓝色及绿色三元素，其特征在于，该像素色彩信息重建方法包括下列步骤对于待重建绿色元素的每一该红/蓝像素选取数个方向，且依据该红/蓝像素周围的像素的位置远近分配权重比例，以根据该等权重比例计算出每一该方向上的色彩信号差异量；根据该等色彩信号差异量的反比例分配该等方向的权重值，且分别沿循该等方向将该红/蓝像素所邻接的二个绿像素值加以平均而得到数个平均值，进而将该等平均值各乘以其所属方向的该权重值而后相加，所得的加权总合即成为该待重建红/蓝像素中的绿色元素信息；以及以双线性内插法补足每一该待重建像素所遗失的红色元素及蓝色元素，进而使每一该像素各含有绿色、红色、蓝色三元素。
2.如权利要求
1项所述的像素色彩信息重建方法，其特征在于，其中，该等方向包括水平方向及垂直方向。
3.如权利要求
1项所述的像素色彩信息重建方法，其特征在于，其中，于计算该等方向的色彩信号差异量的步骤中，对于每一该待重建像素，位置较远的周围像素是分配较小的权重比例，而位置较近的周围像素是分配较大的权重比例。
4.如权利要求
1项所述的像素色彩信息重建方法，其特征在于，其中，在依据该等方向分别计算色彩信号差异量的步骤中，是根据该待重建像素周边的绿像素及红/蓝像素的值加以计算该色彩信号差异量。
5.如权利要求
1项所述的像素色彩信息重建方法，其特征在于，其中，在补足每一该待重建像素所遗失的红色元素及蓝色元素之后，还包括一步骤，是以每一该待重建像素为基准，利用一中值滤波器选取该待重建像素周围矩阵排列的复数个该像素来个别计算色差值，求取该矩阵中每一该像素的红、绿色差值及蓝、绿色差值，进而由该等红、绿色差值及该等蓝、绿色差值中各选取至少一中间值而与该像素中的绿色元素相加，进一步求出精确的红色元素及蓝色元素的信息。
6.如权利要求
5项所述的像素色彩信息重建方法，其特征在于，其中，该中值滤波器所选取的矩阵是选自3*3、4*4及5*5其中之一。
7.如权利要求
1项所述的像素色彩信息重建方法，其特征在于，其中，该影像像素数组是一绿、蓝像素列及一红、绿像素列依序排列形成数组。
8.一种像素色彩信息重建方法，应用于一影像像素数组的色彩重建，该影像像素数组包含有第一像素、第二像素及第三像素，藉由该重建方法将该影像像素数组中的像素所遗失的色彩元素予以补足，使每一该像素各含有第一元素、第二元素及第三元素，其特征在于，该像素色彩信息重建方法包括下列步骤对于待重建第一元素的每一该第二像素/第三像素选取数个方向，且依据该红/蓝像素周围的像素的位置远近分配权重比例，以根据该等权重比例计算出每一该方向上的色彩信号差异量；根据该等色彩信号差异量的反比例分配该等方向的权重值，且分别沿循该等方向将该红/蓝像素所邻接的二个第一像素值加以平均而得到数个平均值，进而将该等平均值各乘以其所属方向的该权重值而后相加，所得的加权总合即成为该待重建第二/第三像素中的第一元素信息；以及以双线性内插法补足每一该待重建像素所遗失的第二元素及第三元素，进而使每一该像素各含有第一、第二及第三元素。
9.如权利要求
8项所述的像素色彩信息重建方法，其特征在于，其中，该第一、第二及第三像素是分别为绿像素、红像素及蓝像素，且该影像像素数组是一绿、蓝像素列及一红、绿像素列依序排列形成数组。
10.如权利要求
8项所述的像素色彩信息重建方法，其特征在于，其中，该等方向包括水平方向及垂直方向。
11.如权利要求
8项所述的像素色彩信息重建方法，其特征在于，其中，于计算该等方向的色彩信号差异量的步骤中，对于每一该待重建像素，位置较远的周围像素是分配较小的权重比例，而位置较近的周围像素是分配较大的权重比例。
12.如权利要求
8项所述的像素色彩信息重建方法，其特征在于，其中，在依据该等方向计算其上的色彩信号差异量的步骤中，是根据该待重建像素周边的第一像素及第二/第三像素的值加以计算。
13.如权利要求
8项所述的像素色彩信息重建方法，其特征在于，其中，在补足每一该待重建像素所遗失的第二元素及第三元素之后，还包括一步骤，是以每一该待重建像素为基准，利用一中值滤波器选取该待重建像素周围矩阵排列的复数个该像素来个别计算色差值，进而由该等色差值中选取至少一中间值而与该像素中的第一元素相加，进一步求出精确的第二元素及第三元素的信息。
专利摘要
本发明提供一种像素色彩信息重建方法，其是先依据每一红/蓝像素周围的像素的位置远近分配权重比例，而计算出水平及垂直方向上的色彩信号差异量，接着根据信号差异量的反比例分配权重值，分别沿水平及垂直方向将待重建像素所邻接的二个绿像素值平均而得到二平均值，再将该二平均值各乘以其所属方向的权重值而后相加，所得的加权总合即成为每一红/蓝像素中的绿色元素信息；继之以双线性内插法补足其它像素所遗失的红色元素及蓝色元素，且再以一中值选择器校正色差。因此本发明所重建的色彩信息具有精确度高的优点，可达成高分辨率及色彩均匀的功效。
文档编号G06T3/40GK1992909SQ200510135580
公开日2007年7月4日 申请日期2005年12月29日
发明者郭俊廷 申请人:华晶科技股份有限公司导出引文BiBTeX, EndNote, RefMan