专利名称：用于处理摄像机传感器提供的颜色值的方法和设备的利记博彩app
用于处理摄像机传感器提供的颜色值的方法和设备本发明涉及一种适于处理包括不同颜色像素的摄像机传感器提供的颜色值的方 法和设备、相应的计算机程序和相应的计算机程序产品。
背景技术：
数字摄像机可以在摄像机传感器上使用RGB (红，绿，蓝)或Bayer滤色器阵列。这 种阵列每个像素仅提供一种颜色，即，红色、绿色或蓝色。于是，必须要将图像重构成每像素 三种颜色。这一过程被称为重构或分离(s印aration)，因为颜色与亮度分离了。从文献中可以知道 RGB 分离器(s印arator)，例如，J. E. Adams, “Interactions between color plane interpolation and other imageprocessing functions in electronic photography，，，Proc. SPIE Camerasand Systems for Electronic Photography and Scientific Imaging, vol.2416,1995 ；J.E. Adams, "Designs of practical color filter arrayinterpoIation algorithms for digital cameras", Proc. SPI Real TimeImaging II, vol. 3028, 1997 ； R. Kimmel, ‘‘ Demosaicing Imagereconstruction from color CCD samples，，，IEEE Trans. Image Proc, vol. 8, No. 9，pp. 1221-1229,1999 年 9 月；或 Chung-Yen Su, Chi-Ming Lin 和 Yi-Shien Lin, "Effective False Color Suppression of DemosaicingUsing Direction Inversion and Bidirectional Signal Correlation，，， National Taiwan Normal University 162, Section 1, Heping East Road, Taipei, Taiwan ；ICIP 2007 conference。用于静止图像摄像机的已知RGB分离器具有优越的分辨性能，高达理论最大值， 即奈奎斯特频率。然而，RGB分离器的缺点在于，图像中接近最大频率的小细节和噪声易于生成主要 为水平和竖直的结构，也称为“砖块(brick)”伪影(artefact)。具体而言，在对角线输入 资料上，对于时域噪声而言，这些结构能够容易地从水平切换到竖直，反之亦然。在静止图像上，如果没有时域噪声，几乎不会注意到这种干扰，但是在动态视频摄 像机上，有时域噪声，这种伪影可能变得清晰可见，尤其是在这种伪影与观看者的预期形成 对照的图像上，例如水面或面部的运动。US 5，373，322描述了一种利用色度梯度自适应地对全色图像进行内插的方法，以 便减少颜色边缘的伪影并改善图像清晰度。US 5，629，734涉及在单个传感器彩色电子摄像机中进行自适应彩色规划内插。US 4，724，395描述了一种用于重构丢失的颜色样本的中值滤波器。本发明的目的在于提供一种根据独立权利要求所述的适于处理由摄像机传感器 提供的颜色值的方法，还涉及一种使用这种方法的设备，还涉及对应的计算机程序和计算 机程序产品。在从属权利要求中定义了有利的实施例。本发明的优点本发明提供了一种以动态方式减少“砖块”伪影的方法。具体而言，本发明的方法 能够在用于动态视频的RGB分离中实现砖块伪影的减少。根据应用可以设置若干控制。例如，具有静止模式和动态视频模式的摄像机可以针对分辨率相对于伪影具有模式优化的分 离器设置。根据实施例，提供了一种方法，所述方法适于处理由包括不同颜色像素的摄像机 传感器提供的颜色值，其中所述方法特征在于基于使用至少一个控制值进行的求平均值来 内插具有第二和第三颜色的像素位置处的第一颜色的值。所述第一颜色可以是绿色，所述 第二颜色可以是红色，所述第三颜色可以是蓝色。所述至少一个控制值可以包括分数和/或范围控制值。这样能够减少伪影。此外，所述方法可以包括静止模式和运动模式，其中基于在所述运动模式下进行 的求平均值来内插所述第一颜色的值，且其中在所述静止模式下不进行求平均值的情况下 内插所述第一颜色的不同值。这允许针对分辨率相对于伪影实现模式优化的分离器设置。可以基于如下方程内插第一颜色的值 max dif = fraction_g · (hordif+verdif) +range_gthreshold = | hordif-verdifh_hp = (2S [1，px] -S [1，px_2] -S [1，px+2]) /2
h_sum = (S [1，px-1] +S [1，px+1]) /2h_dif = (S[1，px-1]-S[1，px+1])/2v_hp = (2S[1，px]-S[l_2，px]_S[l+2，px])/2v_sum = (S [1-1，px] +S [1+1，px]) /2v_dif = (S [1-1，px] -S [1+1，px]) /2其中green_new 所述第一颜色的值fraction_g 分数控制range_g:范围控制S[a, b]位置[a，b]处的像素的值S[l，px]中心像素的值。可以将这些方程增加到已知的分离方法上或替换已知分离方法的方程。此外，在静止模式下可以基于如下方程内插所述第一颜色的不同值 hordif = | h_hp | +1 h_didverdif = | v_hp | +1 v_difh_hp = (2S [1，px] -S [1，ρχ-2] -S [1，px+2]) /2h_sum = (S[1，px_l] +S[1，px+1])/2h_dif = (S[1，px-1]-S[1，px+1])/2v_hp = (2S[1，px]-S[l_2，px]_S[l+2，px])/2v_sum = (S [1-1，px] +S [1+1，px]) /2
v_dif = (S [1-1，px] -S [1+1，px]) /2其中green_old 第一颜色的不同值S[a, b]位置[a，b]处的像素的值S[l，px]中心像素的值。根据本发明方法的另一实施例，可以使用第一颜色的值通过水平或垂直内插获得 具有第一颜色的像素位置处的第二和第三颜色的值。此外，可以基于求平均值内插具有所述第三颜色的像素位置处的所述第二颜色的 值以及具有所述第二颜色的像素位置处的所述第三颜色的值。这允许确定第一、第二和第 三颜色的所有缺失值。可以从内插值以及从所述摄像机传感器提供的值中选择所述第一、第二和第三颜 色的正确值。正确值可以由方法的输出提供并用于生成图像。通过选择正确值，可以减少 图像中的伪影。本发明的设备执行本发明方法的所有步骤。本发明的包括程序代码模块的一种计算机程序被配置成，当在计算机上或对应的 处理单元上，尤其是在本发明的设备上执行计算机程序时，执行本发明方法的所有步骤。提供了一种包括存储于计算机可读数据载体上的程序代码模块的本发明计算机 程序产品，当在计算机上或对应的处理单元上，尤其是在本发明的设备上执行计算机程序 时，用于执行本发明的方法。从描述和附图可以明了本发明的更多优点和实施例。应当指出，前面提到的特征以及要在下文中阐述的特征不仅可以各自指明的组合 使用，而且可以其他组合使用或单独使用，而不脱离本发明的范围。在附图中
图1示出了根据本发明实施例的分离器方框图；图2示出了描绘根据本发明实施例的选择器功能的图解表格；图3示出了根据本发明实施例的绿色内插；图4示出了根据本发明实施例用于内插绿色像素的方框图；图5示出了根据本发明实施例的对角线内插器；图6示出了根据本发明实施例的另一内插器的方框图；以及图7示出了根据本发明实施例的分离器输出的2D光谱。图1示出了根据本发明实施例的RGB分离器的方框图。该分离器可以基于RGB Bayer分离器，向其增加额外的电路。RGB分离器可以结合数字摄像机使用，数字摄像机使 用滤色器阵列，并随后使用内插策略来生成全色图像。于是，可以使用RGB分离器来处理数 字摄像机传感器提供的输入信号，以便提供能够生成彩色图像的输出信号。该分离器能够 实现等于奈奎斯特频率的水平分辨率。根据本实施例，RGB分离器包括绿色内插块102、水平/垂直内插块104、对角线内 插块106、选择器108和分数/范围控制块110。绿色内插块102包括块HO、GO、W、HI、GU VI、H2、G2、V2，配置成接收信号 CDS
，包括以下 5 个输入信号:CDS
、CDS[1]、CDS[2]、CDS[3]和 CDS[4]。可以由数字摄像机传感器提供信号CDS
。此外，绿色内插块102被配置成从分数/范围控制块 110接收信号。绿色内插块102被配置成向水平/垂直内插块104、对角线内插块106和选 择器108输出信号。在绿色内插块102中，“H”表示水平，“V”表示垂直，“G”表示绿色。绿色内插块 102被配置成同时处理三条视频线0、1、2。于是，块102中的数字表示输入视频线。绿色内 插块102的每条线包括三个类似的块，例如H1、V1和G1。对于分离线而言块是相同的。同 样，“H”表示水平，“V”表示垂直。水平/垂直内插块104被配置成接收信号⑶S[l. . 3]和绿色内插块102的块GO、 G1、G2的输出，CDS[1. . 3]表示信号CDS[1]、CDS[2]和CDS[3]。水平/垂直内插块104被 配置成向选择器108输出信号v_br、h_br并向对角线内插块106输出其他信号。对角线内插块106包括块NE (东北)、NW(西北)、D并被配置成从水平/垂直内插 块104接收信号CDS [1.. 3]以及绿色内插块102的块G0、G1、G2的额外输出。此外，对角线 内插块106被配置成从控制块110接收信号。对角线内插块106还被配置成输出d_br信 号。选择器108被配置成接收信号v_br、h_br、d_br、⑶S[2]和绿色内插块102的块 Gl的输出信号。选择器108还被配置成输出信号R、G、B。分数/范围控制块110被配置成向绿色内插块102的块G0、G1、G2以及对角线内 插块106的块D提供一个或多个控制值。分数/范围控制块110的设置可以取决于摄像机 的模式，例如，可以由摄像机的用户设置的静止模式或运动模式。RGB分离器被配置成执行分离方法，该分离方法可以包括四个步骤。作为可以由绿色内插器102执行的第一步骤，可以为三条相继的线计算红色或蓝 色像素位置处缺失的绿色值。取决于最高边界值，可以水平或垂直地执行内插。根据本发 明，为了实现均等，可以使用至少一个控制来求平均。例如，可以使用两个控制，即分数和范 围。在可以由水平/垂直内插块104执行的下一步骤中，可以计算当前绿色像素处缺 失的红色和蓝色像素。可以利用绿色值通过水平或垂直内插进行这一操作，以提高高频响应。在可以由对角线内插块106执行的下一步骤中，可以使用对角线内插来计算相应 当前红色和蓝色位置处缺失的蓝色和红色像素。根据最高边界值可以在东北或西北方向上 进行内插。根据本发明，为了实现均等，可以使用控制来求平均。例如，可以使用两个控制， 即分数和范围。绿色值将提高高频响应。在可以由选择器块108执行的下一步骤中，可以从先前的内插以及从可编程像素 控制的CDS信号和线标识信号中选择正确的红色、蓝色或绿色值。图2示出了图解表格，描述了可以由选择器块108执行的选择器功能。第一行示出了九像素阵列的一些情况。八个阵列围绕一个中心像素。在所有情况 下，都需要从该区域中的九个像素确定中心像素的三种颜色R、G和B。四种情况以下指出 了 R、G和B颜色是从哪个信号产生的。如果提到⑶S，它是直接从输入获取的。v_br表示 针对红色或蓝色执行垂直内插。H_br表示相同的意思，不过是针对水平内插。D_br表示执 行对角线内插。对角线内插可以在东北方向(图1中的NE块)或西北方向(图1中的NW
7块)上。 用于计算中心像素的颜色的像素取自中心像素的周围。使用五个输入线来如下所 示计算信号。CP表示中心像素。12345
678910
1112CP1314
1516171819
2021222324H_hp是像素11、CP和14上的水平高通滤波的信号。H_sum是像素12和13之和的平均。H_dif是像素12和13之间的差异。v_hp是像素3、CP和22上的垂直高通滤波信号。v_sum是像素8和17之和的平均。v_dif是像素8和17之间的差异。在下文中，描述可用于执行该分离方法的步骤的电路和方程。第一步骤涉及绿色内插器。图3示出了绿色内插器102的块V1、H1、G1。块V1、H1、G1允许对一条线进行绿色 内插。块Vl是垂直滤波器块，块Hl是水平滤波器块，块Gl是内插器。块Vl被配置成接收信号S
并输出信号V_hp、V_SUm、V_dif。块Hl被配置成 接收信号S[2]并输出信号h_hp、h_Sum、h_dif。块Gl被配置成从块V1、H1接收信号￥_1^、 v_sum、v_dif、h_hp、h_sum、h_dif 并从控制块 110 接收信号 fraction_g、range_g。块 Gl 还被配置成输出信号绿色。绿色内插器被配置成为三个中心线计算红色和蓝色像素位置处缺失的绿色值。在 绿色像素位置处也进行内插，在相继的块中将忽略这些像素。在方程1中描述了在块Vl和Hl中执行的功能。方程1 v_hp = (2S[1，px]-S[l_2，px]_S[l+2，px])/2v_sum = (S [1-1，px] +S [1+1，px]) /2v_dif = (S [1-1，px] -S [1+1，px]) /2方程2 h_hp = (2S [1, px] -S [1, px-2] -S [1, px+2]) /2h_ sum = (S[l，px_l]+S[，px+l])/2h_dif = (S[l, px-l]-S[l, px+l])/2图4示出了块Gn，例如图3所示的块Gl的方框电路图。该块包括块420、421、422、 423、424、425、426、427、428、429、430。块420被配置成接收信号v_hp [η]、v_dif [η]，执行功能abs (a) +abs (b)并输出信 号 Verdif0块421被配置成接收信号h_hp[n]、h_dif [η]，执行功能abs (a)+abs (b)并输出信 号 hordifo
8
块422被配置成接收信号h_Sum[n]、h_hp [η]并执行功能a+b。块423被配置成接收信号v_SUm[n]、v_hp [η]并执行功能a+b。块424 被配置成接收信号 fraction、range、verdif、hordif，执行功能 f*(a+b) > > 4+r < < 8并输出信号maxdif。块425被配置成接收信号verdif、hordif，执行功能abs (a_b)并输出信号 threshold。块426被配置成接收信号verdif、hordif并执行功能a > b。块427被配置成接收块422和块423的输出信号并执行功能a+b+Ι >> 1。块428被配置成接收块422、块423和块426的输出信号并执行功能mux。块429被配置成接收信号max dif、threshold并执行功能a > = b。块430被配置成接收块428、块427和块429的输出信号，执行功能mux并输出信 号 green [η]。根据本发明的方法增加块424、425、427、429、430。块Gn被配置成根据在Hn和Vn中计算的边缘信息内插缺失的绿色像素。方程3:hordif = |h_hp| + |h_difverdif = | v_hp | +1 v_dif方程4: 在方程5和6中描述了本发明的增加。方程5:max dif = fraction_g · (hordif+verdif) +range_gthreshold = | hordif-verdif新的绿色内插公式变为下面的公式方程6: 分离方法的第二步骤涉及水平/垂直内插器。如果当前像素为绿色，那么可以分别水平地或垂直地内插蓝色和红色。水平/垂 直内插块104提供两种内插。用于分离的选择器位于后一个块108中。方程7:h_br = (2S[2, px]+S[2, px_l]+S[2, ρχ-l]-green[1, ρχ-l]-green[1, px+l])/2v_br = (2S[2, px]+S[3, px_l]+S[l，ρχ-l]-green[2, px]-green
)/2分离方法的第三步骤涉及对角线内插器。图5示出了对角线内插器块106的方框图。要在当前蓝色像素处找到红色或在当 前红色像素处找到蓝色需要对角线内插。对角线内插器106包括块NE、NW、D。
块NE 被配置成接收信号 green
、S[l:3]并输出信号 ne_hp、ne_sum、ne_dif。 块NW被配置成接收信号green
、S [1:3]并输出信号nw_hx、nw_sum、nw_dif。块D被 配置成从块 NE、NW 接收信号 ne_hp、ne_sum、ne_dif、nw_hp、nwsum、nw_dif 并从控制块 110 接收信号fracti0n_d、range_d。块D进一步配置成输出信号d_br。对角线内插器块106被配置成根据块NE和NW中计算的边缘信息内插缺失的蓝色 /红色像素。块NE和块NW均提供3个输出信号。方程8:ne_hp = (2green[l, px]-green
-S[2, px+l])/2ne_sum = (S[3，px_l]+S[l，px+l])/2ne_dif = (S[3，px_l]_S[l，px+l])/2方程9:nw_hp = (2green[l, px]-green
_S[2, px_l])/2nw_sum = (S[3，px+l]+S[l，px_l])/2nw_dif = (S[3，px+l]_S[l，px_l])/2图6示出了对角线内插器块106的块D的方框电路图。块D等于绿色内插器102 中的 Gn 个块，包括块 420、421、422、423、424、425、426、427、428、429、430 和额外的块 631。块420被配置成接收信号nw_hp [η] ,nw_dif[n]，执行功能abs (a) +abs (b)并输出 信号nwdifo块421被配置成接收信号ne_hp[n]、ne_dif [η]，执行功能abs (a)+abs (b)并输出 信号nedifo块422被配置成接收信号ne_Sum[n]、ne_hp [η]并执行功能a+b。块423被配置成接收信号nw_Sum[n]、nw_hp [η]并执行功能a+b。块424 被配置成接收信号 fraction_d、range_d、nwdif、nedif，执行功能 f*(a+b) >> 4+r << 8并输出信号max dif。块425被配置成接收信号nwdif、nedif,执行功能abs (a_b)并输出信号 threshold。块426被配置成接收信号nwdif、nedif并执行功能a < b。块427被配置成接收块422和块423的输出信号并执行功能(a+b)/2。块428被配置成接收块422、块423和块426的输出信号，执行功能mux并输出信 号 d_br_old。块429被配置成接收信号max dif、threshold并执行功能a > = b。块430被配置成接收块428、块427和块429的输出信号并执行功能mux。块631被配置成接收块430的输出信号，执行功能限制到15位(limitto 15 bits)并输出信号d_br_new。如图6所示的块D可以被配置成执行以下方程。方程10:nwdif = | nw_hp | +1 nw_difnedif = | ne_hp | +1 ne_dif
方程11 在方程12和13中描述了本发明的增加方程12:max dif = fraction_d · (nwdif+nedif) +range_dthreshold = |nwdif-nedif新的绿色内插公式变为方程13: 第四步骤涉及到开关。开关功能被配置成简单地根据当前像素的滤色器为三个输 出流R、G和B选择正确的内插器类型。图7示出了本发明分离器的波带片输入的输出的2D光谱。灰色中的是完整的光 谱，可以利用范围控制对其进行正交地缓和并利用分数控制沿对角线对其进行缓和。箭头731表示范围控制，箭头732表示分数控制。通过增加控制分数和范围，可以控制分离器的完整光谱。范围控制降低了正交分 辨率，分数降低了对角线分辨率。大约5%的分辨率轻微下降已经可以显著改善砖块伪影了。所描述的本发明方法的步骤可以组合执行、按不同顺序执行或单独执行。使用该 方法不限于数字摄像机的领域。所述的方程和电路块可以由类似方程和电路块替代而不脱 离本发明的范围。
附图标记
102 绿色内插块
水平/垂直内插块 对角线内插块 选择器
分数/范围控制块 420，421，422，423，424，425，426，427，428，429，430 631 电路块 范围控制 分数控制
104 106 108 110
731
732
电路块
1权利要求
一种适于处理由包括不同颜色像素的摄像机传感器提供的颜色值的方法，其特征在于，基于使用至少一个控制值进行的求平均值来内插(102)具有第二和第三颜色的像素位置处的第一颜色的值。
2.根据权利要求1所述的方法，其特征在于，所述至少一个控制值包括分数和/或范围 控制值(110)。
3.根据前述权利要求之一所述的方法，其特征在于，所述方法包括静止模式和运动模 式，其中基于在所述运动模式下进行的求平均值来内插所述第一颜色的值，并且其中在所 述静止模式下不进行求平均值的情况下内插所述第一颜色的不同值。
4.根据前述权利要求之一所述的方法，其特征在于，基于如下形式的方程内插所述第 一颜色的值 max dif = fraction_g · (hordif+verdif)+range_gthreshold = hordif-verdifh_hp = (2S[1，px]-S[1，px_2]-S[1，px+2])/2h_sum = (S[1，px-1]+S[1，px+1])/2h_dif = (S[l, px-l]-S[l, px+l])/2v_hp = (2S[1, px]-S[l-2, px]_S[l+2，px])/2v_sum = (S[l-1, px]+S[l+l,px])/2v_dif = (S[l-1, px]-S[l+l,px])/2其中green_new 所述第一颜色的值 fraction_g 分数控制 range_g 范围控制 S[a,b]位置[a,b]处的像素的值 S[l，px]中心像素的值。
5.根据权利要求3所述的方法，其特征在于，在静止模式下基于如下形式的方程内插 所述第一颜色的不同值 hordif = h_hp|+|h_difverdif = |v_hp|+|v_difh_hp = (2S[1，px]-S[1，px_2]-S[1，px+2]),h_sum = (S[1，px-1]+S[1，px+1])/2h_dif = (S[l, px-l]-S[l, px+l])/2v_hp = (2S[1, px]-S[l-2, px]_S[l+2，px]),v_sum = (S[l-1, px]+S[l+l,px])/2v_dif = (S[l-1, px]-S[l+l, px])/2其中green_old 所述第一颜色的不同值S[a,b]位置[a,b]处的像素的值S[l，px]中心像素的值。
6.根据前述权利要求之一所述的方法，其特征在于，使用所述第一颜色的值通过水平 或垂直内插(104)获得具有所述第一颜色的像素位置处的所述第二颜色和第三颜色的值。
7.根据前述权利要求之一所述的方法，其特征在于，基于求平均值内插(106)具有所 述第三颜色的像素位置处的所述第二颜色的值以及具有所述第二颜色的像素位置处的所 述第三颜色的值。
8.根据前述权利要求之一所述的方法，其特征在于，从内插值以及从所述摄像机传感 器提供的值中选择(108)所述第一、第二和第三颜色的正确值。
9.一种用于执行根据前述权利要求之一所述的方法的所有步骤的设备。
10.一种计算机程序，所述计算机程序包括程序代码模块，当在计算机或相应处理单元 上执行所述计算机程序时，所述程序代码模块用于执行根据权利要求1至8中的一项所述 的方法的所有步骤。
11.一种计算机程序产品，所述计算机程序产品包括存储于计算机可读数据载体上的 程序代码模块，当在计算机或相应处理单元上执行所述计算机程序时，所述程序代码模块 用于执行根据权利要求1至8中的一项所述的方法的所有步骤。
全文摘要
在一种适于处理由包括不同颜色像素的摄像机传感器提供的颜色值的方法中，基于使用至少一个控制值进行的求平均值来内插(102)具有第二和第三颜色的像素位置处的第一颜色值。
文档编号H04N9/04GK101911709SQ200880124419
公开日2010年12月8日 申请日期2008年1月9日 优先权日2008年1月9日
发明者J·斯基瑞斯, P·巴克 申请人:罗伯特·博世有限公司