用于图像信号处理的时域滤波技术的利记博彩app

文档序号:6351316阅读:1076来源:国知局

专利名称::用于图像信号处理的时域滤波技术的利记博彩app
技术领域
:本公开一般涉及数字成像设备,具体而言,涉及用于处理使用数字成像设备的图像传感器而获得的图像数据的系统和方法。
背景技术
:该部分用于向阅读者介绍涉及以下所描述和/或请求保护的本技术的多个方面的领域的多个方面。相信该讨论有助于向阅读者提供背景信息以使其更好地理解本公开的多个方面。因此,需要理解的是就此而论这些陈述是用来阅读的,而非承认是它们是现有技术。在近些年,数字成像设备已经变得更加普及,这至少得益于这些设备对于一般消费者来说变得越来越消费得起。此外,除了一些刚上市的独立数码相机之外,数字成像设备整合为另一个电子设备(例如膝上或笔记本电脑、蜂窝电话或便携媒体播放器)的一部分也很常见。为了获取图像数据,大多数数字成像设备包括图像传感器,其提供多个被配置为将图像传感器检测到的光转换为电信号的光检测元件(例如光电检测器)。图像传感器还可包括滤色器阵列,其对由图像传感器捕捉的光进行滤波以获得颜色信息。接着通过图像处理流水线来处理由图像传感器捕捉的图像数据,该图像处理流水线可以对图像数据应用多种图像处理操作以生成可被显示在显示设备(例如监视器)上以供观看的全彩图像。传统图像处理技术一般致力于产生在主观上和客观上都使观看者愉悦的可观看图像,这样的传统技术可能无法充分地解决图像数据中由成像设备和/或图像传感器引入的错误和/或失真。例如,可能因制造缺陷或操作错误而导致的图像传感器中的缺陷像素可能无法准确地感测光线水平,并且如果不加校正,可能会在得到的经处理图像中产生伪影(artifact)。此外,可能因镜头制造的不完美而导致的在图像传感器的边缘处的光强度下降,可能对特性测量有不利影响,并且可能导致一张图像内的整体光强度不均匀。图像处理流水线还可执行一个或多个处理以锐化图像。然而传统锐化技术可能未充分地计及图像信号中存在的噪声,或者可能无法将噪声与图像中的边缘和纹理区域区分开。在这些情况下,传统锐化技术可能实际上增加了图像中噪声的显现,而这通常是不期望发生的。可被应用于由图像传感器获得的图像数据的另一个图像处理操作是去马赛克(demosaicing)操作。因为滤色器阵列一般为每个传感器像素提供一个波长的颜色数据,所以一般针对每个颜色通道进行内插得到颜色数据的完整集合,以再现全彩图像(例如RGB图像)。通常,传统去马赛克技术一般依据某种类型的固定阈值,在水平或垂直方向上内插缺失的颜色数据的值。然而,这些传统去马赛克技术可能未充分计及图像内各边缘的位置和方向,这可能导致引入到全彩图像中的特别是沿着图像内的对角边缘的边缘伪影,例如混叠(aliasing)、棋盘格伪影或彩虹伪影。因此,当处理由数码相机或其他成像设备获得的数字图像时,应当注意多种考虑以提高结果图像的外观。具体而言,以下公开的特定方面可以解决以上简要提及的一个或多个缺点。
发明内容以下将阐述此处公开的特定实施例的概述。可以理解的是这里仅仅呈现这些方面以向阅读者提供这些特定实施例的简要概述,并且这些方面并不限制本公开的范围。实际上,本公开可以涵盖以下没有阐述的多个方面。本公开提供了用于处理利用数字图像传感器获取的图像数据的各种技术。根据本公开的一些方面,一种这样的技术可涉及原始图像数据的时域滤波,例如,以便减少由于运动伪影引起的噪声。在一个实施例中,时域滤波器可接收利用图像传感器获取的原始图像数据。对于每个像素,时域滤波器可确定当前像素的空间位置,并从前一帧中识别至少一个同位置的参考像素(例如,位于相同的空间位置)。可至少部分基于当前像素及其同位置的参考像素来确定运动增量值。接着,可基于该运动增量值和与当前像素的空间位置相对应但是来自前一帧的运动历史值,来确定第一索引值。使用该第一索引,可以从运动表中选择第一滤波系数。在选择第一滤波系数之后,可基于当前像素的值(例如,作为索引)从亮度表(lumatable)中选择衰减因子,并且随后可基于所选择的衰减因子和第一滤波系数来确定第二滤波系数。然后可基于第二滤波系数、当前像素和同位置的参考像素,来计算与当前像素相对应的时域滤波输出值。在一个实施例中,当原始图像数据包括多个颜色分量时,可利用取决于颜色的增益来减小各颜色通道之间的信噪比差异。例如,在确定运动表的索引和亮度表的索引之前,根据当前像素的颜色,可以将适当的增益应用到当前像素。在另一个实施例中,可以为原始图像数据的每个相应的颜色提供单独的颜色相关的运动和亮度表,并且,基于当前像素的颜色,可以从与当前颜色相对应的运动和亮度表中选择第一滤波系数和衰减因子。以上所示特征的多种细化存在于本公开涉及的多个方面。其他特征也可并入到这些方面。这些细化和附加特征可独立存在或组合地存在。例如,以下讨论的涉及一个或多个示例实施例的多种特征可被单独或任意组合地并入到本公开的上述方面中。再次,以上呈现的简要概述仅旨在使阅读者熟悉本公开的实施例的特定方面和内容,而非对要求保护的主题的限制。本专利或申请文件包括至少一张彩色附图。将由官方根据请求和支付必要费用来提供具有彩色附图的该专利或专利申请公开的拷贝。阅读以下详细描述以及参考附图可以更好的理解本公开的多个方面,在附图中图I是描述包括被配置为实现本公开中阐述的一个或多个图像处理技术的成像设备和图像处理电路的电子设备的一个例子的部件的简单方框图;图2示出了在图I的成像设备中实现的拜耳滤色器阵列的2X2像素块的示意图;图3是依照本公开的一些方面的膝上型计算设备形式的图I的电子设备的透视图4是依照本公开的一些方面的桌上型计算设备形式的图I的电子设备的前视图;图5是依照本公开的一些方面的手持便携型电子设备形式的图I的电子设备的前视图;图6是图5所示的电子设备的后视图;图7是例示了依照本公开的一些方面的可以在图I的图像处理电路中实现的前端图像信号处理(ISP)逻辑和ISP流水处理逻辑的方框图;图8是示出了依照本公开的一些方面的图7的ISP前端逻辑的实施例的更详细的方框图;图9是依照本公开的一些方面的可在由图像传感器捕捉的源图像帧中定义的各种成像区域的图解说明;图10是依照本公开的一些方面的提供对如图8的ISP前端逻辑中所示的ISP前端像素处理单元的一个实施例的更详细视图的方框图;图11是依照一个实施例的例示了如何将时域滤波应用到由图10所示的ISP前端像素处理单元接收到的图像像素数据的处理框图;图12例示了可被用于确定图11所示的时域滤波处理的一个或多个参数的一组参考图像像素和一组对应的当前图像像素;图13是例示了依照一个实施例的用于将时域滤波应用到一组图像数据中的当前图像像素的处理的流程图;图14是示出了依照一个实施例的用于计算图13的当前图像像素的时域滤波所使用的运动增量值的技术的流程图;图15是例示了依照另一个实施例的用于将时域滤波应用到一组图像数据的当前图像像素的另一个处理的流程图,该处理包括对图像数据的各个颜色分量使用不同增益;图16是例示了依照另一个实施例,时域滤波技术如何对由图10所示的ISP前端像素处理单元接收到的图像像素数据的每个颜色分量使用单独的运动和亮度表的处理框图;图17是例不了依照另一个实施例,使用如图16所不的运动和売度表将时域滤波应用到一组图像数据中的当前图像像素的处理的流程图;图18是示出了依照本公开一些方面的可在图10的ISP前端像素处理单元中实现的像素合并补偿滤波器的一个实施例的更详细视图;图19示出依照一个实施例的使用图18的像素合并补偿滤波器来缩放图像数据的处理;图20是示出了依照本公开一些方面的可在图8所示的ISP前端处理逻辑中实现的统计处理单元的实施例的更详细方框图;图21示出了依照本公开一些方面的当应用用于在图20的统计处理单元进行统计处理时检测和校正缺陷像素的技术时可能要考虑的各种图像帧边界情况;图22是例示了依照一个实施例的用于在统计处理过程中执行缺陷像素检测和校正的处理的流程图;图23示出了描绘成像设备的传统镜头的光强度相对于像素位置的三维分布;图24是表现图像中不均匀光强度的有色图,这可能是镜头明暗(lensshading)不规则的结果;图25是依照本公开一些方面的包括镜头明暗纠正区域和增益栅格(gaingrid)的原始成像帧的图解例示;图26例示了依照本公开一些方面的用于被周围四个栅格增益点包围的图像像素的增益值的内插;图27是例示了依照本技术一个实施例的用于确定在镜头明暗校正操作期间可被应用到成像像素的内插增益值的处理的流程图;图28是描绘了依照本公开一些方面的当执行镜头明暗校正时,可被应用到表现出图23所示的光强度特性的图像的内插增益值的三维分布;图29示出了依照本公开一些方面的来自图24的有色图在应用了镜头明暗校正操作之后表现出改进的光强度均匀性的有色图;图30图解例示了依照一个实施例的可以如何计算和使用当前像素和图像的中心之间的径向距离来确定用于镜头明暗校正的径向增益分量;图31是例示了依照本技术一个实施例的使用来自增益栅格的径向增益和内插增益来确定总增益的处理的流程图,在镜头明暗校正操作期间可将该总增益应用到成像像素;图32是示出了依照本公开一些方面的图7的ISP流水处理逻辑的一个实施例的方框图;图33是示出了依照本公开一些方面的可在图32的ISP流水处理逻辑中实现的原始像素处理块的一个实施例的更详细视图;图34示出了依照本公开一些方面的当在图33所示的原始像素处理块执行处理期间应用用于检测和校正缺陷像素的技术时要考虑的各种图像帧边界情况;图35-37是依照一个实施例的描绘可由图33的原始像素处理块执行的用于检测和校正缺陷像素的多种处理的流程图;图38示出了依照本公开一些方面的在图33的原始像素处理逻辑执行处理期间应用绿色非均匀性校正技术时可进行内插的拜耳图像传感器的2X2像素块内的两个绿色像素的位置;图39例示了依照本公开一些方面的包括中心像素和关联的水平邻近像素在内的可被用作用于降噪的水平滤波处理的一部分的像素集合;图40例示了依照本公开一些方面的包括中心像素和关联的垂直邻近像素在内的可被用作用于降噪的垂直滤波处理的一部分的像素集合;图41是描绘了如何将去马赛克应用到原始拜耳图像模式(pattern)以产生全彩RGB图像的简化流程图;图42表示依照一个实施例的拜耳图像模式的像素集合,在该拜耳图像模式的去马赛克期间,可以从其中导出用于内插绿色值的水平和垂直能量分量;图43示出了依照本技术一些方面的水平像素集合,在拜耳图像模式的去马赛克期间,可对其应用滤波以确定内插的绿色值的水平分量;图44示出了依照本技术一些方面的垂直像素集合,在拜耳图像模式的去马赛克期间,可对其应用滤波以确定内插的绿色值的垂直分量;图45示出了依照本技术一些方面的多种3x3像素块,在拜耳图像模式的去马赛克期间,可对其应用滤波以确定内插的红色和蓝色值;图46-49提供依照一个实施例的描绘在拜耳图像模式的去马赛克期间用于内插绿色、红色和蓝色值的各种处理的流程图;图50示出了可由图像传感器捕捉的并依照此处公开的去马赛克技术的一些方面而处理的初始图像场景的有色图;图51示出了如图50所示的图像场景的拜耳图像模式的有色图;图52示出了使用传统去马赛克技术基于图51的拜耳图像模式而重构的RGB图像的有色图;图53示出了依照此处公开的去马赛克技术的一些方面从图51的拜耳图像模式重构的RGB图像的有色图;图54是示出了依照本公开一些方面的可在图32的ISP流水处理逻辑中实现的RGB处理块的一个实施例的更详细视图;图55是示出了依照本公开一些方面的可在图32的ISP流水处理逻辑中实现的YCbCr处理块的一个实施例的更详细视图;图56是依照本公开一些方面的在使用I平面格式的源缓冲器内定义的用于亮度(Iuma)和色度(chroma)的活动源区域的图解描绘;图57是依照本公开一些方面的在使用2平面格式的源缓冲器内定义的用于亮度和色度的活动源区域的图解描绘;图58是例示了依照一个实施例的可在如图55所示的YCbCr处理块中实现的图像锐化逻辑的方框图;图59是例示了依照一个实施例的可在如图55所示的YCbCr处理块中实现的边缘增强逻辑的方框图;图60是示出了依照本公开一些方面的色度衰减因子与锐化的亮度值之间的关系的图;图61是例示了依照一个实施例的可在如图55所示的YCbCr处理块中实现的图像明亮度(brightness)、对比度(contrast)和颜色(BCC)调整逻辑的方框图;以及图62示出了在如图61所示的BCC调整逻辑执行颜色调整期间可以在定义各种色相(hue)角和饱和度(saturation)值的YCbCr颜色空间中应用的色相和饱和度颜色轮(colorwheel)。具体实施例方式以下将描述本公开的一个或多个特定实施例。这些描述的实施例都仅是当前公开的技术的示例。此外,为了提供这些实施例的简明描述,可能不会在说明书中描述实际实现的全部特征。应当明了的是在任意这些实际实现的开发中,如同在任何工程或设计项目中一样,都必须做出众多特定于实现的决定以达到开发者的特定目的,例如顺从因实现的不同而变化的涉及系统的和涉及商业的限制。此外,应当明了的是这样的开发努力可能是复杂且很耗时间的,但仍然是从本公开获益的本领域技术人员的日常设计、生产和制造任务。当介绍本公开的多个实施例的要素时,冠词“a”、“an”和“the”旨在表示一个或多个要素。术语“包含”、“包括”和“具有”旨在是开放的,并且表示除了所列的要素之外还可能有额外的要素。此外,应当理解的是,对于本公开“一个实施例”或“一实施例”的提及并不旨在将其解释为排除同样具有所列举的特征的其他实施例的存在。如以下将要描述的,本公开一般涉及用于处理经由一个或多个图像感测设备获取的图像数据的技术。具体而言,本公开的特定方面可以涉及用于检测和校正缺陷像素的技术,用于对原始图像模式进行去马赛克的技术,用于使用多尺度虚光蒙版来锐化亮度图像的技术,以及用于应用镜头明暗增益以校正镜头明暗不规则的技术。此外,应当理解的是这里公开的技术可被应用到静态图像和运动图像(例如视频)这两者,并且可被用于任何合适类型的成像应用,例如数码相机、具有集成数码相机的电子设备、安全或视频监视系统、医疗成像系统等等。留意以上要点,图I是例示电子设备10的一个示例的方框图,所述电子设备10可以提供使用以上简单提及的一个或多个图像处理技术对图像数据进行的处理。电子设备10可以是任何类型的电子设备,例如膝上或桌上型计算机、移动电话、数字媒体播放器等等,其被配置为接收和处理图像数据,例如使用一个或多个图像感测部件获取的数据。仅作为示例,电子设备10可以是便携式电子设备,例如可从加利福尼亚州库比蒂诺的苹果公司获得的iPod或iPhone⑩的模型。此外,电子设备ο可以是桌上或膝上型计算机,例如可从苹果公司获得的MaeBook、MaeBookPro、MacB00kAir,ilMac、MacMini或MacPro的模型。在另外的实施例中,电子设备10还可以是来自其他制造商的能够获取并处理图像数据的电子设备的模型。无关其形式(例如便携式或非便携式),应当理解的是电子设备10可以提供使用以上简要讨论的一个或多个图像处理技术对图像数据进行的处理,这些技术可包括缺陷像素校正和/或检测技术、镜头明暗校正技术、去马赛克技术、或图像锐化技术,等等。在某些实施例中,电子设备10可将这样的图像处理技术应用到存储在电子设备10的存储器中的图像数据。在其他实施例中,电子设备10可包括一个或多个被配置为获得图像数据的成像设备,例如集成的或外置的数码相机,于是电子设备10可使用一个或多个以上提及的图像处理技术来处理这些图像数据。以下将在图3-6中进一步讨论示出电子设备10的便携式和非便携式实施例的实施例。如图I所示,电子设备10可包括各种用于实现设备10的功能的内置和/或外置部件。本领域技术人员可以理解如图I所示的各种功能块可包括硬件要素(包括电路)、软件要素(包括存储在计算机可读介质上的计算机代码)或硬件和软件要素这两者的组合。例如,在当前所不的实施例中,电子设备10可包括输入/输出(I/O)端口12、输入结构14、一个或多个处理器16、存储器设备18、非易失性存储器20、(一个或多个)扩展卡22、联网设备24、电源26和显示器28。此外,电子设备10可包括一个或多个成像设备30(例如数码相机)以及图像处理电路32。如下所要进一步讨论的,图像处理电路32可被配置为在处理图像数据时执行一个或多个以上讨论的图像处理技术。可以明了的是,可以从存储器18和/或非易失性存储设备20检索或者可以使用成像设备30获得供图像处理电路32处理的图像数据。在继续之前,应当理解的是如图I所示的设备10的系统方框图旨在表示描述可能包括在该设备10中的各部件的高级控制框图。也就是说,在如图I所示的每个独立元件之间的连接线并不是一定表示在设备10的各部件之间的数据流动或传输的路径或方向。实际上,如下所讨论的,在某些实施例中,描绘的(一个或多个)处理器16可以包括多个处理器,例如主处理器(例如CPU)和专用图像和/或视频处理器。在这样的实施例中,可主要由这些专用处理器来执行对图像数据的处理,有效地使得主处理器(CPU)免于装载这样的任务。关于图I所示的每个元件,I/O端口12可包括被配置为连接多种外置设备的端口,这些外置设备例如是电源、音频输出设备(例如耳机或头戴受话器)、或其他电子设备(例如手持设备和/或计算机、打印机、投影仪、外置显示器、调制解调器、坞站(dockingstation)等等)。在一个实施例中,I/O端口12可被配置为连接到外置成像设备,例如数码相机,用以获取可使用图像处理电路32处理的图像数据。I/O端口12可以支持任何适合类型的接口,例如通用串行总线(USB)端口、串行连接端口、IEEE-1394(FireWire)端口、以太网或调制解调器端口、和/或AC/DC电源连接端口。在某些实施例中,特定的I/O端口12可被配置为提供多于一种功能。例如,在一个实施例中,I/O端口12可包括苹果公司专有的端口,其功能不仅在于方便在电子设备10和外部源之间进行数据传输,还将设备10耦合到电源充电接口,例如被设计为从墙壁插座提供电力的电源适配器,或者耦合到被配置为从诸如桌上或膝上型计算机的另一个电子设备吸取电力以用于对电源26(其可包括一个或多个可充电电池)进行充电的接口电缆。以此方式,例如,取决于通过I/O端口12被耦合到设备10的外置元件,I/O端口12可被配置为具有数据传输端口和AC/DC电源连接端口的双重功能。输入结构14可向(一个或多个)处理器16提供用户输入或反馈。例如,输入结构14可被配置为控制电子设备10的一个或多个功能,例如在电子设备10中运行的应用。仅作为示例,输入结构14可包括按钮、滑块、开关、控制板、按键、旋钮、滚轮、键盘、鼠标、触摸板等,或以上这些的某些组合。在一个实施例中,输入结构14可以允许用户导航在设备10上显示的图形用户界面(⑶I)。此外,输入结构14可包括与显示器28—起提供的触摸敏感机构。在这些实施例中,用户可通过触摸敏感机构来选择所显示的界面元素或与之交互。输入结构14可包括多种设备、电路和路径,通过这些将用户的输入或反馈提供给一个或多个处理器16。这样的输入结构14可被配置为控制设备10的功能、在设备10上运行的应用和/或连接到电子设备10或被电子设备10使用的任何接口或设备。例如,输入结构14可允许用户导航显示的用户界面或应用界面。输入结构14的示例可包括按钮、滑块、开关、控制板、按键、旋钮、滚轮、键盘、鼠标、触摸板等等。在特定实施例中,输入结构14和显示器28可被一并提供,例如“触摸屏”的情况,籍此与显示器28—并提供触摸敏感机构。在这样的实施例中,用户可通过触摸敏感机构来选择所显示的界面元素或与之交互。以此方式,显示的界面可提供交互功能,允许用户通过触摸显示器28来导航显示的界面。例如,利用输入结构14进行的用户交互,例如与用户交互或与显示在显示器28上的应用界面交互,可生成指示用户输入的电信号。这些输入信号可以通过合适的路径(例如输入集线器或数据总线)被路由到一个或多个处理器16以做进一步处理。除了处理通过(一个或多个)输入结构14接收到的各种输入信号之外,(一个或多个)处理器16还控制设备10的一般操作。例如,处理器16可提供处理能力以运行操作系统、程序、用户和应用界面、以及电子设备10的任何其他功能。(一个或多个)处理器16可包括一个或多个微处理器,例如一个或多个“通用”微处理器、一个或多个专用微处理器和/或特定于应用的微处理器(ASIC)、或这些处理部件的组合。例如,(一个或多个)处理器16可包括一个或多个指令集(例如RISC)处理器,以及图形处理器(GPU)、视频处理器、音频处理器和/或相关芯片组。将明了的是,(一个或多个)处理器16可耦合到一个或多个用于在设备10的各个部件之间传输数据和指令的数据总线。在特定实施例中,(一个或多个)处理器16可提供处理能力以在电子设备10中运行成像应用,例如可从苹果公司获得的PhotoBooth、Aperture⑩、iPhoto或Preview,或由苹果公司提供的“相机”和/或“照片”应用,这些都是iPhone的模型上可用的。将由(一个或多个)处理器16处理的指令或数据可被存储在计算机可读介质中,例如存储器设备18中。存储器设备18可以被提供为易失性存储器,例如随机存取存储器(RAM),或非易失性存储器,例如只读存储器(R0M),或一个或多个RAM和ROM设备的组合。存储器18可存储多种信息并被用于各种用途。例如,存储器18可存储用于电子设备10的固件,例如基本输入/输出系统(BIOS)、操作系统、各种程序、应用或可在电子设备10中上运行的任何其他例程,包括用户界面功能、处理器功能等等。此外,在电子设备10的操作期间,存储器18可被用来缓冲或高速缓存。例如,在一个实施例中,存储器18包括一个或多个帧缓冲器,用以缓冲要被输出到显示器28的视频数据。除了存储器设备18,电子设备10还可包括非易失性存储器20以用于持久存储数据和/或指令。非易失性存储器20可以包括闪存、硬盘驱动器或任何其他光学、磁和/或固态存储介质,或以上这些的组合。因此,尽管为了清楚的目的只在图I中描绘了单个设备,但是应当理解的是(一个或多个)非易失性存储器20可以包括一个或多个以上列出的与(一个或多个)处理器16—起操作的存储设备的组合。非易失性存储器20可被用来存储固件、数据文件、图像数据、软件程序和应用、无线连接信息、个人信息、用户偏好和任何其他合适的数据。依照本公开一些方面,在输出到显示器之前,可通过图像处理电路32来处理存储在非易失性存储器20和/或存储器设备18中的图像数据。如图I所示的实施例还可包括一个或多个卡槽或扩展槽。卡槽可被配置为接收扩展卡22,其可被用于增加电子设备10的功能,例如额外的存储器、1/0功能或联网能力。这样的扩展卡22可通过任何类型的合适连接器被连接到设备上,并且可以相对于电子设备10的壳体而被内部地或外部地访问。例如,在一个实施例中,扩展卡22可以是闪存卡,例如安全数字(SD)卡、迷你或微SD、紧凑闪存卡等,或者可以是PCMCIA设备。此外,对于提供移动电话能力的电子设备10的实施例,扩展卡22可以是订户标识模块(SIM)卡。电子设备10还包括网络设备24,其可以是通过无线802.11标准或任何其他合适的联网标准(例如局域网(LAN)、广域网(WAN),例如GSM演进的增强数据率(EDGE)网络、3G数据网络或因特网)而提供网络连接的网络控制器或网络接口卡(NIC)。在特定实施例中,网络设备24可以提供至在线数字媒体内容提供商(例如可从苹果公司获得的ITunesiii:)音乐服务)的连接。设备10的电源26可包括在非便携和便携设置下向设备10供电的能力。例如,在便携设置下,设备10可包括一个或多个用于向设备10供电的电池,例如锂离子电池。可以通过将设备10连接到外部电源(例如墙壁插座)来对电池重新充电。在非便携设置下,电源26可包括供电单元(PSU),其被配置为从墙壁插座取得电力,并将所述电力分配给非便携电子设备(例如桌上型计算系统)的各个部件。显示器28可被用于显示由设备10生成的各种图像,例如用于操作系统的⑶I,或由图像处理电路32处理的图像数据(包括静止图像和视频数据),以下将对其进行进一步讨论。如上所述,图像数据可包括使用成像设备30获取的图像数据或从存储器18和/或非易失性存储器20检索出的图像数据。显示器28可以是任何合适类型的显示器,例如液晶显示器(IXD)、等离子显示器或有机发光二极管(OLED)显示器。此外,如上所讨论的,显示器28可以具有可作为电子设备10的控制界面的一部分的、如上所述的触摸敏感机构(例如触摸屏)。所例示的(一个或多个)成像设备30还可被提供为被配置以获取静态图像和运动图像(例如视频)的数码相机的形式。相机30可包括镜头和一个或多个被配置为捕捉光并将光转换为电信号的图像传感器。仅作为示例,图像传感器可包括CMOS图像传感器(例如CMOS有源像素传感器(APS))或CXD(电荷耦合器件)传感器。一般来说,相机30中的图像传感器包括具有像素阵列的集成电路,其中每个像素包括一个用于感测光的光电检测器。本领域技术人员应当明了,成像像素中的光电检测器一般检测通过相机镜头捕捉的光的强度。然而,光电检测器一般无法自己检测所捕捉的光的波长,因此,无法确定颜色信息。因此,图像传感器可进一步包括滤色器阵列(CFA),其可覆盖图像传感器的像素阵列或被置于像素阵列之上,以捕捉颜色信息。滤色器阵列可包括小型滤色器的阵列,每一个小型滤色器可以覆盖图像传感器的一个相应像素,并且按波长对捕捉的光进行滤波。因此,当一并使用时,滤色器阵列和光电检测器可提供关于通过相机所获得的光的波长和强度信息,这可以表示所捕捉的图像。在一个实施例中,滤色器阵列可包括拜耳滤色器阵列,其提供50%绿色元素,25%红色元素和25%蓝色元素的滤波器模式。例如,图2示出了包括2个绿色元素(Gr和Gb),I个红色元素(R)和I个蓝色元素(B)的拜耳CFA的2X2像素块。因此,利用拜耳滤色器阵列的图像传感器可提供关于相机30在绿色、红色和蓝色波长处接收到的光的强度的信息,由此每个图像像素仅记录三种颜色(RGB)之一。被称为“原始图像数据”或“原始域”中的数据的这一信息随后被使用一种或多种去马赛克技术进行处理,由此将原始图像数据转换为全彩图像,这一般是通过为每个像素内插一组红色、绿色和蓝色值而实现的。如以下将描述的那样,可由图像处理电路32来执行这样的去马赛克技术。如上所述,图像处理电路32可提供各种图像处理步骤,例如缺陷像素检测/校正、镜头明暗校正、去马赛克、以及图像锐化、降噪、伽马校正、图像增强、颜色空间变换、图像压缩、色度亚采样和图像缩放操作等等。在一些实施例中,图像处理电路32可包括多个子部件和/或离散的逻辑单元,其集合地形成用于执行各个图像处理步骤中的每一个步骤的图像处理“流水线”。可以使用硬件(例如数字信号处理器或ASIC)或软件,或通过硬件和软件部件的组合来实现这些子部件。以下将更加详细的描述可由图像处理电路32提供的各种图像处理操作,尤其是涉及缺陷像素检测/校正、镜头明暗校正、去马赛克和图像锐化的那些处理操作。在继续之前,应当注意的是虽然以下所讨论的各种图像处理技术的多个实施例可以利用拜耳CFA,但是当前公开的技术并不限于此。实际上,本领域技术人员将明了此处提供的图像处理技术可适用于任何适合类型的滤色器阵列,包括RGBW滤色器、CYGM滤色器坐寸ο再次参考电子设备10,图3-6例示了电子设备10可采用的各种形式。如上所述,电子设备10可采用计算机的形式,包括通常便携的计算机(例如膝上型、笔记本和平板计算机)以及通常不便携的计算机(例如桌上型计算机、工作站和/或服务器),或其他类型的电子设备,例如手持便携电子设备(例如数字媒体播放器或移动电话)。具体而言,图3和图4分别描绘了膝上型计算机40形式和桌上型计算机50形式的电子设备10。图5和图6分别示出了手持便携设备60形式的电子设备10的前视图和后视图。如图3所示,描绘的膝上型计算机40包括壳体42、显示器28、1/0端口12和输入结构14。输入结构14可包括与壳体42集成的键盘和触摸板鼠标。此外,输入结构14可包括多种可用于与计算机40交互(例如给计算机加电或启动计算机)的其他按钮和/或开关,以操作⑶I或在计算机40中运行的应用,以及调整多种涉及计算机40操作的其他方面(例如音量、显示器亮度等)。计算机40还可包括提供至其他设备的连接的多种I/O端口12,如上所述,例如FireWire或usb端口、高清多媒体接口(hdmi)端口或任何其他类型的适于连接到外部设备的端口。此外,计算机40可包括如以上图I所示的网络连接(例如网络设备26)、存储器(例如存储器20)和存储能力(例如存储设备22)。另外,在所示的实施例中,膝上型计算机40可包括集成的成像设备30(例如相机)。在另一个实施例中,膝上型计算机40可利用连接到一个或多个I/O端口12的外置相机(例如外置USB相机或“摄像头”)以作为集成相机30的替代或附加。例如,外置相机可以是可从苹果公司得到的iSight相机。不管集成的还是外置的,相机30可以提供图像的捕捉和记录。接着这些图像可由用户使用图像观看应用来观看,或者可以被其他应用来使用,包括视频会议应用,例如iChat,以及图像编辑/观看应用,例如可从苹果公司得到的PhotoBooth、Apertiire^,丨恥或Preview#。在特定实施例中,所描绘的膝上型计算机40可以是可从苹果公司获得的MaeBook、MacBook(H)Pro、MacBookAir或PowerBook的模型。此外,在一个实施例中,计算机40可以是便携式平板计算设备,例如同样可从苹果公司获得的iPad平板计算机的模型。图4进一步例示了电子设备10被提供作为桌上型计算机50的一个实施例。将明了的是,桌上型计算机50可包括多种与由图4所示的膝上型计算机40提供的大致类似的特征,但是也可能具有通常更大的整体形状。如图所示,桌上型计算机50可被装入包括显示器28和如图I所示的方框图中所讨论的各种其他部件的外壳42中。另外,桌上型计算机50可包括通过一个或多个1/0端口(例如USB)耦合至该计算机50的、或能够与该计算机50无线通信(例如通过RF、蓝牙等)的外置键盘和鼠标(输入结构14)。如上所述,桌上型计算机50还可包括可以是集成的或外置相机的成像设备30。在特定实施例中,所描绘的桌上型计算机50可以是可从苹果公司获得的iMae、Macmini或MacPro的模型。如进一步所示,显示器28可被配置为生成可被用户观看的各种图像。例如,在计算机50的操作期间,显示器28可显示图形用户界面(“⑶1”)52以允许用户与在计算机50中运行的操作系统和/或应用进行交互。⑶152可包括各种层、窗口、屏幕、模板或可在整个或部分显示设备28上显示的其他图形元素。例如,在所描绘的实施例中,操作系统GUI52可包括各种图形图标54,每一种图标可对应于可基于检测到用户的选择(例如通过键盘/鼠标或触摸屏输入)被打开或执行的各种应用。图标54可被显示在停靠栏56中或在屏幕上显不的一个或多个图形窗口兀素58内。在一些实施例中,对图标54的选择可导致分级导航处理,使得对图标54的选择导致一个屏幕或打开另一个包括一个或多个附加图标或其他⑶I元素的图形窗口。仅作为示例,图4显示的操作系统GUI52可以是来自可从苹果公司获得的MacOS操作系统的一个版本。继续至图5和6,电子设备10进一步被例示为便携手持电子设备60的形式,其可以是可从苹果公司获得的iPod或iPhone的模型。在所描绘的实施例中,手持设备60包括外壳42,其可以起到保护内部部件免于物理损伤同时屏蔽电磁干扰的作用。外壳42可由任何合适的材料或这些材料的组合来形成,例如塑料、金属或复合材料,并且能够允许特定频率的电磁辐射(例如无线联网信号)穿透以到达如图5所示的可置于外壳42内的无线通信电路(例如网络设备24)。外壳42还包括各种用户输入结构14,通过这些输入结构14用户可与手持设备60交互。例如,每个输入结构14可被配置为在被按压或启动时控制一个或多个相应的设备功能。作为示例,一个或多个输入结构14可被配置为调用“home”屏幕(主屏幕)42或菜单以便显示,被配置为在睡眠、唤醒或开机/关机模式之间切换,被配置为使蜂窝电话应用的铃声静音,被配置为增加或减小音量输出等等。应当理解的是所例示的输入结构14仅是示例性的,并且手持设备60可包括任意数量的合适的用户输入结构,其可以具有各种形式,包括按钮、开关、按键、旋钮、滚轮等等。如图5所示,手持设备60可包括各种I/O端口12。例如,所描绘的I/O端口12可包括用于传输和接收数据文件或用于给电源26充电的专有连接端口12a,和用于将设备60连接到音频输出设备(例如头戴式耳机或扬声器)的音频连接端口12b。此外,在手持设备60提供移动电话功能的实施例中,设备60可包括用于接收订户标识模块(SIM)卡(例如扩展卡22)的I/O端口12c。显示设备28可以是IXD、OLED或任何适合类型的显示器,其可以显示由手持设备60生成的各种图像。例如,显示器28可以显示向用户提供关于手持设备60的一个或多个状态(例如电源状态、信号强度、外置设备连接等)的反馈的各种系统指示符64。参考以上图4所讨论的,显示器还可显示⑶152以允许用户与设备60交互。⑶152可以包括图形元素,例如图标54,其可以对应于基于检测到用户对相应图标54的选择而打开或执行的各种应用。作为示例,图标54之一可以表示可与相机30(如图5中的虚线所示)一并使用以获取图像的相机应用66。简单地参考图6,例示了在图5中所描绘的手持电子设备60的后视图,其示出了相机30被集成于壳体42且位于手持设备60背面。如上所述,用相机30获得的图像数据可使用图像处理电路32进行处理,所述图像处理电路32可以包括硬件(例如位于外壳42内部)和/或存储在设备60的一个或多个存储设备(例如存储器18或非易失性存储器20)中的软件。使用相机应用66和相机30获得的图像可被存储到设备60(例如在存储设备20中),并且可使用照片观看应用68在稍后观看这些图像。手持设备60还可包括各种音频输入和输出元件。例如,一般地由参考标记70所描绘的音频输入/输出元件可以包括输入接收器,例如一个或多个麦克风。例如,在手持设备60包括蜂窝电话功能的情况下,输入接收器可被配置为接收用户音频输入,例如用户语音。此外,音频输入/输出元件70可包括一个或多个输出发射器。这些输出发射器可包括一个或多个扬声器,其可以例如在使用媒体播放器应用72回放音乐数据时起到将音频信号传送给用户的作用。此外,在手持设备60包括蜂窝电话应用的实施例中,如图5所示,还可提供附加的音频输出发射器74。类似于音频输入/输出兀件70的输出发射器,输出发射器74也可包括一个或多个被配置为将音频信号(例如在电话呼叫期间接收到的语音数据)传送至用户的扬声器。因此,音频输入/输出元件70和74可联合地操作以作为电话的音频接收和发射元件。现已提供了一些关于电子设备10可采用的多种形式的背景,于是本公开将关注于图I所描绘的图像处理电路32。如上所述,图像处理电路32可使用硬件和/或软件部件来实现,并且可以包括定义图像信号处理(ISP)流水线的各种处理单元。具体而言,以下讨论会关注在本公开中阐述的图像处理技术的各方面,尤其是涉及缺陷像素检测/校正技术、镜头明暗校正技术、去马赛克技术和图像锐化技术的那些方面。现在参考图7,例示了依照当前公开的技术的一个实施例的描绘了可实现为图像处理电路32的一部分的多个功能性部件的简化顶层方框图。具体地,图7旨在依照至少一个实施例来例示图像数据可如何流过图像处理电路32。为了提供对图像处理电路32的一般概观,这里参考图7提供了这些功能性部件如何操作以处理图像数据的一般描述,同时,后面将进一步提供所示的功能性部件的每一个及其各自的子部件的更具体的描述。参考所示的实施例,图像处理电路32可包括图像信号处理(ISP)前端处理逻辑80、ISP流水处理逻辑82和控制逻辑84。由成像设备30捕捉的图像数据首先由ISP前端逻辑80处理,并对其进行分析以获得可被用于确定ISP流水逻辑82和/或成像设备30的一个或多个控制参数的图像统计信息。ISP前端逻辑80可被配置为从图像传感器输入信号获得图像数据。例如,如图7所示,成像设备30可包括具有一个或多个镜头88和(一个或多个)图像传感器90的相机。如上所述,(一个或多个)图像传感器90可以包括滤色器阵列(例如拜耳滤波器),并且因此可以提供由图像传感器90的每个成像像素获得的光强和波长信息,从而提供可由ISP前端逻辑80处理的一组原始图像数据。例如,成像设备30的输出92可由传感器接口94接收,随后例如基于传感器接口类型,传感器接口94可将原始图像数据96提供给ISP前端逻辑80。作为示例,传感器接口94可利用标准移动成像架构(SMIA)接口或移动工业处理器接口(MIPI),或它们的某些组合。在特定实施例中,ISP前端逻辑80可在其自身的时钟域内操作,并且可以向传感器接口94提供异步接口以支持具有不同大小和定时需求的图像传感器。原始图像数据96可被提供给ISP前端逻辑80,并以多种格式被逐像素地处理。例如,每个图像像素可具有8,10,12或14位的位深。ISP前端逻辑80可对原始图像数据96执行一个或多个图像处理操作,并收集关于图像数据96的统计数据。可以以相同的或不同的位深精度来执行图像处理操作和统计数据的收集。例如,在一个实施例中,可以以14位精度来执行原始图像像素数据96的处理。在这些实施例中,由ISP前端逻辑80接收到的具有小于14位(例如8位,10位,12位)位深的原始像素数据被上采样至14位以用于图像处理目的。在另一个实施例中,可以以8位精度进行统计处理,因此具有更高位深的原始像素数据可被下采样至8位格式用以统计目的。可以明了的是,下采样至8位可降低硬件大小(例如面积)并且还能减少用于统计数据的处理/计算复杂度。此外,原始图像数据可被空间平均以允许统计数据对噪声更为鲁棒。此外,如图7所示,ISP前端逻辑80还可从存储器108接收像素数据。例如,如参考标记98所示,原始像素数据可从传感器接口94被发送到存储器108。如参考标记100所示,驻留在存储器108中的原始像素数据随后可被提供给ISP前端逻辑80以供处理。存储器108可以是存储设备20、存储器设备18的一部分,或者可以是电子设备10内的单独的专用存储器并且可包括直接存储器访问(DMA)特征。此外,在特定实施例中,ISP前端逻辑80可在其本身的时钟域内操作,并且向传感器接口94提供异步接口以支持不同大小并且具有不同定时需求的传感器。一旦接收到原始图像数据96(从传感器接口94)或100(从存储器108),ISP前端逻辑80可以执行一个或多个图像处理操作,例如时域滤波和/或像素合并补偿滤波。经处理的图像数据随后可被提供给ISP流水逻辑82(输出信号109)以便在被显示(例如在显示设备28上)之前进行其他处理,或者可被发送到存储器(输出信号110)。ISP流水逻辑82直接从ISP前端逻辑80或者从存储器108(输入信号112)接收“前端”经处理的数据,并且提供对原始域中以及RGB和YCbCr颜色空间中的图像数据的其他处理。由ISP流水逻辑82处理后的图像数据随后可被输出(信号114)到显示器28以供用户观看和/或可由图形引擎或GUP进行进一步处理。此外,ISP流水逻辑82的输出可被发送到存储器108(信号115),并且显示器28可从在特定实施例中被配置为实现一个或多个帧缓冲器的存储器108(信号116)读取图像数据。此外,在一些实施方式中,ISP流水逻辑82的输出还可被提供给压缩/解压缩引擎118(信号117)以用于编码/解码图像数据。经编码的图像数据可被存储,并在随后在被显示在显示器28设备上(信号119)之前进行解压缩。作为示例,压缩引擎或“编码器”118可以是用于编码静态图像的JPEG压缩引擎,或用于编码视频图像的H.264压缩引擎,或它们的组合,用于解码图像数据的相应的解压缩引擎也是如此。后面将参考图32-62来更加详细的讨论可在ISP流水逻辑82中提供的关于图像处理操作的附加信息。同样的,应当注意的是ISP流水逻辑82还可从存储器108接收原始图像数据,其被描述为输入信号112。由ISP前端逻辑80确定的统计数据102可被提供给控制逻辑单元84。统计数据102可包括,例如关于自动曝光、自动白平衡、自动对焦、闪烁检测、黑度补偿(BLC)、镜头明暗校正等的图像传感器统计信息。控制逻辑84可包括处理器和/或微控制器,其被配置为执行一个或多个例程(例如固件),所述例程可被配置为基于接收到的统计数据102来确定用于成像设备30的控制参数104和用于ISP流水处理逻辑82的控制参数106。仅作为示例,控制参数104可包括传感器控制参数(例如增益、曝光控制的累积时间)、相机闪光灯控制参数、镜头控制参数(例如对焦的对焦长度或变焦的焦距)或这些参数的组合。ISP控制参数106可包括用于自动白平衡和颜色调整(例如在RGB处理期间)的增益等级和颜色校正矩阵(CCM)系数,以及如下所讨论的可基于白点平衡参数而确定的镜头明暗校正参数。在一些实施例中,除了分析统计数据102之外,控制逻辑84还可分析可存储在电子设备10上(例如存储器18或存储器20内)的历史统计信息。由于此处所示的图像处理电路32的总体复杂设计,如下所示,将关于ISP前端逻辑80和ISP流水处理逻辑82的讨论划分为单独的部分会是有益的。具体而言,本申请的图8至31可涉及ISP前端逻辑80的多个实施例和各方面的讨论,而本申请的图32至62可涉及ISP流水处理逻辑82的多个实施例和各方面的讨论。ISP前端处理逻辑图8是示出了依照一个实施例的可在ISP前端逻辑80中实现的功能性逻辑块的更详细方框图。基于成像设备30和/或传感器接94的构造,如图7所示,可由一个或多个图像传感器90将原始图像数据提供给ISP前端逻辑80。在所描绘的实施例中,可通过第一图像传感器90a(传感器0)和第二图像传感器90b(传感器I)将原始图像数据提供给ISP前端逻辑80。如图所示,图像传感器90a和90b可分别提供原始图像数据作为信号SifO和Sifl0图像传感器90a和90b中的每一个可与相应的统计处理单元120和122相关联。进一步地,应当注意,原始图像数据SifO和Sifl可直接提供给它们相应的处理单元120和122,或者可以存储在或写入存储器108中并随后分别作为信号SifInO和SifInl被检索。因而,ISP前端逻辑80可包括选择逻辑124,选择逻辑124可以向统计处理单元120提供表示由传感器0(90a)捕捉的原始图像数据的SifO或SifInO信号,并且,ISP前端逻辑80还可以包括选择逻辑126,选择逻辑126可以向统计处理单元122提供表示由传感器I(90b)捕捉的原始图像数据的Sifl或SifInl信号。每一个统计处理单元120和122可确定通过分析原始图像传感器数据所获得的各种统计数据,并且可以确定相应的统计信息集合,如输出信号StatsO和Statsl所示。如上所述,统计数据(StatsO和Statsl)可被提供给控制逻辑84以用于各控制参数的确定,这些控制参数可被用于操作成像设备30和/或ISP流水处理逻辑82。除了统计处理单元120和122,ISP前端逻辑80可进一步包括像素处理单元130。像素处理单元130可逐像素地对原始图像数据执行各种图像处理操作。如所示的,通过选择逻辑132,像素处理单元130可接收原始图像信号SifO(来自传感器0)或Sifl(来自传感器1),或者可以接收来自存储器108的原始图像数据FEProcIn。如同可以明了的,可由任何适合类型的逻辑来提供图8所示的选择逻辑块(120、122和132),例如响应于控制信号而选择多个输入信号中的一个的多路复用器。在执行以下将进一步讨论的像素处理操作时,FEPrOC130还可接收和输出多种信号(例如可表示在时域滤波期间使用的运动历史和亮度数据的Rin、Hin、Hout和Yout)。然后,像素处理单元130的输出109(FEProcOut)可诸如通过一个或多个先进先出(FIFO)队列被转发到ISP流水逻辑82,或者可被发送到存储器108。在继续图8的ISP前端逻辑80中描绘的统计处理和像素处理操作的更详细描述之前,相信关于各种ISP帧区域的定义的简要介绍会有助于更好的理解本技术方案。带着这样的想法,图9例示了在图像源帧内定义的各种帧区域。提供给图像处理电路32的源帧的格式可以使用以上所述的分块或线性寻址模式,并且可利用8、10、12或14位精度的像素格式。如图9所示的图像源帧150可包括传感器帧区域152、原始帧区域154和活动区域156。传感器巾贞152一般是图像传感器90可以提供给图像处理电路32的最大巾贞大小。原始帧区域154可被定义为传感器帧152的被发送到ISP前端处理逻辑80的区域。活动区域256可被定义为源帧150的一部分,其是典型地位于原始帧区域156内并对其进行具体图像处理操作的那部分。依照本技术的实施例,对于不同的图像处理操作,活动区域156可以相同或不同。依照本技术的一些方面,ISP前端逻辑80仅接收原始帧154。因此,出于本讨论的目的,用于ISP前端处理逻辑80的全局巾贞大小可假设为由宽158和高160确定的原始巾贞大小。在一些实施例中,可以通过控制逻辑84确定和/或保存从传感器帧152到原始帧154的边界偏移量。例如,控制逻辑84可包括基于输入参数来确定原始帧区域154的固件,所述输入参数诸如是所指定的相对于传感器巾贞152的X偏移量162和y偏移量164。此外,在一些情况下,在ISP前端逻辑80或ISP流水逻辑82内的处理单元可具有预定义的活动区域,使得在原始帧内但在活动区域156外的像素将不被处理,即,保持不变。例如,可基于相对于原始帧154的X偏移量170和y偏移量172来定义用于具体处理单元的具有宽166和高168的活动区域156。此外,对于活动区域没有被具体定义的情况,图像处理电路32的一个实施例可以假设活动区域156与原始帧154相同(例如X偏移量170和y偏移量172都等于O)。因此,为了对图像数据进行图像处理操作,关于原始帧154或活动区域156的边界,可以定义边界条件。带着这样的想法并参考图10,例示了依照本技术一个实施例的ISP前端像素处理逻辑130(之前在图8中讨论了)的更详细视图。如图所示,ISP前端像素处理逻辑130包括时域滤波器180和像素合并补偿滤波器182。时域滤波器180可接收输入图像信号SifO、Sifl或FEProcIn中的一个,并且可在执行任何附加处理之前对原始像素数据进行操作。例如,时域滤波器180可首先处理图像数据以通过在时间方向上对图像帧进行平均而降低噪声。时域滤波器180可以是基于运动和明亮度特征而像素自适应的。例如,当像素运动较大时,可降低滤波强度以避免得到的经处理的图像中出现“拖尾”或“重影伪像”,反之当检测到轻微运动或无运动时,可增加滤波强度。此外,还可基于明亮度数据(例如“亮度”)来调整滤波强度。例如,随着图像明亮度增加,滤波伪影变得更容易被人眼察觉。因此,当像素具有较高明亮度水平时应当进一步降低滤波强度。在应用时域滤波时,时域滤波器180可接收可来自于前一经滤波的帧或初始帧的参考像素数据(Rin)和运动历史输入数据(Hin)。使用这些参数,时域滤波器180可提供运动历史输出数据(Hout)和经滤波的像素输出(Yout)。接着经滤波的像素输出Yout被传递到像素合并补偿滤波器182,后者可被配置为对经滤波的像素输出数据Yout执行一个或多个缩放操作以产生输出信号FEProcOut。接着,经处理的像素数据FEProcOut可被转发至如上所述的ISP流水处理逻辑82。参考图11,例示了根据第一实施例描绘的可由图10所示的时域滤波器执行的时域滤波处理190的处理框图。时域滤波器180可包括2抽头滤波器,其中滤波器系数可至少部分基于运动和明亮度数据而逐像素地进行自适应调整。例如,可将具有表示时间值的变量“t”的输入像素x(t)与在前一经滤波的帧或前一初始帧中的参考像素r(t-l)作比较,以生成在可包含滤波器系数的运动历史表(M)192中的运动索引查找。此外,基于运动历史输入数据h(t-Ι),可以确定对应于当前输入像素X(t)的运动历史输出h(t)。可基于运动增量d(j,i,t)来确定运动历史输出h(t)和滤波器系数K,其中(j,i)表示当前像素x(j,i,t)的空间位置的坐标。可通过确定对于具有相同颜色的水平方向同位置的三个像素的初始和参考像素之间的三个绝对增量的最大值来计算运动增量d(j,i,t)。例如,简单参考图12,例示了对应于初始输入像素206、208和210的三个同位置参考像素200、202和204的空间位置。在一个实施例中,可使用以下的公式基于这些初始和参考像素来计算运动增量d(j,i,t)=max3[abs(x(j,i~2,t)~r(j,i~2,t_l)),(abs(x(j,i,t)-r(j,i,t-1)),(la)(abs(x(j,i+2,t)-r(j,i+2,t-1))]在以下图14中进一步例示了描绘这一用于确定运动增量值的技术的流程图。此夕卜,应当理解的是如以上等式Ia(以及以下图14中)所示的用于计算运动增量值的技术仅旨在提供一个用于确定运动增量值的实施例。在其他实施例中,可以估计相同颜色像素的阵列以确定运动增量值。例如,除了等式Ia中提到的三个像素外,一个用于确定运动增量值的实施例还可以包括估计来自参考像素206、208和210上两行(例如j-2;假设为拜耳模式)的相同颜色的像素与其对应的同位置像素之间的绝对增量,以及来自参考像素206、208和210下两行(例如j+2;假设为拜耳模式)的该相同颜色的像素与其对应的同位置像素之间的绝对增量。例如,在一个实施例中,运动增量值可如下表示d(j,i,t)=max9[abs(x(j,i~2,t)~r(j,i~2,t_l)),(abs(x(j,i,t)-r(j,i,t-1)),(abs(x(j,i+2,t)-r(j,i+2,t-1)),(abs(x(j_2,i~2,t)_r(j_2,i~2,t_l)),(abs(x(j_2,i,t)-r(j-2,i,t-1)),(lb)(abs(x(j_2,i+2,t)_r(j_2,i+2,t_l)),(abs(x(j+2,i~2,t)_r(j+2,i~2,t_l))(abs(x(j+2,i,t)-r(j+2,i,t-1)),(abs(x(j+2,i+2,t)~r(j+2,i+2,t_l))]从而,在由等式Ib所描绘的实施例中,可通过比较相同颜色像素的3x3阵列之间的绝对增量来确定运动增量值,其中当前像素(208)位于该3x3阵列(例如,如果算上不同颜色的像素,实际上是拜耳颜色模式的5x5阵列)的中心。应当明了的是,可以分析其中当前像素(例如208)位于阵列中心的任何合适的相同颜色像素的二维阵列(例如,包括所有像素在同一行中的阵列(例如等式Ia)或所有像素在同一列中的阵列)以确定运动增量值。此夕卜,虽然运动增量值可被确定为绝对增量的最大值(例如,如等式Ia和Ib所示),但是在其他实施例中,运动增量值可被选择为绝对增量的平均值或中位值。此外,前述技术还可被应用于其他类型的滤色器阵列(例如RGBW,CYGM等),并非旨在为拜耳模式所独有。参考回图11,一旦确定了运动增量值,可以通过将用于当前像素(例如在空间位置(j,i))的运动增量d(t)与运动历史输入h(t-l)相加来计算可被用来从运动表(M)192中选择滤波器系数K的运动索引查找。例如,可通过以下等式来确定滤波器系数K:K=M[d(j,i,t)+h(j,i,t-1)](2a)此外,可使用以下公式来确定运动历史输出h(t)h(j,i,t)=d(j,i,t)+(I-K)Xh(j,i,t~l)(3a)接着,可以使用当前输入像素x(t)的明亮度来生成亮度表(L)194内的亮度索引查找。在一个实施例中,亮度表可包括可位于0和I之间且可基于亮度索引而被选择的衰减因子。可通过将第一滤波器系数K乘上亮度衰减因子来计算第二滤波器系数K’,如以下等式所示K'=KXL[x(j,i,t)](4a)所确定的值K’随后可被用作时域滤波器180的滤波系数。如上所述,时域滤波器180可以是2抽头滤波器。此外,时域滤波器180可被配置为使用前一经滤波的帧的无限冲激响应(IIR)滤波器,或使用前一初始帧的有限冲激响应(FIR)滤波器。时域滤波器180可以使用当前输入像素x(t)、参考像素r(t-l)和滤波器系数K’通过以下公式来计算经滤波的输出像素y(t)(Yout)y(j,i,t)=r(j,i,t~l)+K'(x(j,i,t)~r(j,i,t~l))(5a)如上所讨论的,可逐像素地执行如图11所示的时域滤波处理190。在一个实施例中,可以对于所有颜色分量(例如R、G和B)使用相同的运动表M和亮度表L。此外,一些实施例可提供旁路机制,其中可以例如响应于来自控制逻辑84的控制信号而旁路时域滤波。此外,如以下将关于图16和17所讨论的,时域滤波器180的一个实施例可以为图像数据的每个颜色分量使用单独的运动和亮度表。参考图13可以更好的理解参考图11和12所描述的时域滤波技术的实施例,其中图13描绘了例示依照上述实施例的方法214的流程图。方法214开始于步骤216,其中时域滤波系统190接收位于图像数据的当前帧的空间位置(j,i)的当前像素x(t)。在步骤218,至少部分地基于来自图像数据的前一帧(例如紧挨在当前帧之前的图像帧)的一个或多个同位置的参考像素(例如Ht-I))来确定用于当前像素x(t)的运动增量值d(t)。以下将参考图14来进一步说明在步骤218中用于确定运动增量值d(t)的技术,其可依照上述的等式Ia而执行。一旦从步骤218获得了运动增量值d(t),如步骤220所示,可使用运动增量值d(t)和来自前一帧的对应于空间位置(j,i)的运动历史输入值h(t-l)来确定运动表查找索引。此外,尽管未示出,一旦知道了运动增量值d(t),在步骤220中还可以例如通过使用上述的等式3a来确定对应于当前像素x(t)的运动历史值h(t)。此后,在步骤222,可使用来自步骤220的运动表查找索引从运动表192中选择第一滤波器系数K。可以依照上述的等式2a来执行运动表查找索引的确定和从运动表中对第一滤波器系数K的选择。接着,在步骤224,可以从亮度表194中选择衰减因子。例如,亮度表194可包括范围大致从O至I的衰减因子,并且可以使用当前像素x(t)的值作为查找索引来从亮度表194中选择衰减因子。一旦选择了衰减因子,在步骤226,如以上公式4a所示,可使用选择的衰减因子和第一滤波器系数K(来自步骤222)来确定第二滤波器系数K’。接着在步骤228,可基于第二滤波器系数K’(来自步骤224)、同位置的参考像素r(t-l)的值和输入像素x(t)的值来确定对应于当前输入像素X(t)的时域滤波输出值y(t)。例如,在一个实施例中,可依照上述的等式5a来确定输出值I(t)。参考图14,更详细地例示了依照一个实施例的来自方法214的用于确定运动增量值d(t)的步骤218。具体而言,运动增量值d(t)的确定一般对应于依照以上等式Ia所描述的操作。如图所示,步骤218可包括子步骤232-238。其开始于子步骤232,识别与当前输入像素x(t)具有相同颜色值的三个水平相邻像素的集合。作为示例,依照图12所示的实施例,图像数据可包括拜耳图像数据,并且三个水平相邻像素可包括当前输入像素x(t)(208)、在当前输入像素208左边的相同颜色的第二像素206和在当前输入像素208右边的相同颜色的第三像素。接着,在子步骤234,识别与所选择的三个水平相邻像素206、208和210的集合相对应的来自前一帧的三个同位置参考像素200、202和204。使用选择的像素206、208和210以及三个同位置参考像素200、202和204,在子步骤236中确定分别在三个选择的像素206、208和210中的每一个与其对应的同位置参考像素200、202和204之间的差的绝对值。随后,在子步骤238,将来自子步骤236的三个差的最大值选为用于当前输入像素X(t)的运动增量值d(t)。如上所述,例示了如等式Ia所示的运动增量值计算技术的图14仅旨在提供一个实施例。实际上,如上所述,可以使用其中当前像素位于阵列中心处的任何合适的具有相同颜色像素的二维阵列来确定运动增量值(例如,等式lb)。图15中进一步描绘了用于对图像数据应用时域滤波的技术的另一个实施例。例如,因为图像数据的不同颜色分量的信噪比可能不同,增益可被应用到当前像素,使得当前像素可在从运动表192和亮度表194中选择运动和亮度值之前进行增益。通过应用取决于颜色的相应增益,不同颜色分量的信噪比可以更趋于一致。仅作为示例,在一种使用原始拜耳图像数据的实现中,相对于绿色(Gr和Gb)颜色通道,红色和蓝色颜色通道可能一般更加灵敏。因此,通过对每个经处理的像素应用合适的取决于颜色的增益,一般可以降低各个颜色分量之间的信噪比差异,由此(尤其)降低重影伪像(ghostingartifacts),并改善在自动白平衡增益之后不同颜色之间的一致性。带着这样的思想,图15提供了一种依照这样一个实施例的描绘用于对由前端处理单元130接收到的图像数据应用时域滤波的方法240的流程图。其开始于步骤242,时域滤波系统190接收位于图像数据当前帧的空间位置(j,i)处的当前像素x(t)。在步骤244,至少部分地基于来自该图像数据的前一帧(例如紧挨在当前帧之前的图像帧)的一个或多个同位置的参考像素(例如r(t-1))来确定用于当前像素x(t)的运动增量值d(t)。步骤244与图13的步骤218相类似,并且可以利用以上等式I所示的运算。接着,在步骤246,可使用运动增量值d(t)、来自前一帧的对应于空间位置(j,i)的运动历史输入值h(t-1)(例如对应于同位置的的参考像素r(t-1))、和与当前像素的颜色相关联的增益,来确定运动表查找索引。此后,在步骤248,可使用步骤246确定的运动表查找索引来从运动表304中选择第一滤波器系数K。仅作为示例,在一个实施例中,可如下确定滤波器系数K和运动表查找索引K=M[gain[c]X(d(j,i,t)+h(j,i,t-1))],(2b)其中M表示运动表,并且其中gain[c]对应于与当前像素的颜色相关联的增益。此夕卜,尽管未在图15中示出,应当理解用于当前像素的运动历史输出值h(t)也可被确定,并可被用于对随后图像帧(例如下一帧)的同位置的像素应用时域滤波。在本实施例中,可使用如下公式来确定用于当前像素x(t)的运动历史输出h(t)h(j,i,t)=d(j,i,t)+K[h(j,i,t-l)-d(j,i,t)](3b)接着在步骤250,可使用基于与当前像素x(t)的颜色相关联的增益(gain[c])而确定的亮度表查找索引来从亮度表194中选择衰减因子。如上所述,存储在亮度表中的衰减因子可具有大致从0至I的范围。此后,在步骤252,可基于衰减因子(来自步骤250)和第一滤波器系数K(来自步骤248)来计算第二滤波器系数K’。仅作为示例,在一个实施例中,可如下确定第二滤波器系数K’和亮度表查找索引K'=KXL[gain[c]Xx(j,i,t)](4b)接着,在步骤254,基于第二滤波器系数K’(来自步骤252)、同位置的参考像素r(t-l)的值和输入像素x(t)的值,确定对应于当前输入像素x(t)的时域滤波输出值y(t)ο例如,在一个实施例中,可如下确定输出值y(t)y(j,i,t)=x(j,i,t)+K'(r(j,i,t~l)-χ(j,i,t))(5b)继续到图16,描绘了时域滤波处理260的另一实施例。这里,可按照与图15所讨论的实施例相类似的方式来完成时域滤波处理260,不同之处在于,代替对每个输入像素应用取决于颜色的增益(例如gain[c])和使用共享的运动和亮度表,为每个颜色分量提供单独的运动和亮度表。例如,如图16所示,运动表192可包括对应于第一种颜色的运动表192a,对应于第二种颜色的运动表192b和对应于第η种颜色的运动表192c,其中η取决于原始图像数据中存在的颜色的数量。类似的,亮度表194可包括对应于第一种颜色的亮度表194a,对应于第二种颜色的亮度表194b和对应于第η种颜色的亮度表194c。因此,在原始图像数据是拜耳图像数据的实施例中,可以提供三个运动和亮度表分别用于红色、蓝色和绿色颜色分量。如上所述,滤波系数K和衰减因子的选择可以取决于为当前颜色(例如当前输入像素的颜色)所选择的运动和亮度表。图17示出了一种例示使用取决于颜色的运动和亮度表来进行时域滤波的另一个实施例的方法270。将明了的是,方法270可采用的各种计算和公式可以与如图13所示的实施例相似,但其为每个颜色选择特定的运动和亮度表;或者与如图15所示的实施例相似,但其用取决于颜色的运动和亮度表的选择来代替取决于颜色的增益gain[c]的使用。开始于步骤272,时域滤波系统260(图16)接收位于图像数据的当前帧的空间位置(j,i)的当前像素χ(t)。在步骤274,至少部分地基于来自图像数据的前一帧(例如紧挨在当前帧之前的图像帧)的一个或多个同位置的参考像素(例如r(t-Ι))来为当前像素χ(t)确定运动增量值d(t)。步骤274可以与图13中的步骤218类似,并且可以利用如上述等式I所示的运算。接着,在步骤276,可使用运动增量值d(t)和来自前一帧的与空间位置(j,i)相对应的运动历史输入值h(t-l)(例如对应于同位置的参考像素r(t-l))来确定运动表查找索弓I。此后在步骤278,可基于当前输入像素的颜色从可用的运动表(例如192a、192b、192c)之一中选择第一滤波器系数K。例如,一旦识别出合适的运动表,可使用在步骤276中确定的运动表查找索引选择第一滤波器系数K。在选择了第一滤波器系数K之后,如步骤280所示,选择对应于当前颜色的亮度表,并且基于当前像素X(t)的值从选择的亮度表中选择衰减因子。此后,在步骤282,基于衰减因子(来自步骤280)和第一滤波器系数K(步骤278)确定第二滤波器系数K’。接着,在步骤284,基于第二滤波器系数K’(来自步骤282)、同位置的的参考像素r(t_l)的值和输入像素x(t)的值来确定对应于当前输入像素x(t)的时域滤波输出值y(t)。虽然图17所示的技术实现起来可能成本更高(例如因为需要用于存储附加的运动和亮度表的存储器),但在某些情况下,其可以对重影伪像以及自动白平衡增益之后的不同颜色间的一致性提供进一步的改善。依照另一个实施例,由时域滤波器180提供的时域滤波处理可以利用取决于颜色的增益和特定于颜色的运动和/或亮度表的组合对输入像素应用时域滤波。例如,在这样的一个实施例中,为所有颜色分量提供单个运动表,并且可基于取决于颜色的增益来确定用于从运动表中选择第一滤波系数(K)的运动表查找索引(例如,如图15中的步骤246-248所示),而亮度表查找索引则可不被应用以取决于颜色的增益,而是可被用于从取决于当前输入像素的颜色的多个亮度表之一中选择明亮度衰减因子(例如如图17所示的步骤280)。作为替换,在另一个实施例中,可提供多个运动表,并且可使用运动表查找索引(没有应用取决于颜色的增益)从对应于当前输入像素的颜色的运动表中选择第一滤波系数(K)(例如如图17所示的步骤278),然而可为所有颜色分量提供单个亮度表,并且其中可基于取决于颜色的增益来确定用于选择明亮度衰减因子的亮度表查找索引(例如,如图15所示的步骤250-252)。此外,在利用拜耳滤色器阵列的一个实施例中,可以为红色(R)和蓝色(B)颜色分量中的每一个提供一个运动表和/或亮度表,而可以为两个绿色颜色分量(Gr和Gb)提供共用的运动表和/或亮度表。随后可将时域滤波器180的输出发送到像素合并补偿滤波器(BCF)182,后者可处理图像像素以补偿颜色样本的非线性分布,使得随后在ISP流水逻辑82中的取决于颜色样本的线性分布的图像处理操作(例如去马赛克等)能够正确运行。此外,BCF182还可通过应用一个或多个缩放操作,诸如垂直和/或水平缩放,来处理像素数据。图18示出了依照一个公开的实施例的可包括缩放逻辑292和微分分析器294的像素合并补偿滤波器182的框图,并且图19示出了可用于执行缩放操作的处理296。如图18所示,缩放逻辑292可产生输出FEProc0ut(109),如上所述的,FEProcOut(109)可被转发到ISP流水逻辑82以供其它处理,下面将对此进行进一步讨论。在一个实施例中,可使用一个或多个多抽头多相滤波器来执行由BCF182的执行的(一个或多个)缩放操作,该多抽头多相滤波器可从源图像中选择像素,将每个像素乘以加权因子,然后计算像素值的总和以形成目的像素。应当理解,缩放操作中所使用的像素的选择可至少部分取决于当前像素位置和滤波器提供的抽头数量。此外,滤波操作可以使用相同颜色的像素对每个颜色分量进行,并且加权因子(或系数)可以从查找表获得并基于当前的像素间分数位置来确定。在所描绘的实施例中,微分分析器294可以是数字微分分析器(DDA),并且可以被配置为在缩放操作期间控制当前像素位置。仅作为示例,DDA294可被提供为32位数据寄存器,其包含具有12位整数部分和20位分数部分的二进制补码定点数。12位整数部分可被用于确定当前像素位置。分数部分被用作到系数表中的索引。在一个实施例中,垂直和水平缩放部件可利用8深度系数表,由此20位分数部分的3个高位被用于索引。为了提供基于32位DDA寄存器(DDA[31:0])的例子,当前中心源像素位置(currPixel)可由12位整数部分DDA[21:20]来定义,并且如果下一位DDA[19]为I则可以向上取整(+1)。然后,与currPixel邻近的像素的源像素值可以根据滤波器提供的抽头数量来获得。例如,在一个实施例中,垂直缩放可以用3抽头多相滤波器来执行,从而currPixel每一侧的具有相同颜色的一个像素被选择(例如,-1,0,+1),而水平缩放可以用5抽头多相滤波器来执行,其中currPixel每一侧的具有相同颜色的两个像素被选择(例如,-2,-1,0,+1,+2)。进一步地,每个抽头可具有其自己相应的系数表。因而,可以为3抽头垂直缩放滤波器提供三个8深度表,并且可以为5抽头水平缩放滤波器提供五个8深度表。当前系数索引(currlndex)可以由DDA[19:16](分数部分DDA[19:0]的3个高位)来定义,并且如果下一位DDA[15]为I则可以向上取整(+1)。因此,在BCF182中发生的滤波处理可包括获取在中心像素(currPixel)周围的源像素值,并将它们乘以利用currlndex从表中访问得到的合适的系数。一旦完成了针对给定像素的滤波处理,步进值(DDAst印)可被加到DDA294以确定下一像素的位置,并且可以为该随后的像素重复滤波/缩放操作。这进一步由图19中说明的处理296示出。例如,在步骤298开始,DDA294被初始化并且当前像素位置被识别。如上面所讨论的,当DDA294包括32位寄存器以用于存储二进制补码定点数时,当前像素位置可以由寄存器数据的高12位(整数部分)来指定。在步骤300,为垂直和水平缩放二者执行多抽头滤波。例如,假设分别为垂直和水平滤波使用3抽头和5抽头多相滤波器,并且假设图像传感器90使用拜耳颜色滤波器模式(图2),则垂直缩放部件可包括四个分开的3抽头多相滤波器,各自用于一个颜色分量Gr、R、B和Gb。每个3抽头滤波器可使用一个DDA来控制当前中心像素的步进和用于系数的索弓I。同样,水平缩放部件可包括四个分开的5抽头多相滤波器,各自用于一个颜色分量Gr、R、B和Gb。每个5抽头滤波器可使用一个DDA来控制当前中心像素的步进和用于系数的索弓I。对于边界的情况,水平和垂直滤波处理中所使用的像素可取决于由DDA所确立的当前像素的位置。例如,如果DDA值表明当前像素(currPixel)靠近帧边界,从而滤波器所需的源像素中的一个或多个位于边界之外,则可以重复边界像素。最后,如步骤302所示,一旦针对给定当前像素(currPixel)的垂直和水平缩放操作已经完成,DDA294可步进到下一像素的位置,并且处理296可返回步骤300以便对下一像素执行垂直和水平缩放。如上所述的,BCF182的输出(其可以是输出FEProcOut(109))可被转发到ISP流水处理逻辑82以供其他处理。然而,在将该讨论的焦点转移到ISP流水处理逻辑82之前,首先将给出对可在ISP前端逻辑80中实现的统计处理单元(例如122和124)可提供的各种功能的更详细描述。重新参考统计处理单元120和122的一般描述,这些单元可被配置为收集关于捕捉并提供原始图像信号(SifO和Sifl)的图像传感器的各种统计信息,例如关于自动曝光、自动白平衡、自动对焦、闪烁检测、黑度补偿和镜头明暗校正等的统计信息。因此,统计处理单元120和122首先可向它们各自的输入信号SifO(来自传感器O)和Sifl(来自传感器I)应用一个或多个图像处理操作。例如,参考图20,例示了依照一个实施例的与传感器O(90a)相关联的统计处理单元120的更详细方框图视图。如图所示,统计处理单元120可包括以下功能块缺陷像素检测和校正逻辑304、黑度补偿(BLC)逻辑306、镜头明暗校正逻辑308、逆BLC逻辑310和统计信息收集逻辑312。以下将讨论这些功能块的每一个。此外,应当理解的是可以通过类似的方式来实现与传感器I(90b)相关联的统计处理单元122。首先,通过前端缺陷像素校正逻辑304来接收选择逻辑124的输出(SifO或SiflnO)。将明了的是,“缺陷像素”可以理解为在图像传感器90内的无法准确感应光水平的成像像素。缺陷像素可归咎于一些因素,并且其可包括“燥点(hotpixel)”(或漏电像素)、“亮点(stuckpixel)”和“坏点(deadpixel)”。“燥点”一般表现为比对于在相同空间位置的给予相同光亮的非缺陷像素更亮。燥点的产生可归因于重置失败和/或高泄漏。例如,燥点可呈现出比非缺陷像素的正常电荷泄漏更高的电荷泄漏,因此可能比非缺陷像素表现得更亮。此外,“坏点”和“亮点”可能是诸如灰尘或其他微量材料之类的杂质在制造和/或装配过程中污染了图像传感器的结果,其可导致某些缺陷像素比非缺陷像素更暗或更亮,或者可导致缺陷像素固定在特定值而不管其实际曝光的光量。此外,在图像传感器操作期间发生的电路故障也可导致坏点和亮点。作为示例,亮点可以看上去为常开(全充电)并且因此看上去更亮,而坏点则看上去为常关。在ISP前端逻辑80中的缺陷像素检测和校正(Droc)逻辑304可在统计信息收集(例如312)中考虑缺陷像素之前对这些缺陷像素进行校正(例如替换缺陷像素值)。在一个实施例中,对于每个颜色分量(例如拜耳模式的R、B、Gr和Gb)独立地执行缺陷像素校正。一般来说,前端DPDC逻辑304可提供动态缺陷校正,其中可基于使用相同颜色的邻近像素算出的方向性梯度来自动地确定缺陷像素的位置。将理解的是,在给定时刻将某个像素认为是有缺陷的像素可取决于邻近像素中的图像数据,在此意义上缺陷可以是“动态的”。作为示例,如果总是处于最大亮度的亮点的位置处于当前图像的由更亮颜色或白色主导的区域内,那么该亮点可能不会被认为是缺陷像素。相反,如果亮点处于当前图像的由黑色或更暗颜色主导的区域,则在由DPDC逻辑304处理期间该亮点可被识别为缺陷像素,并被相应地校正。DPDC逻辑304可利用在当前像素每一侧的一个或多个具有相同颜色的水平邻近像素,使用像素至像素方向性梯度来确定当前像素是否有缺陷。如果当前像素被识别为缺陷的,可使用水平邻近像素的值来代替缺陷像素的值。例如,在一个实施例中,使用在原始帧154(图9)边界内的五个具有相同颜色的水平邻近像素,其中这五个水平邻近像素包括当前像素和每一侧的两个邻近像素。因此,如图21所示,对于给定的颜色分量c和当前像素P,DPDC逻辑304可考虑水平的邻居像素PO、PUP2和P3。然而,应当注意的是,取决于当前像素P的位置,当计算像素至像素梯度时,不考虑在原始帧154之外的像素。例如,如图21所示,在“左边缘”情况314中,当前像素P位于原始帧154的最左边,因此不考虑在原始帧154之外的邻近像素PO和P1,仅留下像素P、P2和P3(N=3)。在“左边缘+1”情况316中,当前像素P离原始帧154的最左边一个单位像素,因此不考虑像素PO。仅留下像素P1、P、P2和P3(N=4)。此外,在“居中”情况318中,在当前像素P左侧的像素PO和Pl和在当前像素右侧的像素P2和P3都处于原始帧154边界之内,因此在计算像素至像素梯度时考虑所有邻近像素PO、PUP2和P3(N=5)。此外,还可遇到接近原始帧154的最右边的类似情况320和322。例如,在“右边缘_1”情况320中,当前像素P离原始帧154的最右边一个单位像素,因此不考虑像素P3(N=4)。同样的,在“右边缘”情况322中,当前像素P处于原始帧154的最右边,因此不考虑邻近像素P2和P3(N=3)。在所示的实施例中,对于在图片(例如原始帧154)边界内的每个邻近像素(k=0至3),可如下计算像素至像素梯度Gk=abs(P-Pk),对于0彡k彡3(仅对于在原始巾贞内的k)(6)一旦确定了像素至像素梯度,将由DPDC逻辑304执行如下的缺陷像素检测。首先,如果一定数量的像素梯度Gk等于或小于由变量dprTh表示的特定阈值,则假设该像素是有缺陷的。因此对于每个像素,图片边界内的邻近像素等于或小于阈值dprTh的梯度数量的计数(C)被累加。作为示例,对于原始帧154内的每个邻居像素,可如下的计算等于或小于阈值dprTh的梯度Gk的累加计数CC=t(Gk<dprTh),(T)k对于O彡k彡3(仅对于在原始帧内的k)将明了的是,取决于颜色分量,阈值dprTh可以是变化的。接着,如果累加的计数C被确定为小于或等于由变量dprMaxC表示的最大计数,则像素可被考虑为是有缺陷的。该逻辑由以下表示if(C<dprMaxC),then像素是有缺陷的。(8)使用多种替代约定来对缺陷像素进行替代。例如,在一个实施例中,可使用紧靠其左边的像素Pl来代替缺陷像素。在一种边界情况下(例如Pl位于原始帧154之外),可使用紧靠其右边的像素P2来代替缺陷像素。此外,应当理解的是,替代值可被保留或传播以用于后续的缺陷像素检测操作。例如,参考如图21所示的水平像素集合,如果PO或Pl在之前被DPDC逻辑304识别为缺陷像素,则它们对应的替代值可被用于当前像素P的缺陷像素检测和替代为了总结上述的缺陷像素检测和校正技术,图22提供了描绘这种处理的流程图,并由参考标记330指代。如图所示,处理330开始于步骤332,其中接收当前像素(P)并识别一组邻居像素。依照以上所述的实施例,邻居像素可包括来自当前像素相对两侧的具有相同颜色分量的两个水平像素(例如P0、P1、P2和P3)。接着,在步骤334,如以上等式6所述,针对原始帧154内的每个邻近像素计算水平方向的像素至像素梯度。此后,在步骤336,确定小于或等于特定阈值dprTh的梯度的数量的计数C。如判定逻辑338所示,如果C小于或等于dprMaxC,则处理330继续到步骤340,并且当前像素被识别为有缺陷的。接着在步骤342使用替代值来校正缺陷像素。另外,再参考判定逻辑338,如果C大于dprMaxC,则处理继续到步骤344,并且当前像素被识别为没有缺陷,且其值不被改变。应当注意的是在ISP前端统计处理期间应用的缺陷像素检测/校正技术可能比在ISP流水逻辑82中执行的缺陷像素检测/校正的鲁棒性要差。例如,如以下将进一步详细讨论的,在ISP流水逻辑82中执行的缺陷像素检测/校正除了动态缺陷校正之外还可提供固定缺陷校正,其中可先验得知缺陷像素的位置,并将其载入一个或多个缺陷表。此外,如下所述,在ISP流水逻辑82中的动态缺陷校正还可以考虑水平和垂直方向两者上的像素梯度,并且还可以提供对斑点(speckle)的检测/校正。回到图20,DPDC逻辑304的输出随后被传送到黑度补偿(BLC)逻辑306。BLC逻辑306可为每个颜色分量“c”(例如拜耳的R、B、Gr和Gb)中用于统计信息收集的像素独立地提供数字增益、偏移和截短(clipping)。例如,如以下运算所示,首先通过带符号的值来偏移当前像素的输入值,接着将其乘上增益。Y=(X+0[c])XG[c],(9)其中X表示给定颜色分量c(例如R、B、Gr或Gb)的输入像素值,O[c]表示当前颜色分量c的带符号的16位偏移量,以及G[c]表示该颜色分量c的增益值。在一个实施例中,增益G[c]可以是具有2个整数位和14个分数位的16位无符号数(例如以浮点表示的2.14),并且可对增益G[c]应用舍入。仅作为示例,增益G[c]可具有在O至4X(例如输入像素值的四倍)之间的范围。接着,如以下等式10所示,可将计算得到的带符号的值Y截短到最小值和最大值范围Y=(Y〈min[c])min[c]:(Y>max[c])max[c]:Y)(10)变量min[c]和max[c]分别表示最小和最大输出值的带符号的16位截短值。在一个实施例中,BLC逻辑306还可被配置成分别为每个颜色分量保存在最大值之上和在最小值之下而被截短的像素的数量的计数。随后,BLC逻辑306的输出被转发到镜头明暗校正(LSC)逻辑308。LSC逻辑308可被配置为逐像素地应用合适的增益以补偿强度的衰落,该强度衰落一般大致正比于与成像设备30的镜头88的光学中心的距离。可以明了的是,这种衰落可能是镜头的几何光学的结果。作为示例,具有理想光学性质的镜头可被建模为入射角余弦的四次方,即cos4(0),其被称为cos4定律。然而,由于镜头制造工艺并非完美,镜头中的各种不规则性可能导致光学性质偏离假设的cos4模型。例如,镜头的较薄的边缘(thinneredged)通常呈现最大的不规则性。另外,镜头明暗图案的不规则性也可能是在图像传感器内的微透镜阵列没有与滤色器阵列完美对齐的结果。此外,在一些镜头中的红外(IR)滤波器也可能导致衰落取决于发光体,于是可以根据检测到的光源来调整镜头明暗增益。参考图23,例示了用于描述典型镜头的光强度相对于像素位置的三维分布346。如图所示,光强度从镜头的中心348附近向镜头的角落或边缘350逐渐降低。可通过图24更好的例示图23中所描绘的镜头明暗不规则性,图24示出了展示向着角落和边缘而光强度降低的图像352的有色图。更具体的,应当注意的是在大致位于图像中心的光强度看上去比位于图像的角落和/或边缘的光强度更亮。依据本技术的一些实施例,镜头明暗校正增益可被指定为每个颜色通道(例如用于拜耳滤波器的Gr、R、B、Gb)—个二维增益栅格。增益栅格点可在原始帧154(图24)内以固定的水平和垂直间隔分布。如以上图9所讨论的,原始帧154可包括活动区域156,其定义了由特定图像处理操作对其执行处理的区域。关于镜头明暗校正操作,在原始帧区域154内定义了可被称为LSC区域的活动处理区域。如以下将讨论的那样,LSC区域必须完全在增益栅格边界内或边界处,否则结果可能是不明确的。例如,参考图25,示出了可在原始帧154内定义的LSC区域354和增益栅格356。LSC区域354可具有宽358和高360,并且可由相对于原始帧154边界的x偏移量362和y偏移量364来定义。还可提供从增益栅格356的基准370到LSC区域354内的第一个像素372的栅格偏移量(例如栅格X偏移量366和栅格Y偏移量368)。这些偏移量可以位于用于给定颜色分量的第一栅格间隔内。可分别为每个颜色通道独立地指定水平(X方向)和垂直(y方向)栅格点间隔374和376。如上所述,假设使用了拜耳滤色器阵列,则可定义4个具有栅格增益的颜色通道(R、B、Gr和Gb)。在一个实施例中,总共有4K(4096)个栅格点可用,并且例如可通过使用指示器,为每个颜色通道提供用于栅格增益的开始位置的基准地址。此外,还可以以在一个颜色平面的分辨率下的像素为单位来定义水平(374)和垂直(376)栅格点间隔,在特定实施例中,在水平和垂直方向上可分别提供2的幂(例如8、16、32、64或128等)个像素的栅格点间隔。可以明了的是,通过利用2的幂,可以使用移位(例如除法)和相加操作来获得增益内插的有效实现。使用这些参数,即使图像传感器裁剪区域发生改变仍可使用相同的增益值。例如,只有少数参数需要被更新以将栅格点对齐到裁剪区域(例如更新栅格偏移量374和376),而非更新所有的栅格增益值。仅作为示例,这在数字变焦操作期间使用裁剪时可能是有益的。此外,虽然如图25的实施例所示的增益栅格356被描绘为具有基本相等间隔的栅格点,但是应当理解在其他实施例中,栅格点不是必须相等间隔。例如,在一些实施例中,栅格点可以非均匀地分布(例如对数分布),使得栅格点在LSC区域354的中心较不集中,而向着LSC区域354的角落(通常在那里镜头明暗失真更容易被察觉)更为集中。依照此处公开的镜头明暗校正技术,在当前像素位置位于LSC区域354之外时,不应用增益(例如像素未经改变地通过)。在当前像素位置位于增益栅格位置时,可以使用该特定栅格点处的增益值。然而,在当前像素位置位于栅格点之间时,可使用双线性内插来内插增益。以下图26提供了一种为像素位置“G”内插增益的例子。如图26所示,像素G位于栅格点GO、Gl、G2和G3之间,GO、Gl、G2和G3可分别对应于当前像素位置G的左上、右上、左下和右下增益。栅格间隔的水平和垂直大小分别由X和Y表示。另外,ii和jj分别表示相对于左上增益GO的位置的水平和垂直像素偏移量。基于这些因子,可如下内插对应于位置G的增益c—mr—n)(x—//))+(GUY—.am)+(Q2(jj)(x—m)+((mmum(輯XY随后可组合以上等式Ila中的各项以获得下述表达式一XYκ}在一个实施例中,可以增量方式执行该内插法,以代替对每个像素使用乘法器,从而降低计算复杂度。例如,可使用可在增益栅格356的位置(0,O)处被初始化为O并每次当前列号增大一个像素时以当前行号作为增量的加法器来实现项(ii)(jj)。如上所述,因为可将X和Y的值选为2的幂,于是可以使用简单的移位操作来实现增益内插。因此,仅在栅格点GO(而非每个像素)处需要乘法器,并且仅需要加法操作以确定用于剩下的像素的内插增益。在特定实施例中,在栅格点之间的增益的内插可使用14位精度,且栅格增益可以是具有2个整数位和8个分数位的不带符号的10位值(例如2.8浮点表示)。使用该约定,增益可具有在O至4X之间的范围,并且在栅格点之间的增益分辨率可以是1/256。镜头明暗校正技术可由图27所示的处理380进一步例示。如图所示,处理380开始于步骤382,其中确定当前像素相对于图25的LSC区域354边界的位置。接着,判定逻辑384确定当前像素位置是否在LSC区域354之内。如果当前像素位置在LSC区域354之夕卜,处理380继续到步骤386,并且不对当前像素应用增益(例如,像素未经改变地通过)。如果当前像素位置在LSC区域354之内,处理380继续到判定逻辑388,在此进一步确定当前像素位置是否对应于在增益栅格354内的栅格点。如果当前像素位置对应于栅格点,则如步骤390所示,选择在该栅格点的增益值并将其应用到当前像素。如果当前像素位置不对应于栅格点,则处理380继续到步骤392,并基于其周围的栅格点(例如图26的GO、GUG2和G3)来内插增益。例如,可依照如上所述的等式Ila和Ilb来计算内插增益。此后,处理380结束于步骤394,在此将来自步骤392的内插增益应用至当前像素。将明了的是,可对图像数据的每个像素重复处理380。例如,如图28所示,例示了描绘可被应用到LSC区域(例如354)内的每个像素位置的增益的三维分布。如图所示,应用到图像角落396的增益通常可大于应用到图像中心398的增益,这是因为如图23和24所示,角落具有更大的光强度衰落。使用此处描述的镜头明暗校正技术,可以减少或基本上消除图像中呈现出的光强度衰落。例如,图29提供一个在应用了镜头明暗校正之后来自图24的图像352的有色图将如何呈现的例子。如图所示,相比于来自图24的初始图像,全幅图像的整体光强度基本上更为均匀。更具体的,在图像近似中心处的光强度可与在图像的角落和/或边缘处的光强度值大致地相等。另外,如上所述,在一些实施例中,内插增益的计算(等式Ila和Ilb)可通过利用顺序的列和行增量结构而用栅格点之间的加性“增量”来代替。将明了的是,这会降低计算复杂度。在进一步的实施例中,除了使用栅格增益,还为每个颜色分量使用一个全局增益,其根据与图像中心的距离而缩放。图像中心可被提供为输入参数,且可通过分析被均匀照明的图像内每个图像像素的光强度幅度而估计所述图像中心。如下所示,于是可以使用在识别的中心像素和当前像素之间的径向距离来获得经线性缩放的径向增益GrGr=Gp[c]XR,(12)其中Gp[c]表不用于每个颜色分量c(例如拜耳模式的R、B、Gr和Gb分量)的全局增益参数,并且其中R表示中心像素和当前像素之间的径向距离。参考示出了以上讨论的LSC区域354的图30,可使用多种技术来计算或估计距离R0如图所示,对应于图像中心的像素C可具有坐标(X(l,yci),并且当前像素G可具有坐标(xG,yG)。在一个实施例中,LSC逻辑308可使用以下等式来计算距离RR=孤一^+(^—凡f(13)在另一个实施例中,可利用以下所示的更简单的估计公式来获得R的估计值R=aXmax(abs(xG_x0),abs(yG-y0))+^Xmin(abs(xG_x0),abs(yG-y0))(14)在等式14中,估计系数a和0可被缩放至8位值。仅作为示例,在一个实施例中,a可大致等于123/128,且P可大致等于51/128,以提供R的估计值。使用这些系数值,最大误差可大致为4%,中间误差大致为I.3%。因此,尽管该估计技术的准确度多少会低于利用计算技术(等式13)来确定R,但是误差幅度还是足够低以使得估计值或R适用于确定本发明镜头明暗校正技术的径向增益分量。接着可将径向增益Gr乘上用于当前像素的内插栅格增益值G(等式Ila和Ilb)以确定可被应用到当前像素的总增益。如下所示,通过将输入像素值X乘上总增益来获得输出像素Y:Y=(GXGrXX)(15)因此,依照本技术,可仅使用内插增益或者使用内插增益和径向增益分量两者来执行镜头明暗校正。作为替换,可仅使用径向增益连同补偿径向近似误差的径向栅格表来完成镜头明暗校正。例如,可以提供具有定义径向和角向的增益的多个栅格点的径向增益栅格以代替如图25所示的矩形增益栅格356。因此,当确定增益要被应用到未与LSC区域354内的径向栅格点之一对齐的像素时,可以使用四个围绕该像素的栅格点来应用内插以确定合适的内插镜头明暗增益。参考图31,由处理400例示了镜头明暗校正中内插和径向增益分量的使用。应当注意的是,处理400可以包括与在图27中描述的处理380相似的步骤。因而,这样的步骤被标记为相同的参考标号。其开始于步骤382,接收当前像素并确定其相对于LSC区域354的位置。接着,判定逻辑384确定当前像素位置是否处于LSC区域354之内。如果当前像素位置在LSC区域354之外,处理400继续到步骤386,并且不对当前像素应用增益(例如,像素未经改变地通过)。如果当前像素位置处于LSC区域354之内,则处理400可同时继续到步骤402和判定逻辑388。首先参考步骤402,检索用于识别图像中心的数据。如上所述,确定图像中心可包括分析在均匀照明下的像素的光强度幅度。例如,这可在校准期间发生。因此,应当理解的是步骤402没有必要包括为处理每个像素而重复计算图像中心,而是可涉及检索出先前确定的图像中心的数据(例如,坐标)。一旦识别了图像中心,处理400可继续到步骤404,其中确定图像中心和当前像素位置之间的距离(R)。如上所述,可以计算(等式13)或估计(等式14)R的值。接着,在步骤406,可使用距离R和与当前像素的颜色分量相对应的全局增益参数来计算径向增益分量4(等式12)。如以下将在步骤410要讨论的那样,径向增益分量4可被用于确定总增益。参考回判定逻辑388,其确定当前像素位置是否对应于处于增益栅格354之内的栅格点。如果当前像素位置对应于栅格点,则如步骤408所示,确定在栅格点上的增益值。如果当前像素位置不对应于栅格点,则处理400继续到步骤392,并且基于其周围的栅格点(例如,图26的G0、G1、G2和G3)来计算内插增益。例如,可依照以上讨论的等式Ila和Ilb来计算内插增益。接着,在步骤410,基于在步骤406确定的径向增益以及栅格增益(步骤408)或内插增益(392)之一来确定总增益。可以明了的是,这可取决于在处理400期间判定逻辑388采用哪一个分支。然后如步骤412所示,将总增益应用到当前像素。再次,应当注意的是,类似于处理380,也可以为图像数据的每个像素重复处理400。径向增益连同栅格增益的使用可提供多种优点。例如,使用径向增益允许对所有颜色分量使用单个共用增益栅格。这将大大减少用于为每个颜色分量存储的单独的增益栅格所需要的总存储空间。例如,在拜耳图像传感器中,为所有R、B、Gr和Gb分量都使用单个增益栅格可以减少大约75%的增益栅格数据。将明了的是,栅格增益数据的这一减少可降低实现成本,因为栅格增益数据表可能会占用图像处理硬件中存储器或芯片区域的很大部分。此外,取决于硬件实现,使用单个增益栅格值集合还可提供其他优点,例如降低总芯片面积(例如当增益栅格值被存储在芯片上的存储器内时)以及降低存储器带宽需求(例如当增益栅格值被存储在芯片外的外部存储器内时)。在透彻描述了如图20所示的镜头明暗校正逻辑308的功能后,LSC逻辑308的输出随后被转发给逆黑度补偿(IBLC)逻辑310。IBLC逻辑310为每个颜色分量(例如R、B、Gr和Gb)独立地提供增益、偏移和截短,并且通常执行BLC逻辑306的逆功能。例如,如以下运算所示,首先将输入像素值乘上增益,接着使用带符号的值进行偏移。Y=(XXG[c])+0[c],(16)其中X表示给定颜色分量c(例如R、B、Gr或Gb)的输入像素值,0[c]表示用于当前颜色分量c的带符号的16位偏移量,以及G[c]表示用于颜色分量c的增益值。在一个实施例中,增益G[c]可具有大约在O至4X(输入像素值X的四倍)之间的范围。应当注意的是,这些变量可以是如上所讨论的等式9中的相同变量。使用例如等式10,计算出的值Y可被截短到最小值和最大值范围。在一个实施例中,IBLC逻辑310可被配置成为每个颜色分量保存分别在最大值之上和在最小值之下而被截短的像素数量计数。此后,由统计信息收集块312来接收IBLC逻辑310的输出,该统计信息收集块312可提供关于(一个或多个)图像传感器90的各种统计数据点的收集,例如关于自动曝光(AE)、自动白平衡(AWB)、自动对焦(AF)、闪烁检测等的统计数据点。以下提供简要概述来讨论AWB、AE和AF统计信息的意义。关于白平衡,图像传感器在每个像素上的响应可以取决于照明源,因为光源从图像场景中的物体被反射。于是,图像场景中所记录的每个像素值与光源的色温有关。当以低色温照明白色物体时,该物体在被捕捉的图像中可能看上去偏红。反之,以高色温照明白色物体时,该物体在被捕捉的图像中可能看上去偏蓝。因此,白平衡的目的是调整RGB值,以使得图像在人眼看上去像是在规范光下拍摄的。于是,在关于白平衡的成像统计信息的情况中,收集关于白色物体的颜色信息以确定光源的色温。一般来说,白平衡算法可包括两个主要步骤。首先,估计光源的色温。其次,使用估计的色温来调整颜色增益值和/或确定/调整颜色校正矩阵的系数。这样的增益可以是模拟和数字图像传感器增益以及ISP数字增益的组合。接下来,自动曝光通常指的是调整像素积分时间和增益以控制所捕捉图像的亮度的处理。例如,自动曝光可通过设置积分时间来控制由(一个或多个)图像传感器捕捉的场景的光量。此外,自动对焦可以指确定镜头的最佳对焦长度以充分地优化图像的对焦。因此,可经由统计信息收集块312来确定并收集尤其是这些各种类型的统计信息。如所示的,统计信息收集块312的输出STATSO可被发送到存储器108并且然后被路由到控制逻辑84,或者可替换地,可被直接发送到控制逻辑84。如上所述,控制逻辑84可处理收集到的统计数据以确定用于控制成像设备30和/或图像处理电路32的一个或多个控制参数。例如,这样的控制参数可以包括用于操作图像传感器90的镜头的参数(例如对焦长度调整参数)、图像传感器参数(例如模拟和/或数字增益、积分时间)以及ISP流水处理参数(例如数字增益值、颜色校正矩阵(CCM)系数)。另夕卜,如上所述,在特定实施例中,可以8位的精度来进行统计处理,因此,具有更高位深的原始像素数据可被下采样到8位格式以用于统计目的。如上所述,下采样到8位(或任何其他更低位分辨率)可减小硬件尺寸(例如面积),还能降低处理复杂度,并且使得统计数据对于噪声更为鲁棒(例如使用图像数据的空间平均)。在对ISP前端逻辑80下游的ISP流水逻辑82进行详细讨论之前,应当理解的是在统计处理单元120和122中的各种功能性逻辑块(例如逻辑块304、306、308、310和312),以及ISP前端像素处理单元130中的各种功能性逻辑块(例如逻辑块180和182)的布置仅旨在例示本技术的一个实施例。实际上,在其他实施例中,可以按照不同顺序来布置此处例示的逻辑块,或者可包括用于执行未在此处特别描述的附加图像处理功能的附加逻辑块。此外,应当理解的是在统计处理单元(例如120和122)中执行的图像处理操作,例如镜头明暗校正、缺陷像素检测/校正和黑度补偿,是出于收集统计数据的目的而在统计处理单元内执行的。因此,对由统计处理单元接收到的图像数据执行的处理操作实际上没有反映在从ISP前端像素处理逻辑130输出并被转发到ISP流水处理逻辑82的图像信号109上(FEProcOut)。在继续之前,还应当注意的是,假设充足的处理时间和此处所描述的各种操作的许多处理需求之间的相似性,有可能重新配置此处所示的功能块以顺序方式来执行图像处理,而不是流水线性质。将会理解,这可能进一步降低整体硬件实现成本,但是可能增加到外部存储器的带宽(例如为了高速缓存/存储中间结果/数据)。ISP流水线(“流水”)处理逻辑以上已详细描述了ISP前端逻辑80,现在本讨论将其重点转移到ISP流水处理逻辑82。一般来说,ISP流水逻辑82的功能是接收可由ISP前端逻辑80提供的或从存储器108检索出的原始图像数据,并且对其执行附加图像处理操作,也就是在将图像数据输出到显示设备28之前进行处理。图32描绘了示出ISP流水逻辑82的一个实施例的方框图。如图所示,ISP流水逻辑82可包括原始处理逻辑414、RGB处理逻辑416和YCbCr处理逻辑418。原始处理逻辑414可执行多种图像处理操作,例如以下将进一步讨论的缺陷像素检测和校正、镜头明暗校正、去马赛克、以及为自动白平衡应用增益和/或设置黑度。如本实施例所示,取决于选择逻辑420的当前配置,到原始处理逻辑414的输入信号422可以是来自ISP前端逻辑80的原始像素输出109(信号FEProcOut)或来自存储器108的原始像素数据112。作为在原始处理逻辑414内执行去马赛克操作的结果,图像信号输出424可以处于RGB域,并可以在随后被转发至RGB处理逻辑416。例如,如图32所示,RGB处理逻辑416接收信号430,取决于选择逻辑428的当前配置,该信号430可以是输出信号424或来自存储器108的RGB图像信号426。RGB处理逻辑416可提供多种RGB颜色调整操作,包括以下将进一步讨论的颜色校正(例如使用颜色校正矩阵)、用于自动白平衡的颜色增益的应用、以及全局色调映射。RGB处理逻辑418还可提供RGB图像数据到YCbCr(亮度/色度)颜色空间的颜色空间变换。于是,图像信号输出432可以处于YCbCr域,并可在随后被转发至YCbCr处理逻辑418。例如,如图32所示,YCbCr处理逻辑418接收信号438,取决于选择逻辑436的当前配置,该信号438可以是来自RGB处理逻辑416的输出信号432,或是来自存储器108的YCbCr信号434。如以下将进一步进行详细讨论的,YCbCr处理逻辑418可提供在YCbCr颜色空间内的图像处理操作,包括缩放,色度抑制,亮度锐化,亮度、对比度和颜色(BCC)调整,YCbCr伽马映射,色度抽选等。YCbCr处理逻辑418的图像信号输出440可被发送到存储器108,或可作为图像信号114(图7)从ISP流水处理逻辑82输出。图像信号114可被发送到显示设备28(直接地或通过存储器108),以供用户观看,或者可使用压缩引擎(例如编码器118)、CPU/GPU、图形引擎等而被进一步处理。依照本技术的实施例,ISP流水逻辑82可支持8位、10位、12位或14位格式的原始像素数据的处理。例如在一个实施例中,8位、10位或12位的输入数据可在原始处理逻辑414的输出处被变换为14位,并且可使用14位精度来执行原始处理和RGB处理操作。在后一个实施例中,可在将RGB数据变换到YCbCr颜色空间之前,将14位图像数据下采样到10位,并且可以使用10位精度来执行YCbCr处理(逻辑418)。为了提供对由ISP流水处理逻辑82所提供的多种功能的全面描述,以下将顺序的讨论原始处理逻辑414、RGB处理逻辑416和YCbCr处理逻辑418中的每一个,以及可在各个逻辑单元414、416和418中实现的用于执行各种图像处理操作的内部逻辑,首先从原始处理逻辑414开始。例如,现在参考图33,根据本技术的一个实施例,例示了示出原始处理逻辑414的一个实施例的更详细视图的方框图。如图所示,原始处理逻辑414包括增益、偏移和钳位(GOC)逻辑442,缺陷像素检测/校正(DroC)逻辑444,降噪逻辑446,镜头明暗校正逻辑448,G0C逻辑450和去马赛克逻辑452。此外,虽然以下所讨论的例子假设结合(一个或多个)图像传感器90使用拜耳滤色器阵列,但是应当理解本技术的其他实施例也可利用不同类型的滤色器。可以是原始图像信号的输入信号422首先由增益、偏移和钳位(GOC)逻辑442接收。GOC逻辑442可以提供与如以上图20中所讨论的有关ISP前端逻辑80的统计处理单元120的BLC逻辑306类似的功能,并以类似的方式来实现。例如GOC逻辑442可为拜耳图像传感器的每个颜色分量R、B、Gr和Gb独立地提供数字增益、偏移和钳位(截短)。更具体的,GOC逻辑442可以执行自动白平衡或设置原始图像数据的黑度。此外,在一些实施例中,GOC逻辑442还可被用来校正或补偿Gr和Gb颜色分量之间的偏移。在操作中,当前像素的输入值首先由带符号的值来偏移,并与增益相乘。该操作可使用以上在等式9中示出的公式来执行,其中X表示用于给定颜色分量R、B、Gr或Gb的输入像素值,0[c]表示用于当前颜色分量c的带符号的16位偏移量,G[c]表示用于颜色分量c的增益值。可在统计处理期间(例如在ISP前端块80中)预先确定G[c]的值。在一个实施例中,增益G[c]可以是具有2个整数位和14个分数位的16位无符号数(例如2.14浮点表示),还可对增益G[c]应用舍入。仅作为示例,增益G[c]可具有0至4X之间的范围。接着依照等式10将由等式9计算出的像素值Y(其包括增益G[c]和偏移量0[c])截短到最小值和最大值范围。如上所述,变量min[c]和max[c]可分别表示用于最小和最大输出值的带符号的16位“截短值”。在一个实施例中,GOC逻辑442还可被配置为保存每个颜色分量的分别在最大值范围之上和在最小值范围之下而被截短的像素的数量的计数。随后,GOC逻辑442的输出被转发到缺陷像素检测和校正逻辑444。如以上参考图20所述(DPDC逻辑304),缺陷像素可归咎于一些因素,并且可包括“燥点”(或漏电像素)、“亮点”和“坏点”,其中燥点相对于非缺陷像素呈现出高于正常电荷泄漏的泄漏,因此可能比非缺陷像素看上去更亮;并且其中亮点看上去为常开(例如,全充电)并且因此表现的更亮,而坏点则看上去为常关。因此,希望能得到一种足够鲁棒以识别和解决不同类型的故障情形的像素检测方案。更具体的,当与可能仅能提供动态缺陷检测/校正的前端DPDC逻辑304相比较时,流水DPDC逻辑444可提供固定或静态缺陷检测/校正、动态缺陷检测/校正以及斑点移除。依照此处公开的技术的实施例,由DPDC逻辑444执行的缺陷像素校正/检测可以为每个颜色分量(例如R、B、Gr和Gb)独立地进行,并且可包括多种用于检测缺陷像素的操作和多种用于校正检测到的缺陷像素的操作。例如,在一个实施例中,缺陷像素检测操作可提供对静态缺陷、动态缺陷的检测以及对斑点的检测,斑点可以指的是可能存在于成像传感器中的电干扰或噪声(例如光子噪声)。作为类比,斑点可能作为看上去的随机噪声伪影出现在图像中,类似于静态噪声可出现在诸如电视显示器的显示器上的方式。此外,如上所述,动态缺陷校正被在如下意义上认为是动态的在给定的时刻将像素认为是有缺陷可取决于邻近像素中的图像数据。例如,如果总是处于最大亮度的亮点位于当前图像中由明亮白色主导的区域,则该亮点可能不被认为是缺陷像素。反之,如果亮点处于当前图像中由黑色或暗色主导的区域,则该亮点在经由DPDC逻辑444进行处理期间可被识别为缺陷像素,并被相应地校正。关于静态缺陷检测,将每个像素的位置与静态缺陷表相比较,该表可存储了对应于已知有缺陷的像素的位置的数据。例如,在一个实施例中,DPDC逻辑444可监视缺陷像素的检测(例如使用计数器机制或寄存器),并且如果某特定像素被观察到重复地失败,该像素的位置被存储到静态缺陷表。因此,在静态缺陷检测期间,如果确定当前像素的位置处于静态缺陷表中,当前像素于是被识别为缺陷像素,并且一替代值被确定并临时存储。在一个实施例中,替代值可以是相同颜色分量的前一像素的值(基于扫描顺序)。如下所述,替代值可被用来在动态/斑点缺陷检测和校正期间校正静态缺陷。另外,如果前一像素处于原始帧154之外(图9),则不使用该前一像素的值,并可在动态缺陷校正处理期间校正静态缺陷。此外,考虑到存储器,静态缺陷表可存储有限数量的位置条目。例如,在一个实施例中,静态缺陷表可被实现为FIFO队列,其被配置为针对图像数据的每两条线存储共计16个位置。虽然如此,在静态缺陷表中定义的位置将使用前一像素替代值(而不是通过以下讨论的动态缺陷检测处理)来校正。如上所述,本技术的实施例还能够随时间间歇地更新静态缺陷表。实施例可提供在片上存储器或片外存储器中实现的静态缺陷表。将明了的是,使用片上实现可能增加总体芯片面积/尺寸,而使用片外实现可降低芯片面积/尺寸,但会增加存储器带宽需求。因此,应当理解可取决于特定实现需求(即,将要存储在静态缺陷表中的像素的总数),片上或片外地实现该静态缺陷表。动态缺陷和斑点检测处理可以相对于上述讨论的静态缺陷检测处理具有时移。例如,在一个实施例中,动态缺陷和斑点检测处理可于静态缺陷检测处理已经分析了两条扫描线(例如,行)的像素之后开始。可以明了的是,这允许在动态/斑点检测发生之前确定静态缺陷的识别以及它们各自的替代值。例如,在动态/斑点检测处理期间,如果当前像素在先前就被标记为静态缺陷,则使用先前估计的替代值来对静态缺陷进行简单校正,而不是应用动态/斑点检测操作。关于动态缺陷和斑点检测,这些处理可顺序的或并行的发生。由DPDC逻辑444执行的动态缺陷和斑点检测和校正可依赖于使用像素至像素方向性梯度的自适应边缘检测。在一个实施例中,DPDC逻辑444可在所使用的原始帧154(图9)内选择当前像素的具有相同颜色分量的八个直接相邻的像素。换而言之,如下图34所示,当前像素及其八个直接相邻的像素PO、PUP2、P3、P4、P5、P6和P7可形成3x3区域。然而,应当注意的是,取决于当前像素P的位置,当计算像素至像素梯度时不考虑在原始帧154之外的像素。例如,对于如图34所示的“左上”情况454,当前像素P处于原始帧154的左上角,因此不考虑在原始帧154之外的邻近像素PO、P1、P2、P3和P5,仅剩下像素P4、P6和P7(N=3)。在“上”情况456,当前像素P处于原始帧154的最上边缘,因此不考虑在原始帧154之外的邻近像素P0、P1和P2,仅剩下像素P3、P4、P5、P6和P7(N=5)。接着,在“右上”情况458,当前像素P处于原始帧154的右上角,因此不考虑在原始帧154之外的邻近像素P0、P1、P2、P4和P7,仅剩下像素P3、P5和P6(N=3)。在“左”情况460,当前像素P处于原始帧154的最左边缘,因此不考虑在原始帧154之外的邻近像素PO、P3和P5,仅剩下像素PI、P2、P4、P6和P7(N=5)。在“中心”情况462,所有像素P0-P7都位于原始帧154内,于是都被用来确定像素至像素梯度(N=8)。在“右”情况464,当前像素P处于原始帧154的最右边缘,因此不考虑在原始帧154之外的邻近像素P2、P4和P7,仅剩下像素P0、P1、P3、P5和P6(N=5)。另外,在“左下”情况466,当前像素P处于原始帧154的左下角,因此不考虑在原始帧154之外的邻近像素P0、P3、P5、P6和P7,仅剩下像素P1、P2和P4(N=3)。在“下,,情况468,当前像素P处于原始帧154的最下边缘,因此不考虑在原始帧154之外的邻近像素P5、P6和P7,仅剩下像素P0、P1、P2、P3和P4(N=5)。最后,在“右下”情况470,当前像素P处于原始帧154的右下角,因此不考虑在原始帧154之外的邻近像素P2、P4、P5、P6和P7,仅剩下像素PO、Pl和P3(N=3)。因此,取决于当前像素P的位置,被用于确定像素至像素梯度的像素数量可能是3、5或8。在所示的实施例中,对于在图片(例如原始帧154)边界内的每个邻近像素(k=0至7),可如下的计算像素至像素梯度Gk=abs(P-Pk),对于0彡k彡7(仅对于在原始帧内的k)(17)另外,可通过如下所示的等式来计算当前像素和其周围像素的平均Pav之间的差作为平均梯度Gav:/N\其中N=3,5或8(取决于像素位置)(18)p—V*/1OV~N,Gav=abs(P-Pav)(19)像素至像素梯度值(等式17)可被用来确定动态缺陷情况,邻近像素的平均(等式18和19)可被用来识别以下所讨论的斑点情况。在一个实施例中,DroC逻辑444可如下地执行动态缺陷检测。首先,如果一定数量的梯度Gk等于或低于由变量dynTh(动态缺陷阈值)表示的特定阈值,则假设该像素是有缺陷的。因此,对于每个像素,在图片边界内的邻近像素的等于或低于阈值dynTh的梯度的数量的计数(C)被累加。阈值dynTh可以是固定阈值分量和可取决于周围像素中出现的“活动性”的动态阈值分量的组合。例如,在一个实施例中,可通过计算高频分量值Phf来确定dynTh的动态阈值分量,计算高频分量值Phf则基于对平均像素值Pav(等式18)和每个邻近像素之间的差的绝对值求和,如下所示Pkf=HahsiFm-—/!),其中N=3,5或8(20)Nk在像素位于图像一角(N=3)或位于图像边缘(N=5)的情况下,Phf可分别乘上8/3或8/5。可以明了的是,这保证了基于八个邻近像素(N=S)来归一化高频分量Phf。一旦确定了Phf,可如下所示计算动态缺陷检测阈值dynThdynTh=dynTh1+(dynTh2XPhf),(21)其中ClynTh1表示固定阈值分量,dynTh2表示动态阈值分量,并且是等式21中用于Phf的乘数。可以为各个颜色分量提供不同的固定阈值分量ClynTh1,但是对于每个相同颜色的像素,ClynTh1是相同的。仅作为示例,可以设置ClynTh1以使得其至少大于图像中的噪声方差。可基于图像的某些特征来确定动态阈值分量dynTh2。例如,在一个实施例中,可使用存储的关于曝光和/或传感器积分时间的经验数据来确定dynTh2。该经验数据可在图像传感器(例如,90)的校准期间确定,并可将可为dynTh2选择的动态阈值分量值与多个数据点的每一个相关联。于是,基于可在由ISP前端逻辑80执行的统计处理期间确定的当前曝光和/或传感器积分时间值,可通过从存储的经验数据中选择对应于当前曝光和/或传感器积分时间值的动态阈值分量值来确定dynTh2。另外,如果当前曝光和/或传感器积分时间值没有直接对应于经验数据点中的一个点,则可通过对与当前曝光和/或传感器积分时间值落入其间的数据点相关联的动态阈值分量值进行内插而确定dynTh2。此外,类似于固定阈值分量(IynTh1,对于每个颜色分量,动态阈值分量dynTh2可具有不同的值。因此,对于每个颜色分量(例如R、B、Gr、Gb),组合阈值dynTh可以不同。如上所述,针对每个像素,确定在图片边界内的邻近像素的等于或低于阈值dynTh的梯度的数量的计数C。例如,对于在原始帧154内的每个邻近像素,可以如下计算等于或低于阈值dynTh的梯度Gk的累加计数CC二YdIGk<dynTh)(22)k对于O≤k≤7(仅对于在原始帧内的k)接着,如果累加计数C被确定为小于或等于由变量dynMaxC表示的最大计数,则该像素可被认为是动态缺陷。在一个实施例中,可为N=3(角)、N=5(边缘)和N=8的情况提供dynMaxC的不同值。该逻辑被表达为如下if(C^dynMaxC),then当前像素P是有缺陷的。(23)如上所述,缺陷像素的位置可被存储到静态缺陷表。在一些实施例中,在用于当前像素的动态缺陷检测期间计算的最小梯度值Uin(Gk))可被存储并被用于分类缺陷像素,使得更大的最小梯度值指示缺陷的更大的“严重性”,并且应当在像素校正期间在不那么严重的缺陷被校正之前被校正。在一个实施例中,像素在被存储到静态缺陷表之前可能需要对其进行跨多个成像帧的处理,例如通过随着时间而过滤缺陷像素的位置。在后一实施例中,可仅当缺陷出现在特定数量的连续图像的相同位置时才将该缺陷像素的位置存储到静态缺陷表中。此外,在一些实施例中,静态缺陷表可被配置为基于最小梯度值来分类所存储的缺陷像素位置。例如,最高的最小梯度值可指示缺陷具有更大的“严重性”。通过以这种方式来对位置排序,可以设置静态缺陷校正的优先级,使得可以首先校正最严重或重要的缺陷。另外,静态缺陷表可随着时间被更新以包括新检测到的静态缺陷,并且由此基于它们各自的最小梯度值来对其进行排序。可以通过确定值Gav(等式19)是否高于斑点检测阈值spkTh来执行可与以上所述的动态缺陷检测处理并行发生的斑点检测。类似于动态缺陷阈值dynTh,斑点阈值spkTh也可包括固定和动态分量,其分别由SpkTh1和SpkTh2指代。一般来说,相比于(IynTh1和dynTh2值,固定和动态分量SpkTh1和SpkTh2可被更“侵略性地”设置,以避免在可能具有较重纹理或其他(例如文字、树叶、特定织物图案等)的图像区域中错误地检测斑点。因而,在一个实施例中,动态斑点阈值分量81^112可以针对图像的高纹理区域有所增加,而对于“更平缓”或更均匀的区域则有所减小。可如下所示计算斑点检测阈值spkThSpkTh=SpkTh1+(spkTh2XPhf),(24)其中SpkTh1表示固定阈值分量,并且其中SPkTh2表示动态阈值分量。随后可依照以下表达式来确定斑点的检测if(Gav>spkTh),then当前像素P是斑点。(25)一旦识别了缺陷像素,DPDC逻辑444可取决于检测到的缺陷类型来应用像素校正操作。例如,如果缺陷像素被识别为静态缺陷,则如上所述使用存储的替代值(例如相同颜色分量的前一像素的值)来代替该像素。如果像素被识别为动态缺陷或斑点,则可如下的执行像素校正。首先,如下所示,梯度在四个方向(水平(h)方向、垂直(V)方向、正对角方向(dp)和负对角方向(dn))上被计算为当前像素与第一和第二邻居像素之间的差的绝对值(例如等式17对Gk的计算)之和Gh=G3+G4(26)Gv=GJG6(27)Gdp=G2+G5(28)Gdn=GfG7(29)接着,经由与方向性梯度Gh、Gv、Gdp和Gdn中具有最小值的方向性梯度相关联的两个邻近像素的线性内插来确定校正像素值Pc。例如,在一个实施例中,以下的逻辑陈述可表示对P。的计算if(min==Gh)(30)权利要求1.一种处理图像数据的方法,包括利用图像信号处理器进行以下操作接收图像数据的当前帧中具有空间位置的当前像素,其中该图像数据是利用图像传感器获取的;至少部分基于来自图像数据的前一帧的同位置参考像素,确定当前像素的运动增量值;基于该运动增量值和与当前像素的空间位置相对应但是来自前一帧的运动历史值,确定运动表查找索引;利用运动表查找索引从运动表中选择第一滤波系数;利用与当前像素相对应的明亮度值从亮度表中选择衰减因子;基于所选择的衰减因子和第一滤波系数,确定第二滤波系数;以及利用图像信号处理器的时域滤波器,基于同位置参考像素、当前像素和第二滤波系数,确定与当前像素相对应的时域滤波输出值。2.如权利要求I所述的方法,包括利用图像信号处理器通过如下操作来确定与当前像素的空间位置相对应的运动历史值确定第一值,该第一值等于I与第一滤波系数之差;确定第二值,该第二值等于第一值与来自前一帧的运动历史值的乘积;将运动增量值与第二值求和。3.如权利要求I所述的方法,其中确定运动增量值包括从当前帧中识别与当前像素具有相同颜色的像素集合并形成像素的二维阵列,其中当前像素位于该二维阵列的中心;从前一帧中识别参考像素的集合,其中该参考像素的集合中的各个像素分别与当前帧中的所述像素集合中的相应像素位于相同位置;为当前帧中的所述像素集合中的每个像素确定绝对增量,该绝对增量等于来自当前帧的像素的值与其对应的同位置参考像素之差的绝对值;基于绝对增量,确定运动增量值。4.如权利要求3所述的方法,其中确定运动增量值包括识别具有相同颜色值的三个水平相邻像素的集合,该集合包括当前像素、与当前像素的第一侧相邻的第二像素、和与当前像素的第二侧相邻的第三像素;确定第一值,该第一值等于当前像素的值与来自前一帧的同位置参考像素的值之差的绝对值;确定第二值,该第二值等于第二像素的值与来自前一帧的第二同位置参考像素的值之差的绝对值;以及确定第三值,该第三值等于第三像素的值与来自前一帧的第三同位置参考像素的值之差的绝对值;其中运动增量值被选择为所述第一值、第二值、第三值中的最大值。5.如权利要求3所述的方法,其中所述图像数据包括拜耳原始图像数据,并且其中所述二维阵列内的每个像素在空间上位于在水平、垂直和对角方向上从当前像素离开两个像素位置。6.如权利要求I所述的方法,其中运动表查找索引被计算为运动增量值与来自前一帧的运动历史值之和。7.如权利要求I所述的方法,其中确定当前像素的时域滤波输出值包括确定当前像素的值与同位置参考像素的值之差;将该差乘以第二滤波系数,以获得第一值;以及将同位置参考像素的值与第一值相加,以确定当前像素的时域滤波输出值。8.一种对图像数据进行时域滤波的方法,包括利用图像信号处理器进行以下操作接收图像数据的当前帧中具有空间位置的当前像素,其中该图像数据是利用图像传感器获取的并且包括两个或更多个颜色分量,每个颜色分量与一个相应的增益相关联;至少部分基于来自图像数据的前一帧的同位置参考像素,确定当前像素的运动增量值;基于与当前像素的颜色相对应的所选择的增益、该运动增量值和与来自前一帧的同位置参考像素相对应的运动历史值,确定运动表查找索引;利用运动表查找索引从运动表中选择第一滤波系数;通过将所选择的增益应用于当前像素的值并且使用增益后的当前像素的值作为用于从亮度表中选择衰减因子的亮度表查找索引,从亮度表中选择衰减因子;通过将第一滤波系数与所选择的衰减因子相乘,确定第二滤波系数;以及利用图像信号处理器的时域滤波器,基于参考像素的值、当前像素的值和第二滤波系数,确定与当前像素相对应的时域滤波输出值。9.如权利要求8所述的方法,其中确定运动增量值包括从当前帧中识别与当前输入像素具有相同颜色的像素集合并形成像素的二维阵列,其中当前像素位于该二维阵列的中心;从前一帧中识别参考像素的集合,其中该参考像素的集合中的各个像素分别与当前帧中的所述像素集合中的相应像素位于相同位置;为当前帧中的所述像素集合中的每个像素确定绝对增量,该绝对增量等于来自当前帧的像素的值与其对应的同位置参考像素的值之差的绝对值;确定运动增量值,该运动增量值是以下至少之一各绝对增量的平均值,各绝对增量的最大值,或各绝对增量的中位值。10.如权利要求9所述的方法,其中所述二维阵列包括与当前像素具有相同颜色值的三个水平相邻像素的集合,其中当前像素在空间上位于这三个水平相邻像素的集合的中心,并且其中,确定运动增量值包括将运动增量值确定为第一值、第二值和第三值中的最大值,其中第一值等于当前像素的值与来自前一帧的同位置参考像素的值之差的绝对值,第二值等于当前帧中与当前像素水平相邻的第二像素的值与来自前一帧的对应的第二同位置参考像素的值之差的绝对值,第三值等于当前帧中与当前像素水平相邻的第三像素的值与来自前一帧的对应的第三同位置参考像素的值之差的绝对值。11.如权利要求8所述的方法,包括通过以下步骤确定与当前像素的空间位置相对应的运动历史值确定来自前一帧的运动历史值与运动增量值之差,将该差乘以第一滤波系数以获得一个乘积,以及将运动增量值与该乘积求和,其中对应于当前像素的运动历史值能够用于对图像数据的下一帧中的同位置像素应用时域滤波。12.如权利要求8所述的方法,其中通过将运动增量值与来自前一帧的运动历史值之和乘以所选择的增益,来确定运动表查找索引。13.如权利要求12所述的方法,其中通过将所选择的增益应用到当前像素来确定亮度查找索引。14.如权利要求8所述的方法,其中确定当前像素的时域滤波输出值包括确定同位置参考像素的值与当前像素的值之差;将该差乘以第二滤波系数,以获得第一值;以及将当前像素的值与该乘积相加,以确定当前像素的时域滤波输出值。15.如权利要求8所述的方法,其中用于图像数据的每个颜色分量的相应增益是基于白平衡增益来确定的。16.一种图像信号处理系统,包括时域滤波器,用于对利用图像传感器获取的多颜色原始图像数据进行时域滤波,其中该时域滤波器被配置为接收来自原始图像数据的当前帧的当前像素,该当前像素具有特定颜色和在当前帧内的空间位置;基于同位置参考像素,确定当前像素的运动增量值;利用基于运动增量值确定的运动表查找索引、来自原始图像数据的前一帧的与所述同位置参考像素相对应的运动历史值、以及与当前像素的颜色相关联的增益,从运动表中选择第一滤波系数;通过将与当前像素的颜色相关联的增益应用于当前像素的值,并将结果作为用于选择衰减因子的亮度表查找索引,从亮度表中选择用于当前像素的衰减因子;将衰减因子与第一滤波系数的乘积确定为第二滤波系数;以及基于同位置参考像素的值、当前像素的值和第二滤波系数,提供与当前像素相对应的时域滤波输出值。17.如权利要求16所述的图像信号处理系统,其中时域滤波器被配置为通过确定同位置参考像素的值与当前像素的值之差,将该差乘以第二滤波系数以确定一个乘积,并将该乘积与当前像素的值求和,来提供时域滤波输出值。18.如权利要求16所述的图像信号处理系统,其中时域滤波器是有限冲激响应(FIR)滤波器,并且其中,前一帧的同位置参考像素对应于由图像传感器获取的初始未滤波的图像数据。19.如权利要求16所述的图像信号处理系统,其中时域滤波器是无限冲激响应(IIR)滤波器,并且其中,前一帧的同位置参考像素对应于先前由时域滤波器滤波后的时域滤波图像数据。20.如权利要求16所述的图像信号处理系统,其中原始图像数据包括拜耳图像数据,并且其中,与当前像素的颜色相关联的增益是根据当前像素是否包括红色、蓝色或绿色像素来选择的。21.—种电子设备,包括至少一个数字图像传感器;被配置为与所述至少一个数字图像传感器通信的接口;存储器设备;显示设备,被配置为显示与所述至少一个数字图像传感器所获取的原始图像数据相对应的一个或多个图像场景的视觉表示;以及成像信号处理系统,该成像信号处理系统包括运动表,被配置为存储一组滤波系数;亮度表,被配置为存储一组明亮度衰减因子;和时域滤波器,被配置为处理原始图像数据,以针对原始图像数据的当前帧中的具有特定颜色和空间位置的当前像素应用时域滤波,其中,通过以下操作来应用该时域滤波基于来自原始图像数据的前一帧的同位置参考像素确定当前像素的运动增量值;利用基于运动增量值、来自原始图像数据的前一帧的与同位置参考像素相对应的运动历史值、和与当前像素的颜色相关联的增益而确定的第一查找索引,从存储在运动表中的所述一组滤波系数中选择第一滤波系数;利用通过将与当前像素的颜色相关联的增益应用到当前像素的值而确定的第二查找索引,从存储在亮度表中的所述一组明亮度衰减因子中选择明亮度衰减因子;将该衰减因子与第一滤波系数的乘积确定为第二滤波系数;以及基于同位置参考像素的值、当前像素的值和第二滤波系数,提供与当前像素相对应的时域滤波输出值。22.如权利要求21所述的电子设备,其中时域滤波器被配置为向图像信号处理系统的图像处理流水线输出经时域滤波的原始图像数据。23.如权利要求21所述的电子设备,其中所述至少一个数字图像传感器包括与该电子设备集成的数码相机、通过所述接口耦接到该电子设备的外部数码相机、或它们的某种组口ο24.如权利要求21所述的电子设备,其中所述接口包括移动工业处理器接口(MIPI)、标准移动成像架构(SMIA)接口、或它们的某种组合。25.如权利要求21所述的电子设备,包括以下至少一个桌上型计算机、膝上型计算机、平板计算机、移动蜂窝电话、便携式媒体播放器、或它们的任一组合。26.—种对图像数据进行时域滤波的方法,包括利用图像信号处理器执行以下操作对于利用图像传感器获取的多颜色原始图像数据的当前帧中的具有空间位置的当前像素,至少部分基于来自该多颜色原始图像数据的前一帧的同位置参考像素,确定用于该当前像素的运动增量值;基于当前像素的颜色,通过基于所述运动增量值和与当前像素的空间位置相对应但是来自前一帧的运动历史值确定运动表查找索引,并利用该运动表查找索引从运动表中选择第一滤波器系数,来确定第一滤波器系数;基于当前像素的颜色,通过利用亮度表查找索引从亮度表中选择衰减因子,并将第一滤波系数与所选择的衰减因子相乘以确定第二滤波系数,来确定第二滤波系数;以及基于参考像素的值、当前像素的值和第二滤波系数,确定与当前像素相对应的时域滤波输出值。27.如权利要求26所述的方法,其中所述多颜色原始图像数据中的各个颜色分量共享单个运动表,并且其中,所述运动表查找索引是进一步基于与当前像素的颜色相对应的取决于颜色的增益而确定的;并且其中所述运动表选自多个亮度表之一,每个亮度表对应于所述多颜色原始图像数据中的一种颜色,并且其中,所述衰减因子是利用亮度表查找索引从所选择的亮度表中选择的。28.如权利要求27所述的方法,其中所述多颜色原始图像数据包括具有红色颜色分量、蓝色颜色分量、第一绿色颜色分量和第二绿色颜色分量的拜耳图像数据,并且其中,所选择的亮度表是从与红色颜色分量相对应的第一亮度表、与蓝色颜色分量相对应的第二亮度表、以及第一绿色颜色分量和第二绿色颜色分量共享的第三亮度表中选择的。29.如权利要求26所述的方法,其中,所述多颜色原始图像数据中的各个颜色分量共享单个亮度表,并且其中,所述亮度表查找索引是进一步基于与当前像素的颜色相对应的取决于颜色的增益而确定的;并且其中,所述运动表选自多个运动表之一,每个运动表对应于所述多颜色原始图像数据中的一种颜色,并且其中,所述第一滤波器系数是利用运动表查找索引从所选择的运动表中选择的。30.如权利要求29所述的方法,其中所述多颜色原始图像数据包括具有红色颜色分量、蓝色颜色分量、第一绿色颜色分量和第二绿色颜色分量的拜耳图像数据,并且其中,所选择的运动表是从与红色颜色分量相对应的第一运动表、与蓝色颜色分量相对应的第二运动表、以及第一绿色颜色分量和第二绿色颜色分量共享的第三运动表中选择的。全文摘要提供了用于对图像传感器获取的原始图像数据进行时域滤波的各种技术。在一个实施例中,时域滤波器确定当前像素的空间位置,并识别来自前一帧的至少一个同位置参考像素。至少部分基于该当前像素及其同位置参考像素来确定运动增量值。接下来,基于运动增量值和与当前像素的空间位置相对应但是来自前一帧的运动历史值来确定索引。利用该索引,可从运动表中选择第一滤波系数。在选择第一滤波系数之后,可以基于当前像素的值从亮度表中选择衰减因子,并且随后可以基于所选择的衰减因子和第一滤波系数来确定第二滤波系数。然后可以基于第二滤波系数、当前像素和同位置参考像素来计算与当前像素相对应的时域滤波输出值。文档编号G06T5/50GK102640184SQ201080054781公开日2012年8月15日申请日期2010年10月12日优先权日2009年10月20日发明者G·科特,J·E·弗莱德瑞克森申请人:苹果公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1