增强低分辨率摄像机图像形状识别的汽车夜视系统的利记博彩app

专利名称：增强低分辨率摄像机图像形状识别的汽车夜视系统的利记博彩app
技术领域：
本发明基本上涉及夜视系统人机界面(HMI)，具体地涉及从低分辨率摄像机提 供增强的道路场景图像的人机界面视觉显示器。本发明还涉及从汽车夜视系统中的低分辨率摄像机图像增强形状识别的方法，该 方法通过在视觉显示器的框架(bezel)上应用透镜以提供足够的折射来使图像的异 常(pixilated)元素模糊直到实现期望的形状识别。本发明还涉及应用具有足够的截止频率和阶数的模拟或数字低通滤波器用于将 粗糙的摄像机图像识别为期望的形状的方法。本发明还涉及对低分辨率夜视摄像机的输出应用中值滤波器用来增强摄像机图 像以将其识别为期望的形状的方法。
背景技术：
夜视系统用于改进对行人、骑自行车者、及动物的夜间检测。自从凯迪拉克 (Cadillac)在二十世纪九十年代后期引进远红外夜视系统作为可选装置之后，这种 系统就一直在美国巿场上出售。高分辨率夜视摄像机可以向驾驶员提供比低分辨率摄 像机更清晰的道路场景的显示，但价格更昂贵。特别是高分辨率远红外传感器成本较 高。这些传感器常常是320 x 240像素。已经开发出了使用非常低的分辨率如40x30 像素的远红外图像检测行人、骑自行车者、及动物的软件技术。这些成本大幅降低的 传感器以可承受的价格为其在小汽车和卡车上广泛应用提供了较大的可能性。遗憾的 是，驾驶员很难获知和理解这些传感器的原始图像。可以根据空间频率分析人类视觉系统的反应。在明暗之间的过渡的锐变边缘 (sharpedge)中可以识别目标的细节。细节可以在数学上表示为高空间频率。在另 一方面，整个目标形状的识别可以由低空间频率表示。如现有技术所知，若从粗糙图 像滤波出高空间频率，目标的形状基本上可以通过剩余的低频内容识别。模糊的图像 就是这种效果的示例。通过斜视、散焦、及离开(moving away)粗糙图像一定距离， 或者移动图像或移动人的头部可以实现这种效果。或者可以通过软件处理修改图像可 以实现这种效果。在识别人的脸部时，对脸部识别所需的临界频带附近的频率进行滤波用来实现增 强。然而，汽车应用中不需要那种程度的显示信息，较简单的空间频率滤波的方法就 已足够。以此类推，识别显示的是谁的脸部就需要临界频带滤波。低通滤波就足以识 别出是脸部而不是其他东西。对人的识别实际上可以用许多方法实现，包括机器视觉、自动脸部识别，及其他 方法。然而，本发明对低分辨率夜视系统的应用代表一种独特的应用。本发明复制模 糊粗糙图像的效果以实现期望的形状识别。离开粗糙图像一定距离可以改进形状识 别，但同时会使这些图像变小，从而引起了驾驶员识别的其他问题。本发明通过各种 软件处理的方法(例如针对摄像机和场景特征应用中值滤波器、低通滤波器、或带通 滤波器(band-pass fUter))保持原始图像尺寸，以从低分辨率摄像机图像提供增 强的形状识别，同时保持图像显示尺寸不变。发明内容本发明涉及夜视人机界面视觉显示器，该夜视人机界面视觉显示器在即使夜视传 感器具有低分辨率或粗分辨率时也允许车辆中的驾驶员可以看见目标形状。当在VGA 视觉显示器上观察时，较低的摄像机分辨率会产生高度异常的、抽象的图像。不经过 进一步的处理，基本上不可识别出该图像的形状或细节。最低分辨率图像(40 x 30) 看起来较抽象，不可识别出形状或细节。当分辨率增加时，会改进形状和细节两者的 识别。然而，这种增加的分辨率使采集增加的细节层次所需的摄像机的成本有相应的 增加。本发明采用低分辨率图像并处理该低分辨率图像以改进形状识别。其思想是使由 低分辨率图像的块图像元素的边缘提供的高空间频率模糊。从而通过空间频率滤波改 进形状识别和运动识别。有几种方法试图实施本发明。 一种方法是在视觉显示器的框架上应用透镜以提供 足够的折射使图像的异常元素模糊。透镜将提供与离开粗糙图像一定距离直到实现期 望的形状识别所获得的视敏度相匹配的同等的视敏度(例如20/20,20/40,20/80等)。另一种方法是对摄像机输出应用低通数字滤波器或低通模拟过滤器以实现期望 的效果。夜视应用所需的滤波器的截止频率和阶数将取决于具体系统的摄像机的粗糙 程度。这要通过使用以系统的帧频动态表示的典型夜视场景的人体试验经验确定。第三种方法是对摄像机的输出应用中值滤波器。中值滤波器的范围和阶数将通过 经验确定以实现期望的效果。实施可行性、装配考虑、成本、及人的因素要求将确定 用于具体应用的最适合的方法。


图1是车用低分辨率远红外夜视系统的图示；图2示出用320 x 240远红外传感器采集的高分辨率图像；图3示出用40 x 30远红外传感器采集的与图2相同的图像；图4示出与图3相同的图像，该困像已经过图像增强以使图像像素块的边缘模糊。图5是示出本发明的图像增强的方法的软件流程图。
具体实施方式
现参考附图，图1是车用低分辨率远红外夜视系统的图示。虽然所述系统适用于 车辆，但本领域技术人员应理解，低分辨率远红外夜视系统可以用在车辆或非车辆的 任何装置中。具体地，系统IO包括低分辨率摄像机传感器12，该低分辨率摄像机传感器12 具有从40 x 30像素起的分辨率，更优选地具有80 x 60像素的分辨率。然而，传感 器12所规定的分辨率不是限制性的，应理解，与低分辨率摄像机相比，现有系统的 高分辨率摄像机相对昂贵，且对于需要夜视系统的所有应用可以不是必需的。低分辨 率摄像机传感器12电子连接到信号处理器14,信号处理器14还电子连接到视觉显 示器16。信号处理器用于接收来自传感器的信号并将该信号发送到视觉显示器给驾 驶员或其他的车辆成员观察。系统IO通常安装在车辆13的前部，其中传感器在相对 于驾驶员的前面的位置，视觉显示器在接近于驾驶员的位置，或在相对于驾驶员的任 何其他方便的位置，以便驾驶员可以处理传感器检测的图像并响应于识别的图像确定 最佳的操作过程。然而，也可以试图将传感器安装在车辆的后部或车辆的任何需要接 收图像的部分。此外，虽然仅描述了一个系统，但车辆也可以装配不止一个这样的系 统以提供多个图像发送给驾驶员用于处理。提供能向驾驶员提供可用图像的有成本效益的远红外夜视系统一直是工业上的 问题。 一些制造商选择提供高分辨率远红外夜视系统，这不适合于广泛分布在许多生 产线上或在广泛分布在许多生产线上并不具有最高成本效益。实际上，在过去，产生 的图像和系统的成本被看作是彼此之间的权衡。例如，低分辨率传感器产生异常的粗 糙的图像块对驾驶员是不可用的，而产生细节图像的高分辨率传感器在某些应用中太 昂贵。图2是用320 x 240远红外视觉传感器采集的高分辨率图像的图示。通过观察图 2中的夜视图像18可以理解，在自行车上的骑自行车者20、行人22、在反向车道上 的车辆24、 26以及树28、建筑物30，及街灯32的图像都是显而易见的。这些图像 是用高分辨率红外摄像机产生的，且没有经过滤波。显然图像清楚且高度异常，从而 形成图像细节并使驾驶员具有将此处呈现的图像识别为有意义的目标的能力。通过比较，图3是用低分辨率，具体地为40 x 30远红外视频摄像机传感器采集 的低分辨率图像的图示。在实践中可能使用80 x 60摄像机传感器，但使用较小分辨 率图像更容易证明使较粗糙的图像可用的各种方法。图3中描述的图像是和图2中描 述的图像相同，但是使用低分辨率摄像机传感器产生的。两幅图像之间的差异是明显 的。在图像中，主要轮廓是粗糙的且图像由具有反差的边缘的大像素块组成。实际上, 主要轮廓看起来抽象且几乎难以理解。这种图像会负面影响形状识别和目标-事件的 检测，该问题的一种解决方法是向驾驶员提供没有视觉显示的警告，例如通过警告灯、警告音、触觉座位警告等。该方法潜在地存在问题。没有对道路场景的视觉显示，驾 驶员只有有限的信息来评估情形。因为依据定义夜视系统是在车头灯不能照射到目标 时用来支持驾驶员的，没有视觉显示会使驾驶员延迟通过直接视觉能获取的潜在地危 急信息。驾驶员不知道检测到了什么目标，目标的正确位置，目标移动多快(若目标 是移动的)，及目标朝何方行进等。没有进一步的处理，图3的图像即便有实际的夜视系统中的价值也是有限的。在 一方面，本发明使用频率滤波软件使在图像像素块之间的边缘上的鲜明的反差模糊以 产生更可用的图像。如现有技术所知频率滤波是基于傅立叶变换的。操作人员通常将 图像和滤波函数放入傅立叶域中。然后以像素乘以像素的形式用滤波函数乘以图像。G(k, 1) = F(k, 1) H(k， 1)其中F(k, l)是在傅立叶域中的输入图像，H(k，l)是滤波函数,及G(k, l)是滤波的图像。为获得在空间域中的结果图像，G(k,l)必须使用傅立叶逆变换进行再变换。低通 滤波器衰减了高频率并保留低频率不变。因为被阻止的高频率对应于锐变的灰度变 化，即对应于在空间域图像中的小尺寸细节和噪声，在空间域中的结果是等同于在平 滑滤波器中的结果。最简单的低通滤波器是理想的低通滤波器。该低通滤波器抑制高 于截止频率Do的所有频率且保留低频率不变。这可以表示为//(A:，/)1如果^&2+/2 < A0如果7^+/2 > A在大多数实施方案中，Do作为在傅立叶域图像中表示的最高频率的部分是特定的。用高斯滤波函数可以实现较佳的结果。高斯滤波函数的优点是在空间域中和傅立 叶域中具有相同的形状，因此在滤波的图像的空间域中不会发生环效应。常用的高斯滤波函数的离散近似是巴特沃斯滤波器(Butterworth filter)。在频域中应用该滤 波器与在空间域中使用高斯平滑显示的结果相似。 一个差别是空间滤波器的计算量随 着标准方差(即随着滤波器核的尺寸)增加，而频率滤波器的计算量独立于滤波函数。 因此，空间高斯滤波器更适合于窄带低通滤波器，而巴特沃斯滤波器更适合于宽带低 通滤波器。带通滤波器是低通滤波器和高通滤波器两者的结合。它们衰减了所有高于频率 D,和低于频率Do的频率，而在两个截止频率之间的频率保留在结果输出图像中。通 过在频域中将低通滤波函数和高通滤波函数相乘可以获得带通滤波函数，其中低通滤 波函数的截止频率高于高通滤波函数的截止频率。还可以创造专门的滤波器屏蔽(filter mask)而不使用标准滤波函数中的 一个，从而仅加强或抑制特定的频率。以此方式例如可以在结果空间域图像中去除特定方向 的周期性图案。高斯平滑算子是用来"模糊"图像并去除细节和噪声的二维巻积算子。在此意义上其类似于均值滤波器，但是使用表示高斯(钟形)峰的不同的核。该核具有如下所述的一些特性。一维高斯分布具有如下形式其中C7是该分布的标准方差。假设该分布具有零均值(即以直线X-O为中心)。高斯平滑的思想是使用二维分布作为"点扩展"函数，且这是通过巻积实现的。 因为图像是作为离散像素的集合存储的，在进行巻积之前需要产生高斯函数离散近 似。在理论上，高斯分布在任何地方都是非零的，这将要求无穷大的巻积核，但是实 践上是在距均值的三个标准方差时有效地为零。这将允许在该点截断核。一旦计算了合适的核，就可以用标准的卷积方法进行高斯平滑。因为上述的二维各向同性高斯分布方程可以分离成x和y部分，可以相当快地进行卷积。通过首先在 x方向上用 一维高斯分布进行卷积，然后在y方向上用另 一个一维高斯分布进行巻积 从而实现二维卷积。高斯平滑是仅有的可以用这种方式分解的完整圆对称算子。计算 具有大标准方差的高斯平滑的进一步方法是用具有较小标准方差的高斯分布卷积图 像几次。虽然这样计算复杂，但若使用硬件流程进行处理其具有适用性。高斯平滑的效果是以类似于均值滤波器的方式使图像模糊。图像的平滑程度由高 斯分布的标准方差确定。应理解较大标准方差的高斯分布要求较大卷积核，以精确地 表示。高斯分布输出每个像素邻域的"加权平均值"，其中加权平均值接近于中心像素 值。这和均值滤波器的统一的加权平均值形成对比。因此，高斯分布提供了更柔和的 平滑且识别边缘比类似尺寸的均值滤波器更佳。使用高斯分布作为平滑滤波器的主要理由之一是由于其频率响应。大多数基于卷 积的平滑滤波器作为低通频率滤波器。这意味着它们的效果是从图像中去除高空间频 率部分。通过滤波器的傅立叶变换可以看到卷积滤波器的频率响应，即其在不同空间 频率上的效果。图4是对图3的图像应用中值滤波器的结果的图示。很大程度上如均值滤波器一 样，中值滤波器通常用来减少图像中的噪声，且在许多应用中，均值滤波器是可以适 用的。然而，本领域技术人员应认识到中值滤波器保持图像中的有用的细节比均值滤 波器更佳。像均值滤波器一样，中值滤波器依次观察图像中的每个像素，并观察该像素附近 的像素邻域以确定该像素是否为周围的代表。中值滤波器用领域像素值的中值替换像素值，而不是简单地用邻域像素值的均值替换像素值。首先将周围邻域的所有像素值 排成数字顺序从而计算中值，然后用中间像素值替换所考虑的像素。均值滤波器用均值或包括自身的像素的邻域的平均值替换像素。这具有消除像素 周围的非典型的像素值的效果。均值滤波常被认为是巻积滤波。如其他的巻积一样， 当计算均值时，均值滤波围绕表示抽样的邻域的尺寸和形状的核累积。均值滤波最常 用于减少图像中的噪声。如上所述，图4是与图3所示的相同的图像，不同的是图3的粗糙、高度异常的 图像已经过中值滤波。中值滤波产生使邻近的像素之间的反差模糊的图像以实现期望 的形状识别。图像保持在原始的尺寸，但使像素边缘之间的反差模糊，因此虽然很难 识别骑自行车者的脸部细节，但很容易看到有骑自行车者在路中，且驾驶员可以采取 适合的搡作以相应地适应车辆的运行。现回到图1,可以看到视觉显示器单元装备有框架32或与透镜34的安装兼容的 任何其他的结构，透镜34提供足够的折射以使图像的异常元素模糊以产生同样期望 的视敏度。因此，通过使用透镜系统，不需要将低分辨率图像通过电子低通滤波。参 考该段所述的方式，透镜将产生具有20/20, 20/40,或20/80或任何期望的视敏度 的视觉显示器的图像，该图像可以与通过离开粗糙图像一定距离直到实现期望的形状 识别所获得的图像相匹配。图5是本发明的方法36的步骤的流程图。具体地，在步骤38获得低分辨率图像。 在步骤40通过信号处理器输入图像信号。在步骤42使图像经受增强以便在图像粗糙 的、高度异常的像素之间的反差削弱或平滑，从而识别可用的图像。如上所述，将图 像通过数字低通滤波器或模拟低通滤波器可以实现此步骤，或将图像通过连接到视觉 显示器的透镜以产生具有期望视敏度的图像实现此步骤。在粗糙的高度异常的像素之 间的反差削弱之后，在步骤44通过在视觉显示器上显示产生图像。用于描述本发明的语言是描述性的语言，不是限制性的语言。本领域技术人员将 认识到在没有脱离本发明的所附权利要求中阐述的本发明的精神和范围时，各种修改 和实施例是可能的。
权利要求
1. 一种车用夜视成像系统，包括低分辨率红外传感器摄像机，所述低分辨率红外传感器摄像机用于识别目标并响应于所述目标产生具有边缘的异常的低分辨率图像块；信号处理器，所述信号处理器适用于接收图像信号并将所述图像信号处理为显示信号；及空间滤波器，所述空间滤波器适用于使由所述低分辨率图像块的块边缘提供的高空间频率模糊以产生视觉图像；及观察所述视觉图像的人机界面视觉显示器。
2. 如权利要求l所述的成像系统，其特征在于，所述低分辨率红外传感器摄像 机具有从40 x 30像素到80 x 60像素范围的分辨率。
3. 如权利要求l所述的成像系统，其特征在于，所述滤波器是施加到呈现所述 图像的显示器上的透镜；所述透镜提供足够的折射以使所述图像异常元素模糊以产生 足够的视敏度，从而识别所述显示的图像的形状。
4. 如权利要求l所述的成像系统，其特征在于，所述滤波器是施加到所述摄像 机输出的低通空间滤波器；所述滤波器适用于动态地空间滤波所述图像块边缘以产生 可识别的图像。
5. 如权利要求4所述的成像系统，其特征在于，所述滤波器是低通数字空间滤 波器。
6. 如权利要求4所述的成像系统，其特征在于，所述滤波器是低通模拟空间滤 波器。
7. 如权利要求1所述的成像系统，其特征在于，相同的滤波器是中值空间滤波 器；所述中值滤波器具有基于所述低分辨率图像块根据经验确定的范围。
8. 如权利要求1所述的成像系统，其特征在于，所述显示器是夜视人机界面(HMI) 视觉显示器。
9. 如权利要求3所述的成像系统，其特征在于，所述透镜产生从20/"到20/80的范围内的视敏度。
10. —种从低分辨率夜视系统产生可用图像的方法，包括 作为信号获取低分辨率图像； 输入所述低分辨率图像信号； 使所述图像经受空间滤波；及 在人机界面视觉显示器上显示所述图像。
11. 如权利要求io所述的方法，其特征在于，所述空间滤波是基于傅立叶变换 的频率滤波器。
12. 如权利要求11所述的方法，其特征在于，所述傅立叶变换是高斯分布方法。
13. 如权利要求12所述的方法，其特征在于，所述滤波器是巴特沃斯滤波器。
14. 如权利要求11所述的方法，其特征在于，所述傅立叶变换是中值滤波器。
15. 如权利要求IO所述的方法，其特征在于，所述图像显示在人机界面视觉显示器上。
16. —种具有低分辨率夜视系统的车辆，包括低分辨率传感器摄像机，所述低分辨率传感器摄像机响应于识别的目标产生图像信号；信号处理器，所述信号处理器适用于接收所述图像信号并将所述图像信号处理成视觉信号；空间滤波器，所述空间滤波器滤波所述视觉信号以产生视觉图像；及 显示所述视觉图像的人机界面视觉显示器。
17. 如权利要求16所述的车辆，其特征在于，所述空间滤波器是数字滤波器。
18. 如权利要求16所述的车辆，其特征在于，所述空间滤波器是模拟滤波器。
19. 如权利要求16所述的车辆，其特征在于，所述滤波器是接近于所述视觉显 示器以产生具有期望的视敏度的图像的至少一个透镜。
20.如权利要求16所述的车辆，其特征在于，所述空间滤波器是中值滤波器。
全文摘要
本发明涉及增强低分辨率摄像机图像形状识别的汽车夜视系统，涉及夜视系统人机界面，具体地涉及从低分辨率摄像机提供增强的道路场景图像的人机界面显示器。提供一种车用夜视成像系统，包括用于识别目标并响应于该目标产生具有边缘的异常的低分辨率图像块的低分辨率红外传感器摄像机；适用于接收图像信号并将图像信号处理为显示信号的信号处理器；适用于使由低分辨率图像块的块边缘提供的高空间频率模糊以产生视觉图像的空间滤波器；及观察该视觉图像的人机界面视觉显示器。
文档编号H04N7/18GK101277433SQ200810087010
公开日2008年10月1日 申请日期2008年3月28日 优先权日2007年3月30日
发明者塞缪尔·E·埃本斯坦, 夸库·O·普拉卡-阿桑特, 耶勒纳·M·罗丁, 路易斯·蒂耶里纳 申请人:福特环球技术公司