专利名称：图像除雾装置和图像除雾方法
技术领域：
本发明涉及一种图像除雾装置和一种图像除雾方法。
背景技术：
大气因素劣化图像的可视度增强是图像处理的重要领域。以上大气因素包括雾，霾(可以理解为较淡的雾)和烟尘(例如沙尘暴、不充分燃烧的汽车尾气和化学燃烧反应产生的烟雾)。它们有共同的特性:由液态或固态的悬浮颗粒组成，在空气中至少在一定范围内均匀分布，并且对光线传播形成复杂的影响，例如阻挡、散射和反射。在下文中将以上大气因素统称为雾。在雾天情况下，目标物体的对比度、亮度和颜色都可能发生畸变，使场景的可识别度下降，从而观测者更不容易从图像中识别出希望看到的目标物体和确定目标物体的边界和颜色。对雾化图像进行除雾可以改善图像的视觉效果，该技术的典型应用场合包括室外视频监控，车载辅助、自动驾驶的图像采集，高空拍摄遥感监测，等等。在这些应用场合中，摄取的图像信息并没有增加，但观测者希望能够借助图像处理更容易地识别目标物体。
即使雾在空气中是均匀分布的(雾密度均匀)，图像中不同位置上的雾浓度也是变化的。这源于景物距离拍摄镜头的距离的变化。距离镜头越远的场景上雾的浓度也越大。目前，雾化图像除雾技术主要分为两类:直方图均衡方法和基于大气模型的方法。直方图均衡方法把整幅图像中的雾浓度视作均一的，通过增强对比度和饱和度提高视觉效果。缺点在于不能应对同一幅图像中不同位置上雾浓度的不同。该方法的改进算法通过缩小应用直方图均衡的区域面积来提高适应雾浓度变化的程度，但这样的改进算法的运算量巨大且具有块效应等副作用。基于大气模型的方法首先构建由雾产生的图像蜕化模型，所述图像蜕化模型用数学公式描述了雾作用于原本没有雾的图像产生雾化图像的过程。把未除雾的原始彩色图像(即雾化图像)作为已知量，代入蜕化模型公式，解出除雾后的彩色图像的最佳估计值，以下也称作除雾图像。所谓“大气模型”描述了当大气中具有悬浮颗粒时，摄像机拍摄到图像或人眼观察到物体的光学原理，最早在Srinivasa G.Narasimhan和Shree K.Nayar所著的论文《Vision and the Atmosphere》 (International Journel of Computer Vision,2001)中进行了阐述。大气模型可以用下式(I)来表示，其作用于图像的RGB三个颜色通道。I(X) = J(X) t (X)+A (1-t (X))(I)其中，I⑴表示摄像机拍摄到的带雾图像或者人眼观察到的带雾图像(即雾化图像)，为输入图像。X = (X，y)表示图像像素坐标。J(X)为物体反射光，表示没有雾的图像，是去雾处理的结果图像(即除雾图像)。A表示大气光值，是对图像中雾最浓的一点的雾的估计值。该值决定了图像中雾浓度的范围，它的准确与否直接影响整幅图像中每个像素上除雾的效果。最浓的雾点在大多数情况下位于图像中的地平线以上，十分靠近地平线的位置，或者仰角不是很大的空中。如果图像不包含以上这些部分，不同的算法仍然需要利用图像中已有的信息来估计大气光值。这样得到的雾浓度基准值通常不会是最好的，而仅仅是次优解。t(X)定义了空气介质的传输函数，描述了物体反射光经过空中悬浮颗粒的散射以后残留下来而达摄像机的比例，表示有多少物体反射光经过大气衰减后能到达摄像机或者人眼，是一个大于O且小于I的标量数据，图像中每个像素具有一个t (X)。以下，参照图1具体说明上述式(I)。图1为大气模型公式的示意图。图1左侧的图像为人眼或摄像机观察到的图像I (X)(即雾化图像)。图像I (X)由2部分组成，第一部分为物体反射光经过空中悬浮颗粒散射后存留下来的部分为J(X) t (X)，第二部分为空中悬浮颗粒散射太阳光所造成的大气环境光为 A (1-t (X))。式(I)中的定义了空气介质的传输函数的t(X)为被摄体(物体)与摄像机(人眼)之间的距离的函数，具体表示为下式(2)。t(X) = e_0d(x)(2)其中，d(X)为图像中一物体点X与摄像机之间的距离，所以也将t(X)称作“距离参数”。β为大气散射系数，为常数。从式⑴和式⑵可以看出物体反射光到达摄像机的强度J(X)t(X)与物体与摄像机之间的距离d(x)成反比，距离越远，则光线衰减越厉害，而大气环境光到达摄像机的强度A(l-t(x))与距离d(X)成正比，距离越远，则光线越强，所以在无穷远处呈现出白色。基于大气模型的除雾算法可以简单地归纳为:在得到单幅雾化图像I(X)的情况下，求出t(X)和大气光值A， 然后通过式(I)得到除雾以后的结果图像J(X)(即除雾图像)。因为所述蜕化模型涉及的变量数多于方程个数，所以需要引入额外的条件才有解。因此很多学者提出了各种假设，作为方程的附加条件来估计出图像蜕化模型的所有参数，从而解出除雾图像的最佳估计值。在相同的算法下，所求取的大气光值A的质量依赖于大气光值点所处位置的理想程度。图像包含越多的地平线和天空，则得出最恰当的大气光值A的可能性越大。目前为止，尽管已经公开了多种用于求取该蜕化模型参数的方法，但这些方法的运算量都比较大。在以处理视频图像为主的监控领域中，为了实现实时的除雾效果，每秒钟需要处理超过25帧的图像，由此产生的运算量更加可观。因此，降低除雾处理的运算量和提高除雾速度是十分有价值的。基于大气模型的除雾方法和除雾装置基本上都十分依赖大气光值(或者雾浓度基准估计值)的选取，当图像中没有理想的雾浓度基准估计区域时，便无法得到准确的大气光值(或者雾浓度基准估计值)。
发明内容
本发明的目的在于提供一种图像除雾装置和一种相应的除雾方法，其通过存储多帧图像来增大用于寻找雾浓度基准点或者求取雾浓度基准值的图像范围，从而显著提高除雾处理的准确性。为了实现这个目的，本发明提供了一种图像除雾装置，用于对由摄像机摄取的图像进行除雾处理，所述图像除雾装置包括:摄像机控制器，其用于控制摄像机在至少一个方向上摆动和/或变焦以及用于记录和输出由所述摄像机摄取的图像的PTZ特征数据，其中，所述PTZ特征数据包括表示所述摄像机在摄取所述图像时的水平角和/或俯仰角和/或焦距的数据；雾浓度基准估计区域生成单元，其用于利用所述PTZ特征数据将在时间上最近连续拍摄的F帧图像拼接成全景图，其中，F是图像存储参数；雾浓度基准求取单元，其用于求取所述全景图的雾浓度基准值；除雾单元，其利用所述雾浓度基准值对当前帧图像进行除雾处理。根据本发明的一个实施方式，所述雾浓度基准估计区域生成单元包括第一存储单元、第二存储单元和全景图生成单元，其中，所述第一存储单元用于存储所述在时间上最近连续拍摄的F帧图像，所述第二存储单元用于存储所述第一存储单元中的各帧图像的PTZ特征数据，所述全景图生成单元用于利用所述第二存储单元中的PTZ特征数据将所述第一存储单元中的F帧图像拼接成所述全景图。根据本发明的一个实施方式，所述雾浓度基准估计区域生成单元设置所述图像存储参数F的值，其中，所述图像存储参数F的值是固定的。根据本发明的一个实施方式，所述雾浓度基准估计区域生成单元初始化所述图像存储参数F的值，其中，所述图像存储参数F的值是可调节的；所述雾浓度基准估计区域生成单元还包括第三存储单元和图像存储参数计算单元，其中，所述第三存储单元用于存储由所述雾浓度基准求取单元求出的雾浓度基准值，所述图像存储参数计算单元用于判断是否需要调节所述图像存储参数F以及如何调节所述图像存储参数F。根据本发明的一个实施方式，所述图像存储参数计算单元比较所述当前帧图像的雾浓度基准值和前一帧图像的雾浓度基准值，如果所述当前帧图像的雾浓度基准值与所述前一帧图像的雾浓度基准值相差大于等于一个预给定的阈值，则减小所述图像存储参数F ;如果所述当前帧图像的雾浓度基准值与所述前一帧图像的雾浓度基准值相差小于所述预给定的阈值，则增大所述图像存储参数F。根据本发明的一个实施方式，所述图像存储参数计算单元比较所述当前帧图像的雾浓度基准值与一个预给定的第一阈值和一个预给定的第二阈值，如果所述当前帧图像的雾浓度基准值大于等于所述第一阈值，则减小所述图像存储参数F ;如果所述当前帧图像的雾浓度基准值小于所述第二阈值，则增大所述图像存储参数F，其中，所述第一阈值大于或者等于所述第二阈值。根据本发明的一个实施方式，所述图像存储参数计算单元根据所述当前帧图像的雾浓度基准值和查找表来调节所述图像存储参数F，其中，在所述查找表中记录了天气情况的历史数据和/或至少当天的天气预测。根据本发明的一个实施方式，所述雾浓度基准估计区域生成单元设置所述图像存储参数F的上限值和下限值。根据本发明的一个实施方式，所述雾浓度基准估计区域生成单元还包括雾浓度基准理想估计区域识别单元，其中，所述雾浓度基准理想估计区域识别单元用于在所述全景图中识别雾浓度基准理想估计区域，在存在所述雾浓度基准理想估计区域的情况下将所述图像存储参数F的上限值设定为第一上限值而在不存在所述雾浓度基准理想估计区域的情况下将所述图像存储参数F的上限值设定为第二上限值，其中，所述第一上限值大于第二上限值。根据本发明的一个实施方式，所述雾浓度基准估计区域生成单元还包括第四存储单元，所述第四存储单元用于所述存储雾浓度基准理想估计区域的位置信息，所述雾浓度基准估计区域生成单元在收到关于进行所述雾浓度基准理想估计区域拍摄的用户指令时根据所述雾浓度基准理想估计区域的位置信息控制所述摄像机主动地拍摄所述雾浓度基准理想估计区域。本发明还提出了一种图像除雾方法，用于对由摄像机摄取的图像进行除雾处理，所述图像除雾方法包括如下步骤:设置图像存储参数F ;控制所述摄像机在至少一个方向上摆动和/或变焦、摄取图像并且记录和输出所摄取的图像的PTZ特征数据；利用所述PTZ特征数据，将在时间上最近连续拍摄的F帧图像拼接成全景图；求取所述全景图的雾浓度基准值；利用所述雾浓度基准值对当前帧图像进行除雾处理。根据本发明的图像除雾方法或图像除雾装置具有以下优点:1.尤其是在视频图像序列的除雾处理中，可以估计出比基于单帧图像的除雾算法更加准确的雾浓度基准值；2.可以在摄像机正常运行过程中，自动完成估计雾浓度基准值所需参数的调整，无不影响摄像机的运行，尤其是不影响摄像机的PTZ调整；3.根据本发明求取雾浓度基准值的过程可以容易地结合到基于大气模型的其他方法中；4.根据本发明的方法或装置可以容易地通过软件或硬件实现，仅需在现有软件或硬件的基础上做较小的改动。
图1示出大气模型的示意图。图2示出根据本发明的第一实施例的图像除雾装置的示意性框图。图3示出根据本发明的第一实施例的图像除雾方法的流程图。图4示出PTZ特性数据与图像位置的示意性关系。图5示出非线性畸变的示意图。图6示出最大焦距时PTZ特征数据与全景图的示意性关系。图7示出在焦距变化时由PTZ特征数据求取全景图的示意图。图8示出视频图像序列的示意图。图9示出根据本发明的第二实施例的图像除雾装置的示意性框图。图10示出根据本发明的第二实施例的图像除雾方法的流程图。图11示出根据本发明的第三实施例的图像除雾装置的示意性框图。图12示出根据本发明的第三实施例的图像除雾方法的流程图。图13示出根据本发明的第四实施例的图像除雾装置的示意性框图。
具体实施例方式以下结合附图详细阐述本发明的实施例。首先，结合图2和图3说明根据本发明的图像除雾装置和根据本发明的图像除雾方法的基本原理，其中，图2示出根据本发明的第一实施例的图像除雾装置的示意性结构框图，图3以流程图示出根据本发明的第一实施例的图像除雾方法的方法步骤。根据本发明，通过存储多帧图像来增大用于寻找雾浓度基准点或者求取雾浓度基准值的图像范围，从而显著提高除雾处理的准确性。雾浓度基准值点表示图像中雾最浓的像素，而雾浓度基准值是图像中雾最浓的像素的值(RGB)。可以借助多种现有技术中已知的方法计算或估计雾浓度基准值。如图2所示，根据本发明的第一实施例的图像除雾装置100包括摄像机控制器101、雾浓度基准估计区域生成单元102、雾浓度基准求取单元103和除雾单元104。摄像机控制器101可以控制摄像机在至少一个方向上运动。例如，对于监控领域中常用的PTZ摄像机，摄像机控制器101可以使其进行水平方向和/或垂直方向上的摆动以及调节其焦距，其中，PTZ摄像机在水平方向上的摆动可以称作水平摆动或左右摆动，而PTZ摄像机在垂直方向上的摆动可以称作垂直摆动或俯仰摆动。另一方面，摄像机控制器101可以记录和输出摄像机在拍摄任何一帧图像时关于摄像机的水平摆动、垂直摆动和焦距的数据一例如水平角、俯仰角和焦距，这些数据以下也称作图像的PTZ特征数据。摄像机控制器101可以存储和输出所述PTZ特征数据的最大范围，所述最大范围表示借助摄像机能够拍摄到的最大场景，其中，所述PTZ特征数据的极限值通常对应于所述最大场景的边缘区域。在此，所述最大场景范围也称作视野范围，并且视野范围的图像定义为全视野图像P。由于摄像机的运动，摄像机拍摄的任何一帧图像均小于全视野图像P或者包含在全视野图像P中，在这个意义上说，全视野图像P是假想的图像，而不是借助摄像机在某一时刻拍摄得到的真实图像。摄像机控制器101可以根据每一帧图像的PTZ特征数据确定每一帧图像的场景在借助摄像机能够拍摄到的最大场景中的相对位置，即计算出每一帧图像在全视野图像P中的相对位置(坐标)。雾浓度基准估计区域生成单元102用于基于存储的多帧图像生成雾浓度基准估计区域。雾浓度基准估计区域生成单元102主要包括第一存储单元105、第二存储单元106和全景图生成单元107。第一存储单元105用于存储在时间上最近连续拍摄的F帧图像，即除存储当前帧图像以外还存储之前连续拍摄的F-1帧图像。第二存储单元106用于存储各帧图像的PTZ特征数据。全景图生成单元107利用各帧图像的PTZ特征数据将第一存储单元105中的各帧图像拼接成一个全景图。该全景图即为雾浓度基准估计区域。雾浓度基准求取单元103用于计算由雾浓度基准估计区域生成单元102生成的全景图的雾浓度基准值并将其作为当前帧图像的雾浓度基准值，以及计算除雾算法所需的其他参数，例如传输图像。除雾单元104用于例如按照如图1和公式(I)所示的大气模型利用求出的雾浓度基准值和其他参数计算出除雾图像。以下参见图3，阐述借助在图2中示出的图像除雾装置100实施图像除雾的过程。首先，在方法步骤S301中，设置图像存储参数F的值。在此，图像存储参数F的单位是帧，表示除存储当前帧图像以外还需要存储在当前帧图像之前连续拍摄的F-1帧图像，即存储在时间上最近连续拍摄的F帧图像，再早的图像不再存储。在接下来的方法步骤S302中判断是否收到关于停止进行除雾处理的指令，如果收到所述指令，则停止运行根据本发明的图像除雾装置或者结束根据本发明的图像除雾方法，如果没有接收到所述指令，则继续执行方法步骤S303。在接下来的方法步骤S303中，摄像机拍摄一帧图像(也称作当前帧图像)并且将其分别传送给雾浓度基准估计区域生成单元102和除雾单元104。当前帧图像存储在雾浓度基准估计区域生成单元102中的第一存储单元105中。与此同时，摄像机控制器101记录当前帧图像的PTZ特征数据并且将其存储在雾浓度基准估计区域生成单元102中的第二存储单元106中。在接下来的方法步骤S304中，判断所存储的图像帧数是否大于设置的图像存储参数F。如果是，则第一存储单元105和第二存储单元106抛弃当前帧图像之前的第F帧图像以及早于第F帧图像的所有图像及其相应的PTZ特征数据，也就是说，仅仅保留在时间上最近连续拍摄的F帧图像及其相应的PTZ特征数据(S305)。如果不是，则继续执行方法步骤 S306。在接下来的方法步骤S306中，全景图生成单元107读取存储在第二存储单元106中的PTZ特征数据，并且根据PTZ特征数据计算出相应图像在全视野图像中的相对位置(坐标)；全景图生成单元107读取存储在第一存储单元105中的图像，并且按照由PTZ特征数据计算出的各帧图像的相对位置(坐标)来摆放这些图像。对于摆放时出现的重叠部分，以在时间上更晚拍摄的图像的数据来替代更早拍摄的图像的数据。由此拼接成一个全景图。除了当前帧图像完整地保留在拼接成的全景图中以外，其他在时间上更早拍摄的图像可能是不完整的。拼接出的全景图可能具有一个或多个区域，其中，出现多个区域的原因是PTZ摄像机动作速度较快从而导致所拍摄的图像在空间上没有重合部分。可以使用现有技术中已知的方法处理拼接的交界处，例如直接拼接、插值、仿射变换等等。在接下来的方法步骤307中，雾浓度基准求取单元103基于雾浓度基准估计区域生成单元102生成的全景图计算雾浓度基准值并且将其作为当前帧图像的雾浓度基准值。雾浓度基准求取单元103还可以计算当前帧图像的其他参数，例如传输图像，以便例如采用基于大气模型的方法进行图像除雾。可以使用多种已知的方法来求取雾浓度基准值和其他参数，例如暗通道法(DarkChannel Prior)等等。在接下来的方法步骤S308中，例如按照如图1和公式(I)所示的大气模型利用求出的雾浓度基准值和其他参数计算出除雾图像。随后，所述除雾方法跳转到方法步骤S302，重复以上方法步骤S302至S308，以便对下一帧图像进行除雾处理。由此，所述图像除雾方法不断重复，直到收到关于停止进行除雾处理的指令为止。图4示意性地说明PTZ特性数据与图像位置的关系。第I帧图像和第2帧图像分别是摄像机在俯仰角I和俯仰角2时拍摄的两帧图像，其中，俯仰角I和俯仰角2分别位于水平线的上下两侧。同样，水平角会影响第I帧图像和第2帧图像在全视野图像中的水平位置。在所示示例中，第2帧图像比第I帧图像具有更小的焦距，因此所覆盖的范围也更大。每一帧图像的PTZ特征数据通常可以包括三个参数——水平角、俯仰角和焦距并且可以唯一地确定各帧图像在全视野图像内的位置，反之亦然。需要说明的是，图4所示的全视野图像和图像的形状没有考虑摄像机镜头导致的非线性畸变，但这不影响PTZ特征数据和各帧图像在全视野图像中的位置的唯一确定的关系。图5示意性地示出了所述非线性畸变，其导致即使平直的图像边缘在映射到全视野图像中时不再平直。在图6中示出最大焦距时PTZ特征数据与全景图的示意性关系。在摄像机PTZ运行时，能够以支架提供的旋转点进行PT动作，即左右摆动和俯仰摆动，同时能够在通过这个旋转点的直线上进行Z动作，即调节焦距。通过镜头成像，摄像机的感光器件分辨率(像素数)决定了在最大焦距时所拍摄图像画面的大小，即为图6中的区域AB⑶。通过PT动作，区域ABCD在空间移动，最大可覆盖的面积构成空间中的一个球面，其半径为d。水平视角为α ，垂直视角为α2。如果PT动作受限，最大覆盖面积则构成该球面的一部分。具有某些特殊镜头的摄像机会产生其他拍摄效果，得到其他空间曲面，例如柱面，但原理相同。摄像机拍摄的图像通常为矩形，或者边缘略微变形的矩形。由于区域ABCD在空间中位置唯一确定，将区域AB⑶拼接即可获得全景图。现有技术中已经公开了多种拼接方法，通常包括选取控制点、仿射变换和插值等步骤。例如Richard Szeliski的《Image alignment andstitching》。在 N.Paragios 等编著的《Handbook of Mathematical Models in ComputerVision》(第273-292页，Springer出版社，2005)中所论及的若干方法。图7示出在焦距变化时由PTZ特征数据求取全景图的示意图。类似于图6，摄像机的焦距最大时，所对应的图像全景图球面半径是00'(长度为d)。在调节焦距时，只要焦距未达到最大焦距，所对应的球面半径的都小于d，如图7中所示的00”，半径为d’。由于像素数不变，即AB⑶区域面积不变，所以αΓ > α 且α2’ > α 2，即空间中覆盖的范围随着增大。相当于拍摄了半径为00'的球面上的更大区域A’B’C’D’。由于全景图是在最大焦距对应的球面00’上的，因此，投影计算过程包括在AB⑶图像上的像素之间进行插值，得到覆盖A’B’C’D’的插值后图像。插值的方法有多种现有技术可供选择。只有当焦距为最大值时，所拍摄的图像的区域A’ B’ C’ D’不需要插值即可得到。A’ B’ C’ D’在d已知的情况下是确定的。因此，可以通过拼接空间球体上的多个区域A’ B’ C’ D’构成全景图。在全景图生成单元107中生成的图像的轮廓不一定是矩形，通常是不规则的。如图8所示，在某一时刻，摄像机拍摄了第17帧图像，例如由于摄像机的摆动，第17帧图像和在其之前连续拍摄的16帧图像构成了连续扫描的图像叠加，其外包络构成了由全景图生成单元107生成的全景图的边缘。通过拼接存储的多帧图像得到的全景图所覆盖的场景范围原则上不小于当前帧图像所覆盖的场景范围，从而可以提高包含用于求取雾浓度基准值的更理想的图像部分的概率，所述图像部分在此也可以称作雾浓度基准理想估计区域，其通常是图像中地平线以上且十分靠近地平线的区域或者仰角不是很大的天空区域。因此，除了在雾极浓以致于遮挡地平线以下的景物的情况之外，需要地平线以上的图像部分进行雾浓度基准值的计算或者估计。例如，在图8中，当前帧是第17帧，从第14帧图像起，图像的覆盖范围不包括地平线及其以上区域，所以仅仅利用第17帧图像来求取雾浓度基准值会得出错误的或者次优的结果。根据本发明通过拼接存储的多帧图像得到的全景图中，由第8帧图像到第13帧图像构成的全景图部分覆盖了包含地平线的区域，因此从第8帧图像起的各帧图像使用由所述区域的数据求出的雾浓度基准值更可靠。因为第一存储单元105和第二存储单元106仅仅分别保留最新的F帧图像和相应的PTZ特征数据，所以由全景图生成单元104生成的全景图的范围不仅与摄像机的摆动和/或变焦操作导致的图像扫描轨迹有关，也与图像存储参数F的大小有关。例如，在图8中，如果选择F = 17，则由全景图生成单元106生成的全景图覆盖从第I帧图像到第17帧图像覆盖的范围，如果选择F = 6，则由全景图生成单元106生成的全景图仅仅覆盖通过阴影示出的范围。图像存储参数F的值可以为固定值，或者出厂时设定，或者在部署根据本发明的装置后由用户设定。图像存储参数F的值通常可以较大，例如达到几百帧或者几千帧。优选地，根据经验和/或具体天气情况确定图像存储参数F的值。图9示出根据本发明 的第二实施例的图像除雾装置的示意性结构框图而图10以流程图示出根据本发明的第二实施例的图像除雾方法的方法步骤。简明起见，在此不再赘述与根据第一实施例的图像除雾装置和图像除雾方法的相同之处，仅仅详细阐述与根据第一实施例的图像除雾装置和图像除雾方法的区别。与根据第一实施例的图像除雾装置相比，根据本发明的第二实施例的图像除雾装置200还包括第三存储单元108和图像存储参数计算单元109。第三存储单元108用于存储由雾浓度基准求取单元103计算出的雾浓度基准值。图像存储参数计算单元109用于判断判断是否需要调节图像存储参数F以及如何调节图像存储参数F。调节图像存储参数F的基本考虑在于:当雾基本稳定时，由摄像机拍摄的连续图像的各雾浓度基准值没有显著差别。当雾变化时，由摄像机拍摄的连续图像的各雾浓度基准值也会发生改变。因此，在雾变化时，根据在时间上较早拍摄的图像来估计当前帧图像的雾浓度基准值可能会产生显著的误差。为了防止这种误差出现，可以根据雾浓度的实际变化情况来相应地调节图像存储参数F。与根据第一实施例的图像除雾方法相比，根据本发明的第二实施例的图像除雾方法在方法步骤S801中除设置图像存储参数F的初始值之外还设置图像存储参数F的上下限范围。设置图像存储参数F的上下限范围的目的主要是防止F减小或者增大超出合理范围，例如在极端情况下减小到零或者无限制地增大。根据本发明的第二实施例的图像除雾方法的方法步骤S802-S807与根据第一实施例的图像除雾方法的方法步骤S302-S307相同。在方法步骤S807中同样基于全景图计算雾浓度基准值作为当前帧图像的雾浓度基准值，不同的是，当前帧图像的雾浓度基准值还传输给第三存储单元108并且存储在第三存储单元108中。在接来下的方法步骤S808中，图像存储参数计算单元109判断是否需要调节图像存储参数F以及如何调节图像存储参数F，这可以通过以下解决方案实现。在第一解决方案中，为了判断雾浓度的实际变化情况，比较当前帧图像的雾浓度基准值Rn和前一帧图像的雾浓度基准值Rh。如果Rn和Rim相差大于等于一个预给定的(正)阈值AR1，则减小F ;如果&和&相差小于所述预给定的阈值AR1，则增大F。例如，当 Rn-Rh 彡 ARl, F = F-AF1 ;当 Rn-Rm < ARl, F = F+AF2，其中，F 的减小量 AF1 和 F的增大量AF2可以相等也可以不相等，在不相等时体现除雾装置对雾浓度向浓和向淡变化的不同敏感度，Λ F1和AF2的典型取值为I 10。ARl或者是预给定的或来自历史统计，典型取值为I 10 (当图像存储为8比特，即像素亮度范围为O 255时)。在第二解决方案中，为了判断雾浓度的实际变化情况，比较当前帧图像的雾浓度基准值Rn和在前的某一帧图像的雾浓度基准值Rn_x。如果Rn和Rn_x相差大于等于一个预给定的(正)阈值Λ R2，则减小F ;如果Rn和Rn_x相差小于所述预给定的阈值Λ R2，则增大F。在此，X是当前帧与所述在前的某一帧的间隔并且可以根据摄像机的图像拍摄速率和/或具体拍摄环境和/或具体天气情况预给定。在雾浓度变化相对拍摄帧频速率十分缓慢的情况下，X的设定对于提高效果十分有利。例如，当Rn-Rn-x彡AR2, F = F-AF3 ;当RN_RN_X
<Λ R2，F = F+Λ F4，其中，F的减小量Λ F3和F的增大量Λ F4可以相等也可以不相等，在不相等时体现除雾装置对雾浓度向浓和向淡变化的不同敏感度，和AF4的典型取值为I 10。AR2或者是预给定的或来自历史统计，典型取值为I 10 (当图像存储为8比特，即像素亮度范围为O 255时)。在第三解决方案中，为了判断雾浓度的实际变化情况，比较包含当前帧图像的连续拍摄的M帧图像的雾浓度基准值的平均值ave(RN...RN_M+1)和在前的连续拍摄的M帧图像的雾浓度基准值 ave (Rn_m...Rn_2M+1) ο 如果 ave (RN...RN_M+1)和 ave (RN_M...RN_2M+1)相差大于等于一个预给定的阈值Δ R3,贝丨J减小F ;如果ave (RN...RN_M+1)和ave (RN_M...RN_2M+1)相差小于所述预给定的阈值AR3，则增大F。在此，M可以根据图像拍摄速率具体拍摄环境和/或具体天气情况预给定。替代地，在前连续拍摄的M帧图像和在后连续拍摄的M帧图像之间可以间隔预给定的帧数。在第四解决方案中，还可以更简单地比较当前帧图像的雾浓度基准值Rn与一个预给定的第一阈值Rfi和一个预给定的第二阈值如果Rn大于等于RF1，则减小F ;如果Rn小于RF2，则增大F。在此，Rfi可以大于或者等于RF2，并且Rfi和Rf2可以根据经验值预给定。在此，在第四解决方案基于以下认识:根 据大气系统气象规律，雾浓度与雾浓度的变化速率基本上成相反变化关系。薄雾或者霾会在较长时间上稳定存在；相反，雾越浓越容易在短时间内发生变化。在第五解决方案中，根据当前帧图像的雾浓度基准值和一个查找表LUT(L00k-upTable)来调节图像存储参数F，其中，所述查找表LUT可以存储在一个未示出的存储单元中。所述查找表LUT中记录了天气情况(尤其是雾)的历史数据和/或至少当天的天气预测。由此可以更灵活并且更及时地调节图像存储参数F。图像存储参数F的上下限范围可以通过经验值给定，也可以设置成历史数据的正态分布的标准差的若干倍。当然也可以考虑，使每次增大或减小图像存储参数F的幅度适应于各解决方案中的判断结果，例如适应于与阈值的比较结果，根据与相应阈值的差值相应地调节增大或减小图像存储参数F的幅度。图11示出根据本发明的第三实施例的图像除雾装置300的示意性结构框图而图12以流程图示出根据本发明的第三实施例的图像除雾方法的方法步骤。与根据第二实施例的图像除雾装置相比，根据本发明的第三实施例的图像除雾装置300附加地包括雾浓度基准理想估计区域识别单元110，其用于识别雾浓度基准理想估计区域。简明起见，在此不再赘述与根据第二实施例的图像除雾装置和图像除雾方法的相同之处，仅仅详细阐述与根据第二实施例的图像除雾装置和图像除雾方法的区别。根据本发明的第三实施例的图像除雾装置和图像除雾方法可以自适应视频图像的纹理变化，从而实现更小的图像存储参数F并且降低计算开销。其基本原理是:如果当摄像机运行时(在此期间例如可以进行摆动和/或变焦)所拍摄的图像不会覆盖雾浓度基准理想估计区域，则存储更多图像的益处不明显，计算出的雾浓度基准值都是次优解，在这样的情况下可以大大减小图像存储参数F，以便减轻存储压力，同时全景图面积的减小也有助于降低求取雾浓度基准值和其他大气模型参数以及求解除雾图像时的计算开销。现在参见图12，与根据第二实施例的图像除雾方法不同，在方法步骤S1001中设置图像存储参数F的初始值和上下限范围，其中，选择两个可选值Fmaxl和Fmax2中较小的一个Fmax2作为上限值Fmax。较小的上限值Fmax2表示在构成全景图的图像序列不包含雾浓度基准理想估计区域的情况下的最大图像存储参数。根据本发明的第三实施例的图像除雾方法的方法步骤S1002-S1007和S1011-S1012分别与根据第二实施例的图像除雾方法的方法步骤S802-S809相同。如果雾浓度基准理想估计区域识别单元110识别到构成全景图的视频图像序列中包含雾浓度基准理想估计区域，则在方法步骤S1009中选择较大的上限值Fmaxl作为上限值Fmax，从而使雾浓度基准理想估计区域在全景图中存在的时间更长。如果雾浓度基准理想估计区域识别单元110没有识别到构成全景图的视频图像序列中包含雾浓度基准理想估计区域，则在方法步骤S1010中选择较小的上限值Fmax2作为上限值Fmax，从而使雾浓度基准理想估计区域在全景图中存在的时间更短。在方法步骤S1008中，理想雾浓度基准理想估计区域识别单元110例如可以借助多种方法来识别雾浓度基准理想估计区域:通过图像色块大小、空间变化快慢和相对位置等等特征采用图像分割和识别来判断地平线和天空区域的方法；通过预设定的摄像机运行参数(主要是关于水平摆动、垂直摆动和焦距的数据)范围判断全景图中的雾浓度基准理想估计区域，如图8所示，地平线(粗黑水平线)区域为雾浓度基准理想估计区域，则可以求得相对应的PTZ特征参数，在摄像机运行过程中，如果出现与所述区域相对应的PTZ特征参数，则可以判断存在雾浓度基准理想估计区域；获取深度信息(距离信息)，无穷远识别为天空并且无穷远区域的下边界识别为地平线，从而确定雾浓度基准理想估计区域。优选地，可以附加地设置距离探测器，其用于与摄像机相配合并且给出由摄像机拍摄的图像的每个像素的相应距离值，用于确定雾浓度基准理想估计区域。图13示出根据本发明的第四实施例的图像除雾装置的示意性结构框图。根据第四实施例的图像除雾装置在用户没有摄像需求的时间段内通过操作摄像机来捕捉雾浓度基准理想估计区域，其中，用户没有摄像需求的时间段通常是摄像机或摄像机系统启动后的短暂时间或者也可以是用户为了实现更准确的除雾而主动给定的时间段。与根据本发明的第三实施例的图像除雾装置300相比，在根据本发明的第四实施例的图像除雾装置400中附加地设置第四存储单元111，其与雾浓度基准理想估计区域识别单元110连接。在所述第四存储单元111中存储雾浓度基准理想估计区域(在全视野图像中)的位置信息。在此，所述位置信息可以通过以下方式中的至少一种获得:由用户预给定，例如在安装PTZ摄像机后，通过由用户给定相应区域的PTZ特征参数来确定所述位置信息，或者在每次启动摄像机或摄像系统后由用户操作摄像机来记录所述位置信息；根据历史数据判断，例如当在图像除雾装置运行过程中摄像机拍摄到雾浓度基准理想估计区域时，相应的PTZ特征参数便存储在第四存储单元111中，尤其是由此得到相应于雾浓度基准理想估计区域的PTZ特征参数的数据库。当雾浓度基准估计区域生成单元102收到关于进行雾浓度基准理想估计区域拍摄的用户指令时，雾浓度基准理想估计区域识别单元102向摄像机控制器101发出操作指令，摄像机控制器101根据所述用户指令调整摄像机的水平位置和垂直位置并且在必要时调整摄像机的焦距，从而主动地拍摄雾浓度基准理想估计区域。在此，可以拍摄与当前帧图像的PTZ特征参数差别最小的雾浓度基准理想估计区域，用于最快速的拍摄；或者也可以拍摄相应于雾浓度基准理想估计区域的PTZ特征参数的数据库中最理想位置的PTZ特征参数所对应的区域。特别地，在以上所述的实施例中，可以不完整地保存每一帧图像，而是仅仅保存拼接成的全景图。基于当前帧图像的PTZ特征数据，由当前帧图像与所保存的全景图得到新的全景图。然后，在雾浓度基准求取单元103中基于新的全景图计算当前帧图像的雾浓度基准值。由此可以节省大量的存储空间。特别地，在以上所述的实施例中，当摄像机的姿势和焦距在很长时间上没有改变时，所拍摄的场景也保持不变，在此可以仅仅保存最后一帧图像。由此可以节省大量的存储空间。特别地，在以上所述的实施例中，如果雾浓度基准求取单元103被构造用于采用暗通道法(Dark Channel Prior)来计算包括雾浓度基准值的大气模型参数，则附加地保存全景图的暗通道(D.C.)值，从而可以进一步降低计算开销。在此，在当前帧图像的暗通道图像与之前的全景图的暗通道图像进行拼接时，需要重新计算拼接边界区域的暗通道值，而不能简单拼接，因为暗通道图像的每个像素的计算与其周围的预给定窗口内的图像值有关。需要说明的是，在此可以假定在一幅图像中雾的浓度分布是均匀的或者是不均匀的，这仅仅涉及不同的雾浓度估计方法，但只要涉及雾浓度基准的计算或估计，本方法均可以适用。需要说明的是，在不进行非常严格的区分的情况下，以上提到的“雾浓度基准值”或“雾浓度基准”等同于背景技术部分中提到的“大气光值”，或者说，在某种意义上根据大气模型求出的大气光值是“雾浓度基准”的估计。需要说明的是，第一存储单元105、第二存储单元106、(可能存在的)第三存储单元108和(可能存在的)第四存储单元111既可以是单独的存储装置也可以是一个存储装置中的不同单元或存储区域。需要说明的是，调节图像存储参数F的主要目的在于适应雾浓度随时间的变化。图像存储参数F的调节同样可以考虑同一摄像机或不同摄像机的图像拍摄速率或分辨率的变化，但这些情况均适用于根据本发明的技术方案，仅需根据具体应用情况作出简单的适应性调整。应当理解，根据本发明图像除雾装置或者图像除雾方法可以实现为硬件、软件或者二者的结合。优选地，根据本发明的图像除雾装置可以实现为FPGA、ASIC或基于微控制器的任意电路装置。
虽然本文参考具体的实施例描述和说明了本发明，但是本发明并不旨在局限于所示的细节中。而是，在不偏离本发明的情况下，可作出落入权利要求书的等同物范围内的针对细节的各种修改。
权利要求
1.一种图像除雾装置，所述图像除雾装置用于对由摄像机摄取的图像进行除雾处理，所述图像除雾装置包括: 摄像机控制器，其用于控制摄像机在至少一个方向上摆动和/或变焦以及用于记录和输出由所述摄像机摄取的图像的PTZ特征数据； 雾浓度基准估计区域生成单元，其用于利用所述PTZ特征数据将在时间上最近连续拍摄的F帧图像拼接成全景图，其中，F是图像存储参数； 雾浓度基准求取单元，其用于求取所述全景图的雾浓度基准值； 除雾单元，其利用所述雾浓度基准值对当前帧图像进行除雾处理。
2.根据权利要求1所述的图像除雾装置，其特征在于， 所述雾浓度基准估计区域生成单元包括第一存储单元、第二存储单元和全景图生成单元，其中，所述第一存储单元用于存储所述在时间上最近连续拍摄的F帧图像，所述第二存储单元用于存储所述第一存储单 元中的各帧图像的PTZ特征数据，所述全景图生成单元用于利用所述第二存储单元中的PTZ特征数据将所述第一存储单元中的F帧图像拼接成所述全景图。
3.根据权利要求2所述的图像除雾装置，其特征在于， 所述雾浓度基准估计区域生成单元设置所述图像存储参数F的值，其中，所述图像存储参数F的值是固定的。
4.根据权利要求2所述的图像除雾装置，其特征在于， 所述雾浓度基准估计区域生成单元初始化所述图像存储参数F的值，其中，所述图像存储参数F的值是可调节的； 所述雾浓度基准估计区域生成单元还包括第三存储单元和图像存储参数计算单元，其中，所述第三存储单元用于存储由所述雾浓度基准求取单元求出的雾浓度基准值，所述图像存储参数计算单元用于判断是否需要调节所述图像存储参数F以及如何调节所述图像存储参数F。
5.根据权利要求4所述的图像除雾装置，其特征在于， 所述图像存储参数计算单元比较所述当前帧图像的雾浓度基准值和前一帧图像的雾浓度基准值， 如果所述当前帧图像的雾浓度基准值与所述前一帧图像的雾浓度基准值相差大于等于一个预给定的阈值，则减小所述图像存储参数F ； 如果所述当前帧图像的雾浓度基准值与所述前一帧图像的雾浓度基准值相差小于所述预给定的阈值，则增大所述图像存储参数F。
6.根据权利要求4所述的图像除雾装置，其特征在于， 所述图像存储参数计算单元比较所述当前帧图像的雾浓度基准值与一个预给定的第一阈值和一个预给定的第二阈值， 如果所述当前帧图像的雾浓度基准值大于等于所述第一阈值，则减小所述图像存储参数F ; 如果所述当前帧图像的雾浓度基准值小于所述第二阈值，则增大所述图像存储参数F，其中，所述第一阈值大于或者等于所述第二阈值。
7.根据权利要求4所述的图像除雾装置，其特征在于，所述图像存储参数计算单元根据所述当前帧图像的雾浓度基准值和查找表来调节所述图像存储参数F,其中,在所述查找表中记录了天气情况的历史数据和/或至少当天的天气预测。
8.根据权利要求4至7所述的图像除雾装置，其特征在于， 所述雾浓度基准估计区域生成单元设置所述图像存储参数F的上限值和下限值。
9.根据权利要求8所述的图像除雾装置，其特征在于， 所述雾浓度基准估计区域生成单元还包括雾浓度基准理想估计区域识别单元，其中，所述雾浓度基准理想估计区域识别单元用于在所述全景图中识别雾浓度基准理想估计区域， 在存在所述雾浓度基准理想估计区域的情况下将所述图像存储参数F的上限值设定为第一上限值而在不存在所述雾浓度基准理想估计区域的情况下将所述图像存储参数F的上限值设定为第二上限值，其中，所述第一上限值大于第二上限值。
10.根据权利要求1至9中任一项所述的图像除雾装置，其特征在于， 所述雾浓度基准估计区域生成单元还包括第四存储单元，所述第四存储单元用于所述存储雾浓度基准理想估计区域的位置信息， 所述雾浓度基准估计区域生成单元在收到关于进行所述雾浓度基准理想估计区域拍摄的用户指令时根据所述雾浓度基准理想估计区域的位置信息控制所述摄像机主动地拍摄所述雾浓度基准理想估计区域。
11.一种图像除雾方法，用`于对由摄像机摄取的图像进行除雾处理，所述图像除雾方法包括如下步骤: 设置图像存储参数F ; 控制所述摄像机在至少一个方向上摆动和/或变焦、摄取图像并且记录和输出所摄取的图像的PTZ特征数据； 利用所述PTZ特征数据，将在时间上最近连续拍摄的F帧图像拼接成全景图； 求取所述全景图的雾浓度基准值； 利用所述雾浓度基准值对当前帧图像进行除雾处理。
全文摘要
本发明涉及一种图像除雾装置，所述图像除雾装置包括摄像机控制器，其用于控制摄像机在至少一个方向上摆动和/或变焦以及用于记录和输出由所述摄像机摄取的图像的PTZ特征数据，其中，所述PTZ特征数据包括用于说明所述摄像机在摄取所述图像时的水平角和/或俯仰角和/或焦距的数据；雾浓度基准估计区域生成单元，其用于生成在时间上最近连续拍摄的F帧图像的全景图，其中，F是图像存储参数；雾浓度基准求取单元，其用于求取所述全景图的雾浓度基准值；除雾单元，其利用所述雾浓度基准值对当前帧图像进行除雾处理。本发明还涉及一种图像除雾方法。
文档编号H04N5/21GK103188433SQ20111045662
公开日2013年7月3日 申请日期2011年12月30日 优先权日2011年12月30日
发明者吕越峰, 三好雅则, 伊藤诚也, 李媛 申请人:株式会社日立制作所