宽动态摄像机中不同曝光度图像的双次配准方法
【专利摘要】本发明涉及一种宽动态摄像机中不同曝光度图像的双次配准方法。现有宽动态摄像机中利用基于图像特征的配准算法来实现不同曝光度图像配准，计算量过大。本发明方法采用宽动态摄像机中不同曝光度图像的双次配准方法，包括通过拍摄硬件获取多路不同曝光度的视频图像数据，对相同曝光度的视频分别进行配准，再利用配准后的视频图像进行不同曝光度图像的再次配准，提升了不同曝光度视频图像的配准精度，最后合成所需的宽动态图像。本发明方法可以提升手持宽动态摄像机不同曝光度视频图像的配准效果，合成成像效果更好的宽动态视频，同时减少了配准运算量。本发明方法利用双次配准增加了不同曝光度图像的配准精度，提高了宽动态视频的成像质量。
【专利说明】宽动态摄像机中不同曝光度图像的双次配准方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，涉及目前宽动态视频图像的捕捉和处理方法，具体是一种宽动态摄像机中不同曝光度图像的双次配准方法。
【背景技术】
[0002]人眼所观察到的现实世界中包含着及其丰富的亮度和色彩等信息，但是目前的消费级图像视频捕获设备提供的图像数据往往是用8bit来记录一个像素点的单一色彩值。Sbit数据只能记录256个不同的级别，这样的数据记录量明显是不够的，因为人眼能够感觉的亮度范围(称为视觉范围)极宽，从千分之几尼特直到几百万尼特。对目前的消费级图像视频捕获设备而言，过亮和过暗的像素值则会被错误的记录，造成了图像细节的丢失。宽动态范围图像相比普通图像，提供了更多的动态范围和图像细节。利用多次不同曝光的图像来合成宽动态视频成为了当前研究的热点问题。
[0003]目前的宽动态图像合成一般由三个步骤完成:
[0004]1.相机响应曲线的获取。目前常用的两种相机响应曲线的获取方法主要有两种:一种是美国加州伯克利分校的Debevec和Mailik提出的，另一种是日本索尼的Mitsunaga和美国的Nayar提出的。利用多张曝光图片的像素值和相应的曝光时间，可以通过相机响应曲线获得相应的亮度值。
[0005]Debevec和Mailik提出的相机响应曲线获取的原理如下:
[0006]Zij = f (Ei Δ tj)
[0007]其中Zij代表了第j幅图像第i个像素点的像素值，Ei代表图像第i个像素点的亮度值，第代表了第j幅图像的曝光时间。f为亮度值乘以曝光时间到像素值转换的函数。
[0008]假设函数单调递增，这也与实际情况相符合，接受的光量越大，像素值越高。可以得到:
[0009]I'1 (Zij) = Ei Δ tj
[0010]再两边取对数，可以得到:
[0011 ] In 0-1 (Zij)) = In (Ei Δ t」)
[0012]这里定义函数g = ΙηΔ1，则可以得到:
[0013]g(Zij) = lnEi+lnAt」，函数g即为所求的相机响应函数。
[0014]2.不同曝光度的图像配准并合成宽动态图像。目前影响宽动态图像合成质量的因素就是由于不同曝光度的图像在拍摄过程中存在时间间隔，可能产生相对的位移。而这种位移的产生就会造成合成以后的宽动态图像出现模糊等现象，对成像质量带来了极大的影响。需要对不同曝光度的图像先进行配准已实现较好的合成效果，提升合成的宽动态图像的质量。不同曝光度的图像合成公式如下:
【权利要求】
1.宽动态摄像机中不同曝光度图像的双次配准方法，其特征在于该方法具体步骤是: 步骤(1)获取拍摄硬件的响应函数g，获取方法具体是: 在静态条件下，拍摄硬件对同一场景拍摄P张不同曝光度的图像，P > 2，在每张图像中均匀采样N个像素点，利用每个采样像素点对应的像素值、曝光时间，得到拍摄硬件的响应函数 g (Zij) = InEi+lnAtj ； 其中，Zij表示第j幅图像第i个采样像素点的像素值，Ei表示第i个采样像素点的亮度值，第表示第j幅图像的曝光时间； 将P张图像中一共PXN个采样点的像素值Zij和曝光时间Atj代入误差函数
中求解即可得到响应函数g ； N的取值需满足
，Zmax和Zmin分别为采样像素点的最大像素值和最小值像素值； 步骤(2)拍摄硬件在拍摄时，同时获取多路不同曝光度的视频图像数据，多路不同曝光度的视频图像数据由拍摄硬件在不同曝光度下交替拍摄获取，所述的拍摄硬件为宽动态摄像机； 步骤(3)将已获取的多路不同曝光度的视频图像分别进行配准操作，使得同一曝光度下的视频图像序列获得良好的稳定性；所述的相同曝光度视频配准操作具体方法是: 对于相同曝光度的视频图像序列，选取固定帧作为参考帧，利用块匹配进行参考帧与当前帧之间的匹配，具体是: 在一帧图像中均匀选取16个64X64像素大小的匹配块，设定搜索范围为15个像素； 首先将三个颜色通道的彩色图像利用灰度图转换公式
进行灰度化，其中grey表示得到的灰度值，R表示输入图像该点红色分量的像素值，G表示输入图像该点绿色分量的像素值，B表示输入图像该点蓝色分量的像素值； 利用公
进行匹配误差计算，其中S表示匹配块中的像素点，hr(x，y)表示参考帧中坐标为(x，y)点的灰度值，hn(x+m, y+n)表示当前帧中坐标为(x+m，y+n)点的灰度值，m和η为相应的位移量，m和η的范围为[_15，15]，SAD为总匹配误差值；在搜索范围中找到最小SAD值的匹配点，记录相应的m和η的值，确定为该匹配块的运动矢量； 在依次获取16个匹配块的运动矢量之后，利用同时存在平移运动和旋转的仿射变换公式计算全局的运动矢量，全局的运动矢量包括绕旋转中心顺时针旋转的弧度、全局运动的水平位移变化量、全局运动的垂直位移变化量:
其中(Xi，yi)为运动补偿之前的原坐标点，Θ为绕旋转中心顺时针旋转的弧度，(Xj, Yj)为(X^yi)进行运动补偿之后得到的坐标，公式简化为:
.通过16组Xj-Xi和Yfyi的值，得到θ、Λ X、Ay的值，Δ χ为全局运动的水平位移变化量，Ay为全局运动的垂直位移变化量； 根据下式计算出运动补偿后的点在原图像中的位置:
在上式的计算中，获取的Xpyi如果不是整数，通过下式处理:
down_left = (l_x_value)X (l-y_value)
down_right = x_value X (l-y_value)
up_left = (l-x_value)X y_value
up_right = x_value X y_value
result = down_left Xh(x, y)+down_rightXh(x+1, y) +up_leftXh(x, y+1) +up_rightXh(x+l, y+1)其中 x_value 为 Xi 的小数部分，y_value 为 Ji 的小数部分，down_left为左下像素系数、down_right右下像素系数、up_left为左上像素系数、up_right为右上像素系数，result为补偿后图像(x，y)点的像素值,函数h(x, y)表示(x, y)坐标位置的像素值； 步骤(4)将完成相同曝光度配准操作的视频图像进行中值门限位图匹配法进行配准，具体配准方法是: 采用金字塔形多分辨率匹配，分层的操作使得匹配图像从小到大，搜索层数为log2 (max_offset) ,max_offset为最大偏移位置,每一层进行匹配的图像均采用矩形，图像的长和宽都是上一层图像的两倍；每次匹配过程中，搜索距离被限制在±1个像素范围之内，这样就需要做9次匹配；在下一层匹配中，先移动匹配中心至2倍上一层最佳匹配位置，再进行下一层的匹配；依次操作，直到得到最终的匹配结果；在每一层的匹配过程中，具体步骤是: 首先将三通道彩色图像利用灰度图转换公式
进行灰度
化；通过
求得当前层灰度图的全局平均灰度值Α，其中Zm，n
为当前层灰度图坐标(m，n)的灰度值，width为当前层灰度图的宽度，length为当前层灰度图的长度；再建立与当前层灰度图同样尺寸的门限图:当输入图像某一像素点的灰度值小于全局平均灰度值A时，令该点的值为O，如果当输入图像某一像素点的灰度值大于等于全局平均灰度值A时，则令该点的值为I ; 建立与当前层灰度图同样尺寸的去干扰图:如果输入图像某一像素点的灰度值与全局平均灰度值差的绝对值小于阈值4，那么该点的值为O ;如果输入图像某一像素点的像素值与全局平均灰度值差的绝对值大于等于阈值4，那么该点的值为I ; 定义参考图像的门限图为tbl，待匹配图像的门限图为tb2，参考图像的去干扰图为ebl，待匹配图像的去干扰图为eb2 ； 将参考图像的门限图tbl与经过位移至9个后选匹配点中之一的待匹配图像门限图为shitfted_tb2进行异或运算,得到两者的异或图diff_bl ;再将diff_bl和参考图像的去干扰图为ebl进行与运算，得到图diff_b2 ;之后利用图diff_b2和经过位移的待匹配图像去干扰图shifted_eb2进行与运算,得到图diff_b3,求出图diff_b3中值为I的总数得打错误匹配数；在9个候选匹配点中找出最小错误匹配数的匹配点，为最佳匹配点，该点的位移为该层的运动矢量，代入下一层中进行运算； 步骤(5)根据步骤(1)计算获得的响应函数g及步骤(4)得到的多幅已配准的不同曝光度图像合成特定格式的宽动态图像，合成方法是:
其中W(Z)为权重函数,其函数为:
其中Z为该点实际像素值，Zmax为最大像素值、Zmin为最小像素值。
【文档编号】H04N5/235GK104202538SQ201410457507
【公开日】2014年12月10日 申请日期:2014年9月10日 优先权日:2014年9月10日
【发明者】杨勇, 宋暘, 陈晓东, 周建海, 陈宏 , 应跃波, 陈宪, 周智敏, 胡键巧, 吴宇超, 吴晓东, 潘永杰, 胡伟, 沈泰阁, 蒋丰, 李震 申请人:浙江广播电视集团