获取高动态图像的方法及系统的利记博彩app
【专利摘要】本发明提出了一种获取高动态图像的方法及系统。其中，该系统包括双目摄像机和计算机，所述双目摄像机包括同向紧挨设置的长曝光摄像头、短曝光摄像头，长曝光摄像头和短曝光摄像头通过数据线与计算机连接。长曝光摄像头以长曝光快门时间获取长曝光道路场景图像；短曝光摄像头以短曝光快门时间获取短曝光道路场景图像；计算机获取第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像的处理获得高动态图像。本发明的方法及系统由于采用双目摄像机分别同时获取不同曝光图像，缩短高动态图像的曝光时间长度，因此能够降低由摄像机的运动而导致的运动模糊。
【专利说明】获取高动态图像的方法及系统
【技术领域】
[0001]本发明涉及图像处理领域，特别涉及车载运动场景下由双目摄像机实现的获取高动态图像的方法及系统。
【背景技术】
[0002]有些场景中某些区域的亮度差异较大，有些区域较亮，而另一部分区域则较暗，摄像机在普通曝光拍摄这个场景时，无法同时获取那些区域的纹理信息，解决办法是使用高动态技术来控制摄像机的拍摄方式，使用动态非线性方式来记录环境中额亮度信息，使所拍摄图像包含更广阔的亮度信息，这就是高动态图像。
[0003]目前，一般是利用单个摄像机在时间上先后进行长曝光和短曝光而分别获取长曝光道路场景图像和短曝光道路场景图像，再将所获得的长曝光道路场景图像与短曝光道路场景图像进行合成来获取高动态图像。
[0004]现有的使用单个摄像机在时间序列上变换曝光来获取高动态图像的方法，由于是通过感光像素阵列进行时间上的长、短积分时间复位和读出来实现的，即分别进行长曝光时间和短曝光时间。那么，合成一张高动态图像的曝光时应为长曝光时间与短曝光时间之和，总的曝光时间过长，该单个摄像机的运动易产生运动模糊。
[0005]此外，现有的使用单个摄像机所采用的图像融合技术主要为区域的像素融合，容易造成合成图像的光流不平滑，不自然；对合成图像的后续处理技术较少，不能适合不同亮度的环境；运动补偿技术未考虑空间位置信息，不能进行较大位置变换的运动补偿。
【发明内容】
[0006]为了克服以上由单个摄像机在曝光时长引起的运动模糊的缺陷，本发明提出了一种可用于车载双目摄像机获取高动态图像的方法及系统，特别是可适用于车载运动场景下双目摄像机获取高动态图像的方法及系统。这里所述的双目摄像机可以由两个独立摄像机(其中两个独立摄像机分别具有长曝光摄像头和短曝光摄像头)组成，或者是一体式双目摄像机(同时具有长曝光摄像头和短曝光摄像头)。
[0007]—方面，本发明提出了一种双目摄像机获取高动态图像的方法，包括:获取第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第η帧长曝光道路场景图像由曝光快门时间为h的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为ts的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中πι=[η*ν\]，η大于或等于l，m大于或等于I ;分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像；对所述第η帧合成图像进行直方图均衡化处理，并获得第η帧高动态图像。
[0008]进一步地，所述分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，包括:对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域；根据所述第η帧有效长曝光像素区域和所述第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率。
[0009]进一步地，当η*ν\为非整数时，在所述分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差之后，还包括:对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。
[0010]进一步地，所述对所述第m帧有效短曝光道路场景图像进行运动补偿，包括:根据所述第η帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔At、汽车前向速度V和横摆角速度w，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至Λ t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。
[0011]进一步地，依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及第η帧合成图像的直方图，调整^ ts和W，其中当η为I时，ts和W分别为其初始值。
[0012]第二方面，本发明提出了一种获取高动态图像的系统，包括:双目摄像机和计算机，所述双目摄像机 包括同向紧挨设置的长曝光摄像头和短曝光摄像头，所述长曝光摄像头和所述短曝光摄像头通过数据线与所述计算机连接，其中所述长曝光摄像头和所述短曝光摄像头并排紧挨放置，其光轴近似平行且采样频率相同；所述长曝光摄像头以曝光快门时间L获取长曝光道路场景图像；所述短曝光摄像头以曝光快门时间ts获取短曝光道路场景图像；所述计算机获取第η帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对所述第η帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，其中,η大于或等于I, m大于或等于I。
[0013]进一步地，所述计算机基于对所述第η帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，包括:所述计算机对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域；所述计算机根据第η帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像，其中变形后的所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率；所述计算机依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像；所述计算机对所述第η帧合成图像进行直方图均衡化处理，并获得第η帧高动态图像。
[0014]进一步地，当I^t1As为非整数时，所述计算机对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域；所述计算机根据第η帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率；所述计算机根据所述第η帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔Λ t、汽车前向速度V和横摆角速度W，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至Λ t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像；所述计算机依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像；所述计算机对所述第η帧合成图像进行直方图均衡化处理，并获得第η帧高动态图像。
[0015]进一步地，所述计算机对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，包括:所述计算机利用所述长曝光摄像头和所述短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像进行去畸变及校正。
[0016]进一步地，在获取所述第η帧高动态图像之后，所述计算机依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及第η帧合成图像的直方图，调整I1Us和W，并将调整后的h和ts分别提供给所述长曝光摄像头和所述短曝光摄像头；其中当η为I时，&、ts和W分别为其初始值。
[0017]第三方面，本发明提出了一种获取高动态图像的装置，包括:获取单元、校正单元、合成单元和均衡化处理单元。其中，获取单元用于获取第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第η帧长曝光道路场景图像由曝光快门时间为h的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为ts的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中η大于或等于1，m大于或等于I ;校正单元用于分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；合成单元用于依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像；均衡化处理单元用于对所述第η帧合成图像进行直方图均衡化处理，并获得第η帧高动态图像。
[0018]此外，本发明的装置还可以包括:运动补偿单元，用于当I^t1As为非整数时，在所述合成单元进行合成图像之前，对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。
[0019]进一步地，本发明的装置还可以包括:调整单元，依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图，调整&、％和W，并将调整后的&和ts提供给长曝光摄像头和短曝光摄像头。同样地，当η为I时，、、^和胃可以分别为其初始值。 [0020]第四方面，本发明提出了一种获取高动态图像的系统，包括:双目摄像机和如第三方面及其各实施方式中的获取高动态图像的装置，所述双目摄像机包括同向紧挨设置的长曝光摄像头和短曝光摄像头，所述长曝光摄像头和所述短曝光摄像头通过数据线与所述装置连接，其中所述长曝光摄像头和所述短曝光摄像头并排紧挨放置，其光轴近似平行且采样频率相同；所述长曝光摄像头以曝光快门时间h获取长曝光道路场景图像；所述短曝光摄像头以曝光快门时间ts获取短曝光道路场景图像；所述装置获取第η帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对所述第η帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，其中η大于或等于1，m大于或等于I。
[0021]进一步地，获取高动态图像的装置包括:获取单元、校正单元、合成单元和均衡化处理单元；还可以包括:运动补偿单元和/或调整单元。其中:
[0022]获取单元用于获取第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第η帧长曝光道路场景图像由曝光快门时间为tl的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为ts的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中，η大于或等于1，m大于或等于I ;
[0023]校正单元用于分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；
[0024]合成单元用于依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像；
[0025]均衡化处理单 元用于对所述第η帧合成图像进行直方图均衡化处理，并获得第η中贞闻动态图像；
[0026]运动补偿单元用于当I^t1As为非整数时，在所述合成单元进行合成图像之前，对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差；
[0027]调整单元依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图，调整tptjPW，并将调整后的&和ts提供给长曝光摄像头和短曝光摄像头。同样地，当η为I时，tpts和W可以分别为其初始值。
[0028]由此可见，本发明采用多线程异步拍摄图像，以最长曝光时间内各摄像头最后拍摄的图像作为计算机的输入图像，从而可以减少拍摄时间间隔。
[0029]此外，本发明的方法及系统在图层级上合成图像，能够提高合成图像的光流平滑性；并且，图像合成后通过映射曲线进行直方图均衡化调整，提高合成图像对环境亮度的适应性。
[0030]进一步地，本发明的方法和系统还可以加入具有道路空间位置信息的运动补偿，从而减少图像的合成误差。
【专利附图】
【附图说明】
[0031]为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0032]图1示出了根据本发明的获取高动态图像的系统的结构示意图。
[0033]图2示出了根据本发明的获取高动态图像的方法的流程图。
[0034]图3示出了根据本发明的获取高动态图像的装置的结构示意图。
[0035]图4示出了根据本发明具体实施例的获取高动态图像的方法的流程图。
[0036]图5a和图5b为本发明具体实施例的使用V视差图像消除合成误差的视图。
[0037]图6示出了本发明具体实施例中所使用的透射变换示意图。
[0038]图7示出了本发明具体实施例所使用的车辆运动学弥补示意图。
[0039]图8a示出了本发明具体实施例的直方图分析示意图，图8b、图8c、图8d分别为图8a所示直方图分析示意图中的相应的合成图像直方图，短曝光道路场景图像直方图，长曝光道路场景图像直方图。
【具体实施方式】
[0040]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0041]根据本发明的获取高动态图像的系统包括计算机(例如，可以是满足车载振动环境条件要求的车载计算机或嵌入式微计算机)和双目摄像机。该双目摄像机通过数据线与该计算机进行数据通讯。这里，双目摄像机可以由两个单目摄像机组成。容易想到，所述双目摄像机也可以是由两个摄像机一体式形成的双目摄像机。其中，双目摄像机中的长曝光摄像头和短曝光摄像头须并排紧挨放置，且光轴近似平行，其结构示意图如图1所示。在该系统中，该双目摄像机优选地具有同型号的曝光值可调整的电子摄像头。
[0042]将双目摄像机的两个摄像头并排紧挨放置在车辆上，摄像头的光轴近似平行。其中，一个摄像头负责获取车辆所行驶的道路的长曝光图像(以下称“长曝光道路场景图像”)，曝光快门时间为&，另一个摄像头负责获取道路的短曝光图像(以下称“短曝光道路场景图像”)，曝光快门时间为ts。为了方便描述，称获取长曝光道路场景图像的摄像头为长曝光摄像头，称获取短曝光道路场景图像的摄像头为短曝光摄像头。
[0043]也就是说，根据本发明的获取高动态图像的系统包括双目摄像机和计算机，该双目摄像机包括长曝光摄像头和短曝光摄像头，该长曝光摄像头和该短曝光摄像头均通过数据线与该计算机连接，其中长曝光摄像头以曝光快门时间h获取长曝光道路场景图像；短曝光摄像头以曝光快门时间ts获取短曝光道路场景图像；计算机获取第η帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对第η帧长曝光道路场景图像以及第m帧短曝光道路场景图像的处理获得高动态图像，其中η大于或等于1，m大于或等于I。
[0044]由此可见，本发明采用多线程异步拍摄图像，以最长曝光时间内各摄像头最后拍摄的图像作为计算机的输入图像，从而可以减少拍摄时间间隔。
[0045]如上所述，为了获得高动态图像，计算机可以对第η帧长曝光道路场景图像以及第m帧短曝光道路场景图像进行合成及直方图均衡化等处理。在对图像进行合成之前，需要消除两幅图像之间的合成误差。例如，本发明中利用图像双目校正以及V视差图像中的道路直线来指导线性切向变形，进而分别消除不同摄像机间的静态纵向合成误差及静态横向合成误差。
[0046]具体而言，计算机可以对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域；然后，再根据第η帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对第η帧有效长曝光像素区域或第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的第η帧有效长曝光像素区域或变形后的第m帧有效短曝光像素区域的边缘斜率为V视差图像中道路平面的直线斜率。至此，长、短曝光道路场景图像之间的静态合成误差被消除。
[0047]此外，为了获取质量更优的高动态图像，合成的图像应尽量同步。若合成的两幅图像在时间上不同步，则需要对其中的一幅图像进行运动补偿，以确保需要合成的两幅图像之间的同步性。本发明使用透射变换将摄像机获取的图像投影到道路平面，使用运动学模型进行位置转换，再进行逆透射变换回摄像机图像，进而消除不同时刻所拍摄的图像间的动态合成误差。
[0048]也就是说，当I^t1As为非整数时，在分别将第η帧长曝光道路场景图像和第m帧短曝光道路场景图像消除静态合成误差之后，还可以对第m帧有效短曝光道路场景图像进行运动补偿，以消除第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像之间的动态合成误差。
[0049]具体而言，计算机根据第η帧长曝光道路场景图像与第m帧短曝光道路场景图像拍摄的时间间隔Λ t、汽车前向速度V和横摆角速度《，运用车辆运动学公式将第m帧有效短曝光道路场景图像移至Λ t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。
[0050]由此，依据合成图像是否同步，可以将计算机的实现的处理概况为以下两个实施例。
[0051]在第一实施例中，计算机首先对第η帧长曝光道路场景图像和第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域；接着，根据第η帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对第η帧有效长曝光像素区域或第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧长曝光道路场景图像或第m帧短曝光道路场景图像，其中变形后的第η帧有效长曝光像素区域或变形后的第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率；然后，依据权重W，合成第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像，以生成第η帧合成图像；最后，对第η帧合成图像进 行直方图均衡化处理，并获得第η帧高动态图像。以上步骤适于当I^t1/ts为整数的场合，即输入计算机的第η帧长曝光道路场景图像和第m帧短曝光道路场景图像同步，因此无需进行运动补偿。由此，本发明使用双目校正和V视差图像中的道路直线来指导线性切向变形，进而消除不同摄像机间的静态合成误差。
[0052]在第二实施例中，当I^t1As为非整数时，即输入计算机的第η帧长曝光道路场景图像和第m帧短曝光道路场景图像存在拍摄时间间隔。于是，计算机首先对第η帧长曝光道路场景图像和第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域；接着，根据第η帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对第η帧有效长曝光像素区域或第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧长曝光道路场景图像或第m帧短曝光道路场景图像，其中变形后的第η帧有效长曝光像素区域或变形后的第m帧有效短曝光像素区域的边缘斜率为V视差图像中道路平面的直线斜率；然后，根据第η帧长曝光道路场景图像与第m帧短曝光道路场景图像拍摄的时间间隔At、汽车前向速度V和横摆角速度《，运用车辆运动学公式将第m帧有效短曝光道路场景图像移至At后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像；进一步地，依据权重W，合成第η帧有效长曝光道路场景图像和m帧有效短曝光道路场景图像，以生成第η帧合成图像；最后，对第η帧合成图像进行直方图均衡化处理，并获得第η帧闻动态图像。
[0053]以上，计算机通过利用长曝光摄像头和短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对第η帧长曝光道路场景图像和第m帧短曝光道路场景图像进行去畸变及校正，以实现对第η帧长曝光道路场景图像和第m帧短曝光道路场景图像分别进行双目校正。
[0054]由上可知，合成图像是通过设定合成权值，以整幅图像为单位进行图层级的合成，进而使合成图像的光流更加平滑自然。此外，本发明中需要对合成图像进行直方图均衡化的灰度映射处理，从而提高输出的合成图像的清晰度。
[0055]合成图像后，对长、短曝光道路场景图像和合成图像的各自的直方图进行分析，获取主要灰度区域范围。依据长、短曝光道路场景图像两直方图中间无间隙原则、长、短曝光道路场景图像两直方图距离两端灰度范围尽可能小原则、长、短曝光道路场景图像两直方图宽度限定原则和经验公式对各摄像头的曝光控制参数(曝光快门时间h和ts)和合成权值进行反馈调节，进而提高各摄像头的环境适应性。
[0056]这里所述的经验公式可通过如下方式得到:先进行大量人工手动调节实验，记录人为调整的最佳效果的相关参数，对这些参数进行统计记录，再通过数据分析拟合，从而确定公式中的相关参数。图像调整的最佳效果可通过三种方式确定:一是简单的人为评价，即通过人眼直观评价；二是量化评价，即使用相关的图像评价参数(如峰值信噪比(PSNR，PeakSignal to Noise Ratio));三是前两者评价方法结合。
[0057]具体而言，在获取第η帧高动态图像之后，计算机依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及第η帧合成图像的直方图，调整I1Us和W，并将调整后的&和ts分别提供给长曝光摄像头和短曝光摄像头。接着，长曝光摄像头和短曝光摄像头则利用调整后的&和ts (例如，记为h’和ts’)进行拍摄，以便将第(n+1)帧长曝光道路场景图像以及第[(η+Ι)*、’ /t/ ]帧短曝光道路场景图像提供给计算机。容易理解，当η为I时，Vts和W可以分别为其设定的初始值。
[0058]综上所述，本发明的系统由于采用双目摄像机分别同时获取不同曝光图像，缩短高动态图像的曝光时间长度，因此能够降低由摄像机的运动而导致的运动模糊。
[0059]此外，本发明的系统在图层级上合成图像，能够提高合成图像的光流平滑性；并且，图像合成后通过映射曲线进行直方图均衡化调整，提高合成图像对环境亮度的适应性。[0060]进一步地，本发明的系统还可以加入具有道路空间位置信息的运动补偿，从而减少图像的合成误差。
[0061]下面，参考图2，详细描述根据本发明的获取高动态图像的方法的流程。
[0062]如图2所示,获取高动态图像的方法包括以下步骤:
[0063]步骤21，获取第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第η帧长曝光道路场景图像由曝光快门时间为h的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为ts的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中，η大于或等于1，m大于或等于I ;
[0064]步骤22，分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；
[0065]步骤23，依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像；
[0066]步骤24，对所述第η帧合成图像进行直方图均衡化处理，并获得第η帧高动态图像。
[0067]由此可见，本发明的方法由于采用双目摄像机分别同时获取不同曝光图像，缩短高动态图像的曝光时间长度因此能够降低由摄像机的运动而导致的运动模糊。
[0068]进一步地，当η*ν\为非整数时，在分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差之后，本发明的方法还可以包括步骤25，即对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。
[0069]具体而言，对所述第m帧有效短曝光道路场景图像进行运动补偿是指:根据所述第η帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔At、汽车前向速度V和横摆角速度w，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至Δ t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。
[0070]进一步地，在步骤22中，分别对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差是指:分别对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态纵向合成误差和静态横向合成误差。
[0071]其中，消除静态纵向合成误差的步骤是:对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域。这里，可以利用所述长曝光摄像头和所述短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像进行去畸变及校正，以实现第η帧长曝光道路场景图像和第m帧短曝光道路场景图像的双目校正。
[0072]其中，消除静态横向合成误差的步骤是:根据所述第η帧有效长曝光像素区域和所述第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中变形后的所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率。
[0073]进一步地，在获取到第η帧高动态图像之后，本发明的方法还可以包括步骤26，即依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图，调整tl、ts和W，其中当η为I时，tl、ts和W分别为其初始值。
[0074]由上可知，本发明的方法在图层级上合成图像，能够提高合成图像的光流平滑性；并且，图像合成后通过映射曲线进行直方图均衡化调整，提高合成图像对环境亮度的适应性。进一步地，本发明的方法还可以加入具有道路空间位置信息的运动补偿，从而减少图像的合成误差。
[0075]在图3中，获取高动态图像的装置30包括获取单元31、校正单元32、合成单元33和均衡化处理单元34。其中，
[0076]获取单元31用于获取第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第η帧长曝光道路场景图像由曝光快门时间为h的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为ts的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中，η大于或等于1，m大于或等于I ;
[0077]校正单元32用于分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；
[0078]合成单元33用于依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像；
[0079]均衡化处理单元34用于对所述第η帧合成图像进行直方图均衡化处理，并获得第η帧高动态图像。
[0080]此外，在图3所示的获取高动态图像的装置30中，还可以包括运动补偿单元35，用于当I^t1As为非整数时，在所述合成单元34进行合成图像之前，对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。
[0081]进一步地，运动补偿单元35可以根据所述第η帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔At、汽车前向速度V和横摆角速度W，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至Λ t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。
[0082] 此外，校正单元32可以包括纵向校正子单元和横向校正子单元。其中，纵向校正子单元可以对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域。这里，纵向校正子单元可以利用所述长曝光摄像头和所述短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像进行去畸变及校正，以实现双目校正。接着，横向校正子单元可以根据所述第η帧有效长曝光像素区域和所述第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中变形后的所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率。
[0083]进一步地,在图3所不的获取闻动态图像的装置30中，除了以上单兀，获取闻动态图像的装置30还可以包括调整单元36，以便依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图，调整I1Us和W，并将调整后的h和ts提供给长曝光摄像头和短曝光摄像头。同样地，当η为I时，&、％和W可以分别为其初始值。
[0084]综上所述，本发明的获取高动态图像的装置由于采用双目摄像机分别同时获取不同曝光图像，缩短高动态图像的曝光时间长度因此能够降低由摄像机的运动而导致的运动模糊。此外，在图层级上合成图像，能够提高合成图像的光流平滑性；并且，图像合成后通过映射曲线进行直方图均衡化调整，提高合成图像对环境亮度的适应性。进一步地，还可以加入具有道路空间位置信息的运动补偿，从而减少图像的合成误差。
[0085]据此，本发明提出了一种获取高动态图像的系统，如图3所示，包括双目摄像机和如上所述的获取高动态图像的装置30，所述双目摄像机包括同向紧挨设置的长曝光摄像头和短曝光摄像头，所述长曝光摄像头和所述短曝光摄像头通过数据线与所述装置连接，其中所述长曝光摄像头和所述短曝光摄像头并排紧挨放置，其光轴近似平行且采样频率相同；所述长曝光摄像头以曝光快门时间h获取长曝光道路场景图像；所述短曝光摄像头以曝光快门时间ts获取短曝光道路场景图像；所述装置30获取第η帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对所述第η帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，其中η大于或等于1，m大于或等于I。
[0086]这里，获取高动态图像的装置30可以车载计算机的形态呈现，也可以是包括以下部件的形态呈现:
[0087]获取单元用于获取第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第η帧长曝光道路场景图像由曝光快门时间为h的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为ts的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中，η大于或等于1，m大于或等于I ;
[0088]校正单元用于分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；
[0089]合成单元用于依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像；
[0090]均衡化处理单元用于对所述第η帧合成图像进行直方图均衡化处理，并获得第η中贞闻动态图像；
[0091]运动补偿单元用于当I^t1As为非整数时，在所述合成单元进行合成图像之前，对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差；
[0092]调整单元依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图， 调整tptjPW，并将调整后的&和ts提供给长曝光摄像头和短曝光摄像头。同样地，当η为I时，tpts和W可以分别为其初始值。
[0093]下面，将参照附图4至图8d，仍以包括双目摄像机的高动态图像系统为例，具体说明根据本发明的获取高动态图像的方法。
[0094]如图4所示，根据本发明具体实施例的获取高动态图像的方法包括以下步骤:
[0095]步骤S1:将两个摄像头并排紧挨放置在车辆上(可为同样放置的一体式双目摄像机)，两个摄像头的光轴近似平行。其中，一个摄像头负责获取车辆所行驶的道路的长曝光图像(以下称“长曝光道路场景图像”)，曝光快门时间为&，另一个摄像头负责获取道路的短曝光图像(以下称“短曝光道路场景图像”)，曝光快门时间为ts。为了方便描述，称获取长曝光道路场景图像的摄像头为长曝光摄像头，称获取短曝光道路场景图像的摄像头为短曝光摄像头。
[0096]这里，两个摄像头的频率应相同，初始的长、短曝光快门时间可以分别为摄像头在该拍摄频率下所允许的最大、最小曝光快门时间。然后，为了使两摄像头能在不同环境亮度均获取充分的灰度纹理信息，可以调节曝光快门时间。例如，在本发明的实施例中，是通过反馈调节来进一步调整曝光快门时间。
[0097]步骤S2:两个摄像头分别被控制在各自的曝光快门时间内不断拍摄图像。于是，在长曝光摄像头获取第η帧长曝光道路场景图像时间内，短曝光摄像头获取的最后一帧图像为第帧短曝光道路场景图像，以第η帧长曝光道路场景图像和第m帧短曝光道路场景图像作为车载计算机的输入图像。
[0098]也就是说，该两个摄像头分别被控制，以使其在各自的快门时间内不断拍摄图像。这样，长曝光摄像头获取第η帧图像时，车载计算机选择该第η帧长曝光道路场景图像以及该时间段内短曝光摄像 头拍摄的最后一帧短曝光道路场景图像作为输入图像。
[0099]换句话说，车载计算机在I^t1时刻能够获得的输入图像分别为:第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中。
[0100]步骤S3:车载计算机分别对输入的第η帧长曝光道路场景图像和第m帧短曝光道路场景图像进行双目校正，即根据对两摄像头标定(例如，通用标定技术)得到的内参数矩阵K、外参数矩阵[R| T]、畸变矩阵D和旋转矩阵R，其中
【权利要求】
1.一种双目摄像机获取高动态图像的方法，其特征在于，包括: 获取第η帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第η帧长曝光道路场景图像由曝光快门时间为h的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为ts的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中，η大于或等于1，m大于或等于I ; 分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像； 依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像； 对所述第η帧合成图像进行直方图均衡化处理，并获得第η帧高动态图像。
2.根据权利要求1所述的方法，其特征在于，所述分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，包括: 对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域； 根据所述第η帧有效长曝光像素区域和所述第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率。
3.根据权利要求1或2所述的方法，其特征在于，当η*ν\为非整数时，在所述分别将所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差之后，还包括:对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。
4.根据权利要求3所述的方法，其特征在于，所述对所述第m帧有效短曝光道路场景图像进行运动补偿，包括: 根据所述第η帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔Λ t、汽车前向速度V和横摆角速度W，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至Λ t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。
5.根据权利要求1至4中任一项所述的方法，其特征在于，依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及第η帧合成图像的直方图，调整I1Us和W，其中当η为I时，h、ts和W分别为其初始值。
6.一种获取高动态图像的系统，其特征在于，包括:双目摄像机和计算机，所述双目摄像机包括长曝光摄像头和短曝光摄像头，所述长曝光摄像头和所述短曝光摄像头通过数据线与所述计算机连接，其中所述长曝光摄像头和所述短曝光摄像头并排紧挨放置，其光轴近似平行且采样频率相同； 所述长曝光摄像头以曝光快门时间h获取长曝光道路场景图像； 所述短曝光摄像头以曝光快门时间ts获取短曝光道路场景图像；所述计算机获取第η帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对所述第η帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，其中,η大于或等于I, m大于或等于I。
7.根据权利要求6所述的系统，其特征在于，所述计算机基于对所述第η帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，包括: 所述计算机对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域； 所述计算机根据第η帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像，其中变形后的所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率； 所述计算机依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像； 所述计算机对所述第η帧合成图像进行直方图均衡化处理，并获得第η帧高动态图像。
8.根据权利要求6所述的系统，其特征在于，当Mt1As为非整数时， 所述计算机对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第η帧有效长曝光像素区域和第m帧有效短曝光像素区域； 所述计算机根据第η帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第η帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的所述第η帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率； 所述计算机根据所述第η帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔Λ t、汽车前向速度V和横摆角速度W，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至At后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像； 所述计算机依据权重W，合成所述第η帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第η帧合成图像； 所述计算机对所述第η帧合成图像进行直方图均衡化处理，并获得第η帧高动态图像。
9.根据权利要求7或8所述的系统，其特征在于，所述计算机对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，包括: 所述计算机利用所述长曝光摄像头和所述短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对所述第η帧长曝光道路场景图像和所述第m帧短曝光道路场景图像进行去畸变及校正。
10.根据权利要求6至9中任一项所述的系统，其特征在于，在获取所述第η帧高动态图像之后，所述计算机依据第η帧长曝光道路场景图像、第m帧短曝光道路场景图像及第η帧合成图像的直方图，调整和W，并将调整后的h和ts分别提供给所述长曝光摄像头和所述短 曝光摄像头；其中当η为I时，ts和W分别为其初始值。
【文档编号】H04N5/235GK103973989SQ201410149114
【公开日】2014年8月6日 申请日期:2014年4月15日 优先权日:2014年4月15日
【发明者】龚建伟, 姜岩, 曹林浪, 熊光明, 陈慧岩 申请人:北京理工大学