一种基于最小边界距离的视频拼接方法
【技术领域】
[0001] 本发明涉及一种基于最小边界距离的视频拼接方法，属于图像处理和图像融合技 术领域。
【背景技术】
[0002] 随着国家经济的高速发展，交通工具、图像和视频应用在人们日常生活中的重要 作用凸显，大视场图像与视频问题受到越来越多社会媒体和人们的关注。
[0003] 视频拼接是通过两个或多个摄像头按照一定的相机标定技术，采集具有重叠区域 的视频数据进行拼接，使输出的结果视域更广的技术。目前视频拼接技术及其应用是虚拟 现实、计算机视觉等领域的新研究热点之一，主要应用于实况转播、视频监控、全景图融合、 超大图像采样等方面。现有的视频拼接方法由于摄像机标定、图像配准和图像拼接的复杂 性，使视频拼接在时间效率方面成为一个难点。
【发明内容】
[0004] 发明目的：针对现有技术中存在的问题，本发明提供一种能够显著提高视频拼接 成像效果的基于最小边界距离的视频拼接方法。
[0005] 技术方案：一种基于最小边界距离的视频拼接方法，包括如下步骤：
[0006] 步骤A :采集含有重叠区域的两段视频数据；
[0007] 步骤B :对步骤A得到的视频帧数据分别进行中值滤波，得到高斯金字塔；
[0008] 步骤C :将步骤B得到的高斯金字塔与图像数据结合卷积，获得步骤A得到的视频 帧的尺度空间；
[0009] 步骤D :对步骤C得到的尺度空间进行极值点检测，得到极大极小空间的极值点；
[0010] 步骤E :对步骤D得到的极值点去除对比度小于0. 03的关键点和不稳定的边缘响 应点，得到确定关键点的位置和尺度；
[0011] 步骤F :利用步骤E中关键点的位置和尺度，确定领域像素的梯度方向，得到关键 点方向参数；
[0012] 步骤G :将步骤F中得到的关键点方向参数和步骤E中关键点位置和尺度，在每 4 X 4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种 子点；一个关键点由2X2共四个种子点组成，每个种子点有8个方向向量信息；得到多组 相互匹配的特征点描述子；
[0013] 步骤H :将步骤G中得到的多组相互匹配的特征点描述子，使用随机抽样，并对多 组相互匹配的特征点描述子进行精炼得到两幅视频帧中相互匹配的特征点描述子；
[0014] 步骤I :利用步骤H中得到的相互匹配的特征点描述子，使用最小边界距离算法得 到视频拼接的最终拼接结果。
[0015] 进一步，步骤H中，所述特征点描述子匹配的方法为：
[0016] 步骤H-I :随机选择4组相互匹配的特征点描述子组成一个随机样本并计算变换 矩阵，计算其中的每组匹配点的特征点之间的距离，随后计算和变换矩阵一致的内点数，经 过多次采样，选择内点数最多的变换矩阵，当内点数相等时，选择内点标准差最小的变换矩 阵；
[0017] 步骤H-2 :采用迭代的方法精炼变换矩阵，所述迭代方法中采用LM算法最小化代 价函数进行迭代精炼；
[0018] 步骤H-3 :用步骤H-2中精炼得到的变换矩阵定义附近的搜索区域，对匹配的特征 点描述子进行精炼；
[0019] 步骤H-4 :反复迭代步骤H-2和H-3直到匹配点的特征点数目稳定。
[0020] 采用这种方法可以有效的减少误匹配的点对。
[0021] 进一步，步骤I中，所述最小边界距离算法的方法为：
[0022] 步骤I-I :利用Sobel边缘检测算法提取各输入视频帧中物体边缘，由此得到重合 区域的边缘差异；
[0023] 步骤1-2 :计算输入视频帧中重叠区域的所有匹配特征点的灰度差，并将之平均 化；
[0024] 步骤1-3 :对步骤I-I得到的两幅视频帧中重叠区域的物体边缘进行比较，得到互 不重合的边缘；
[0025] 步骤1-4 :计算输入视频帧自有的不重合边缘两侧像素点的灰度值，分别与输入 视频帧中对应位置的像素点灰度值作差，得到的每一个差值都与步骤1-2中的平均灰度差 比较；若不相等，则证明该像素点为输入视频帧中运动物体的构成像素点；依次处理其余 像素点，直到其他边缘或重合区域边界为止；
[0026] 步骤1-5 :用步骤1-4同样的方法，计算另一幅输入视频帧中的各个像素点；
[0027] 步骤1-6 :通过加权平均公式、计算融合视频帧的其他像素点灰度值，最终得到融 合视频。
[0028] 采用这种方法更好的实现了消除鬼影的目的。
[0029] 有益效果：与现有技术相比，本发明提供的基于最小边界距离的视频拼接方法，能 够有效地克服光照、鬼影等客观因素的干扰，具有拼接效果优、计算简洁、参数设置简便等 优点。
【附图说明】
[0030] 图1为本发明的方法流程图；
[0031] 图2为本发明的实施例中两幅输入视频帧；
[0032] 图3为传统方法拼接后的视频帧；
[0033] 图4为采用本发明方法拼接后的视频帧。
【具体实施方式】
[0034] 下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明 而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价 形式的修改均落于本申请所附权利要求所限定的范围。
[0035] 如图1所示，本发明的基于最小边界距离的视频拼接方法，其步骤如下：
[0036] 步骤A :采集含有重叠区域的两段视频数据；
[0037] 步骤B :对步骤A得到的视频帧数据分别进行中值滤波，得到高斯金字塔；
[0038] 步骤C :将步骤B得到的高斯金字塔与图像数据结合卷积，获得步骤A得到的视频 帧的尺度空间；
[0039] 其中，获得尺度空间的方法为：
[0040] 步骤C-I :设输入图像为I，根据高斯核函数的尺度〇的不同，通过滤波形成高斯 金字塔。I的尺度空间定义为L(x，y，（〇,它根据含有不同高斯核函数的尺度 〇的高斯核 函数与I (X，y)的卷积得到：
[0041 ] L(x, y, O ) =I (χ, y)*G(x, y, σ )
[0042] 其中，
是尺度可变高斯核函数，I (x，y)代表输入 视频帧，其中，x，y分别为视频帧所有点的横、纵坐标，σ为当前高斯核函数的尺度大小。
[0043] 步骤C-2:为了在尺度空间中有效地检测到稳定的关键点，可采用高斯差分尺度 空间（简称DoG)。设高斯差分尺度空间为D(x，y， 〇)，它是由不同尺度的高斯差分核函数 与图像卷积生成：
[0044] D (X，y，σ ) = (G (X，y，k σ ) -G (X，y，σ )) *1 (X，y) = L (X，y，k σ ) -L (X，y，σ )
[0045] 式中，k为灰度差值加权系数。
[0046] 步骤D :对步骤C得到的尺度空间进行极值点检测，得到极大极小空间的极值点；
[0047] 为了寻找尺度空间的极值点，每一个检测点要和它所有的相邻点比较，确定它们 之间的大小关系。检测点和它同尺度的8个相邻点，以及上下相邻尺度的9X2个共26个 点比较，确保在尺度空间和二维图像空间都能检测到极大极小值点。
[0048] 步骤E :对步骤D得到的极值点去除低对比度的关键点和不稳定的边缘响应点，得 到确定关键点的位置和尺度；
[0049] 在离散空间找到的极值点不一定是真正意义上的极值点。可以通过对尺度空间 DoG函数进行曲线拟合寻找极值点来减小这种误差。除了 DoG响应较低的点，还有一些响应 较强的点也不是稳定的特征点。DoG对图像中的边缘有较强的响应值，所以落在图像边缘的 点也不是稳定的特征点。精确确定关键点的位置和尺度，同时去除低对比度的关键点和不 稳定的边缘响应点，这是因为DoG会产生较强的边缘响应，从而以增强匹配的稳定性、提高 抗噪声能力。
[0050] 步骤F :利用步骤E中关键点的位置和尺度，确定领域像素的梯度方向，得到关键 点方向参数；
[0051] 利用上一步得到的关键点，即符合条件的极大极小值点，邻域像素的梯度方向分 布特性为每个关键点指定方向参数，使算子具有旋转不变性。
[0052] 根据下面的公式：
[0054] 计算极值点Uj, y_j)处的梯度模值乃）；
[0055] 根据下面的公式：
[0056] Θ (Xj, Yj) = 〇 tan2((L(Xj, yj+l)-L(Xj, y-l))/(L(Xj+l, yj)-L(x-I, Yj)))
[0057] 计算极值点Uj, yj的梯度方向Θ (Xy yj)。其中，L为每个关键点各自的尺度， Xj，分别表示第j个极值点的横、纵坐标。
[0058] 在实际计算时，以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的 梯度方向。梯度直方图的范围是〇~360度，其中每10度一个柱，总共36个柱。直方图的 峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。
[0059] 在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个 方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向，比如一个主方向， 一个以上辅方向，这增强了匹配的鲁棒性。
[0060] 步骤G :将步骤F中得到的关键点方向参数和步骤E中关键点位置和尺度，在每 4 X 4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种 子点；一个关键点由2X2共四个种子点组成，每个种子点有8个方向向量信息；得到多组 相互匹配的特征点描述子