专利名称：平行式相机阵列的未标定多视点图像校正方法
技术领域：
本发明涉及一种多视点图像校正方法，特别是一种平行式相机阵列的未标定多视 点图像校正方法。
背景技术：
三维电视是继数字高清晰度电视之后的下一代电视技术，它以其独特的立体感、 纵深感及漫游特性受到越来越多的关注。多相机实时采集立体显示系统是三维电视的一个 重要应用，它将多个相机实时采集的视频传送至服务器，在服务器中对多视点图像进行处 理，合成立体图像后显示在立体显示器上。对于平行式相机阵列，由于不可避免的操作误差 及设备精度限制，仅仅采用手工调整相机位置的方法不能完全模拟理想平行式相机阵列的 摆放。使用这种手工放置相机的方式拍摄的多视点图像，对应特征点在垂直方向上未对齐， 在水平方向上视差不均勻，从而导致合成的立体图像中物体出现明显的闪烁现象，严重影 响了实时三维立体视频的观看效果。因此，如何在立体合成之前对多视点图像进行有效的 校正操作，使各个视点图像间垂直对齐且水平视差均勻成为实时三维立体显示系统需要解 决的关键问题。针对上述问题，国外Yim-Suk Kang等人等学者作过相关研究，他们区别于常规的 双目立体图像校正方法，提出了多目图像联合校正的概念，在对平行相机阵列进行标定的 基础上，确定了一条公共基线并沿此基线方向将各视点图像投影至同一校正平面上。但是 上述方法对多相机标定参数精度要求较高且某些特定场景无法完场多相机标定，很难满足 所有应用的要求。
发明内容
本发明的目的是提供一种平行式相机的未标定多视点图像校正方法。对比于之前 的其他方法，本方法无需标定平行式相机阵列，提取各视点图像之间的匹配特征点，利用这 些匹配信息计算各视点校正矩阵，通过对各视点图像的射影变换完成多视点未标定校正的 自动化过程。为达到上述目的，本发明的构思是
首先提取各视点图像特征点并设计适用于实时立体显示系统的特征点匹配方法，根据 已提取出的匹配特征点信息设计未标定多视点图像校正算法得到各视点对应校正矩阵，利 用校正矩阵对相应图像射影变换完成校正过程。根据上述构思，本发明的技术方案是
一种平行式相机阵列的未标定多视点图像校正方法。其特征在于首先提取平行式相机 阵列各视点图像的特征点，设计适合实时立体显示系统实际需求的特征匹配方法，然后根 据已提取出的匹配特征点信息计算两两相邻未标定立体图像对的校正矩阵，并设计将所有 视点图像投影至同一公共校正平面上的投影方法，最后根据公共校正平面上各视点间距调 整水平视差至均勻，平移相应图像完成多视点校正。其具体操作步骤是(1)提取并匹配各视点图像特征点从多个视点的图像中检测足量待匹配SIFT特征 点，匹配两两相邻图像对中的对应特征点；
(2)提高特征点匹配精度根据实时三维立体显示系统应用需求，设计恰当的匹配精 细化方法剔除错配，选取各立体对中适量的均勻分布匹配点；
(3)校正未标定立体图像对根据已选定的精细化后匹配点信息对两两相邻的图像对 进行未标定校正；
(4)投影多视点图像至公共校正平面根据计算出的各个立体图像对校正矩阵，确定 将多视点图像投影至公共校正平面的方法；
(5)调整视点间视差根据公共校正平面上各视点图像距离，水平平移图像使视点间 视差均勻，合成立体图像。上述步骤(1)中的提取并匹配各视点图像特征点，是指从多个视点的图像中检测 足量待匹配SIFT特征点，匹配两两相邻图像对中的对应特征点，其具体步骤是
(a)建立各视点图像在不同尺度下的尺度空间，检测尺度空间内极值，确定特征点位 置及所在尺度；
(b)根据特征点邻域像素的梯度方向分布特性确定每个特征点指定方向参数；
(c)根据每个特征点的位置、尺度及方向特性信息生成其对应的1 维SIFT特征向
量；
(d)以特征向量之间的欧式距离为相似性判定度量，在右视图特征 点集合中查找与左视图特征点相匹配的点。特征点 b间的欧式距离
^表示如下
权利要求
1.一种平行式相机阵列的未标定多视点图像校正方法，其特征在于首先提取平行式相 机阵列各视点图像的特征点，设计适合实时立体显示系统实际需求的特征匹配方法，然后 根据已提取出的匹配特征点信息计算两两相邻未标定立体图像对的校正矩阵，并设计将所 有视点图像投影至同一公共校正平面上的投影方法，最后根据公共校正平面上各视点间距 调整水平视差至均勻，平移相应图像完成多视点校正；其具体操作步骤是(1)提取并匹配各视点图像特征点从多个视点的图像中检测足量待匹配SIFT特征 点，以特征向量欧式距离为判定依据匹配两两相邻图像对中的对应特征点；(2)提高特征点匹配精度根据实时三维立体显示系统应用需求，设计恰当的匹配精细 化方法剔除错配，选取各立体对中适量的均勻分布匹配点；(3)校正未标定立体图像对根据已选定的精细化后匹配点信息对两两相邻的图像对 进行未标定校正；(4)投影多视点图像至公共校正平面根据计算出的各个立体图像对校正矩阵，确定将 多视点图像投影至公共校正平面的方法；(5)调整视点间视差根据公共校正平面上各视点图像距离，水平平移图像使视点间视 差均勻，合成立体图像。
2.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法，其特征在于 所述步骤(1)中的从多个视点的图像中检测足量待匹配SIFT特征点，匹配两两相邻图像对 中的对应特征点，其具体步骤如下(a)建立各视点图像在不同尺度下的尺度空间，检测尺度空间内极值，确定特征点位置 及所在尺度；(b)根据特征点邻域像素的梯度方向分布特性确定每个特征点指定方向参数；(c)根据每个特征点的位置、尺度及方向特性信息生成其对应的1 维SIFT特征向量；(d)以特征向量之间的欧式距离为相似性判定度量，在右视图特征 点集合中查找与左视图特征点相匹配的点；特征点 b间的欧式距离UnX表示如下
3.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法，其特征在于 所述步骤(2)中的提高特征点匹配精度，根据实时三维立体显示系统应用需求，设计恰当的 匹配精细化方法剔除错配，选取各立体对中适量的均勻分布匹配点，其具体步骤如下(a)对各立体对中已提取出的匹配特征点使用RANSAC精细化方法，剔除严重失配的点对；(b)将每个立体对中的图像分别沿横轴与纵轴均勻四等分为4X4共16个子块，根据 匹配特征点均勻分布的要求，在左图像各子块中随机选取与右图像相匹配的特定数量特征 点，得到一组匹配特征点集合；
4.(c)根据分块选取的匹配特征点集合计算对应的校正后Sampson误差——几何重投影表示第对匹配特征点的Sampson误差，F =表示校正前原始图像对的基本矩阵；(c)参数化左右校正矩阵，使用LM参数估计算法求得满足系统方程组的最优化未知参 数估值并带入以下公式中得到立体对校正矩阵
5.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法，其特征在于 所述步骤(4)中的投影多视点图像至公共校正平面，根据计算出的各个立体图像对校正矩 阵，确定将多视点图像投影至公共校正平面的方法，其具体步骤如下(a)选定平行相机阵列中位于中间位置的两视点校正平面为公共投影校正平面；(b)以相机阵列左右两端次外侧视点图像为中间过渡图像，将最外侧视点图像以投影 矩阵转移的方法投影至与其相邻的内侧立体对校正平面上；误差的一阶近似；
6.根据权利要求1所述的平行式相机阵列的未标定多视点图像校正方法，其特征在于 所述步骤(5)中的调整视点间视差，根据公共校正平面上各视点图像距离，水平平移图像使 视点间视差均勻，合成立体图像，其具体步骤如下(a)根据各视点投影至公共校正平面的校正矩阵，计算两两相邻图像对校正后的新匹 配特征点位置；(b)将投影至公共校正平面的各视点图像分别沿横轴与纵轴均勻四等分为16个4X4 子块，选取位于各立体对中心2X2子块的新匹配特征点，计算视点间距；(c)设定合适视差值，以中间立体对的中点为原点，水平平移各视点图像至相应位置；(d)合成公共校正平面上的各视点图像，完成多视点未标定校正。
全文摘要
本发明涉及一种平行式相机阵列的未标定多视点图像校正方法。本方法首先提取各视点图像中特征点集合并确定两两相邻图像间的匹配点对。接着引入RANSAC算法提高SIFT特征点匹配精度，并提出分块特征提取方法，将经过精细化的特征点位置信息作为后续校正过程的输入计算相邻未标定立体图像对的校正矩阵。然后将多个不共面校正平面投影至同一公共校正平面上，并计算公共校正平面上相邻视点间水平距离。最后水平调整各视点位置至视差均匀即完成校正过程。经过本发明多视点未标定校正的合成立体图像具有强烈的纵深感，比校正前立体效果有明显提高，可应用于很多3DTV应用设备的前端信号处理。
文档编号H04N13/00GK102065313SQ20101054510
公开日2011年5月18日 申请日期2010年11月16日 优先权日2010年11月16日
发明者刘利亮, 安平, 张兆杨, 张洋, 王贺 申请人:上海大学