车载鱼眼摄像头自标定的方法
【专利摘要】本发明提出了一种车载鱼眼摄像头自标定的方法，用于解决现有基于图像序列的自标定方法中存在的标定精度较低、应用范围小的技术问题，包括如下步骤：(1)利用车载鱼眼摄像头拍摄车沿直线行驶的路面视频；(2)提取特征点，并选取不在同一直线上的特征点；(3)跟踪所选取的特征点；(4)建立拟合模型，确定摄像头参数初始值，利用特征点满足的共线约束方程，建立特征点关系行列式；(5)优化关于摄像头参数的非线性方程组(6)判断标定结果是否合理，若合理，车载鱼眼摄像头自标定结束，否则，执行步骤(2)。本发明具有标定结果精度高、应用范围广的特点，可用于确定车载鱼眼摄像头几何模型参数。
【专利说明】
车载鱼眼摄像头自标定的方法
技术领域
[0001 ]本发明属于图像处理及计算机视觉技术领域，涉及一种摄像头标定方法，具体涉 及一种车载鱼眼摄像头自标定的方法，可用于确定车载鱼眼摄像头几何模型参数。
【背景技术】
[0002] 在图像测量过程以及计算机视觉的应用中，为确定空间物体表面某点的三维几何 位置与其在图像中对应点之间的相互关系，必须建立摄像头成像的几何模型，这些几何模 型参数就是摄像头参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求 解参数的过程就称之为摄像头标定。
[0003] 摄像头标定的方法分为两类:基于标定物的标定方法和基于图像序列的自标定方 法，其中基于标定物的标定方法是利用标定物存在的特征点和其在图像上对应点之间的关 系，求解摄像头参数，完成标定过程，标定物常见的有平面棋盘格和球体，但这些方法需要 定制标定物，在标定物的放置和使用上有严格的要求，使用起来较为复杂。
[0004] 基于图像序列的自标定方法和基于标定物的标定方法不同，它不需要定制标定 物，只是利用场景的几何约束关系或者摄像头自身运动产生的约束关系，建立不同图像中 的对应点满足的约束方程，求解得到摄像头参数，完成摄像头的标定。但是，自标定方法的 精度一般比基于标定物的方法要差，而决定标定精度的因素主要是摄像头模型和优化方法 的选择。例如：在文献 Hughes C，Mcfeely R, Denny P，et al.Equidistant fish-eye perspective with application in distortion centre estimation!!J] · Image&Vision Computing ,2010,28(3):538-551.和C.Hughes，P·Denny，M.Glavin et al·Equidistant fish-eye calibration and rectification by vanishing point extraction!!J] · IEEE Trans.Pattern Analysis and Machine Intelligence,2010,32(12):2289-2296中Hughes 等人基于等距投影模型利用灭点的性质来估计摄像头参数，该方法只适用于等距投影模 型，应用范围小，而在文献Zhu H J，Yang P，Li S G.Estimating fisheye camera parameters from homography[J].Sci China Inf Sci，2012，55:2119-2127中Zhu Haijiang等人提出了一种利用两幅鱼眼图像之间的单应关系线性求解鱼眼摄像头参数中 畸变系数的方法，这种方法在鱼眼摄像头的主点坐标、焦距等参数已知的情况下，根据鱼眼 图像的对应点求出单应矩阵，然后从单应矩阵导出对摄像头参数的线性约束，从而求解出 模型参数，该方法不能保证所得摄像头参数是准确的，并且没有进行整体优化，所以得到的 结果精度不高。
【发明内容】
：
[0005] 本发明的目的在于克服上述现有技术存在的不足，提出了一种车载鱼眼摄像头自 标定的方法，在车保持直线行驶的过程中，利用车载鱼眼摄像头拍摄行车路面，得到行车路 面视频，利用路面视频中存在的几何关系，完成摄像头自标定的过程。用于解决现有基于图 像序列的自标定方法中存在的标定精度较低、应用范围小的技术问题。
[0006] 本发明的技术思路是，在平整路段，使汽车保持直线，行驶一个车身距离，通过车 载鱼眼摄像头拍摄路面，提取路面的特征点，并跟踪这些特征点在不同画面中的位置信息， 本应形成一条直线轨迹的特征点，在鱼眼图像中呈现为曲线，利用特征点共线这一几何关 系和鱼眼摄像头模型，得到摄像头参数的初始值，并将不同特征点的坐标信息和摄像头参 数初始值带入行列式J中，形成多个包含摄像头参数的方程。其中，J为同一特征点在三幅不 同图像中的坐标所满足的行列式关系。后利用优化算法，求解出车载鱼眼摄像头的参数终 值，完成车载鱼眼摄像头的自标定。
[0007] 根据上述技术思路，实现本发明目的采取的技术方案，包括如下步骤：
[0008] 步骤1，利用车载鱼眼摄像头对车沿直线行驶的路面进行拍摄，得到和车身距离等 长的路面鱼眼视频。
[0009] 步骤2,提取得到的鱼眼视频第一帧中路面的特征点，并对特征点的位置和数量进 行控制，使所选取的特征点不在同一条直线上。
[0010] 步骤3,跟踪选取的第一帧中路面的特征点，获取同一特征点在不同帧中的坐标信 息。
[0011] 步骤4,建立鱼眼摄像头拟合模型：
[0012]
中，rd为得到的畸变图像 的特征点到主点坐标的距离，ru为得到的畸变校正后图像对应的特征点到主点坐标的距 离，1^1、1?、1?、1^4和1?为车载鱼眼摄像头畸变系数0的五个不同位置系数，8卩0=(1^1，1?，1?，1^4， ks) 〇
[0013] 步骤5,利用步骤3获取的同一特征点在不同帧中的坐标信息，求取车载鱼眼摄像 头焦距的初始值，按如下步骤实现：
[0014] 步骤5a，将步骤3获取的同一特征点在不同帧中的坐标信息，带入行列式
=〇,其中，J是位于同一条直线上的三个特征点坐标信息 满足的关系行列式;m、u#Pu3分别为不同帧中以图像左上角坐标为坐标原点时的横坐标； VI、V2和V3分别为对应各帧中以图像左上角坐标为坐标原点时的纵坐标;UQ和VQ分别为得到 的鱼眼视频中，每一帧图像的主点坐标;S(9 dl)、S(0d2)和S(0d3)分别为步骤4得到的鱼眼摄 像头拟合模型在三幅不同鱼眼图像中的值 γ
、
fx和fy分别为焦距在X轴和y轴方向的分量。
[0015] 步骤5b，对带入的行列式J中的s(0dl)、s(0d2)和s(0d3)的后四位系数均置〇,得到鱼眼摄 像头单参数除法模型：
。
[0016] 步骤5c，对得到的鱼眼摄像头单参数除法模型
与模型
进行拟合，其中rd = f0d为鱼眼摄像头等距投影模型，表示畸变图像的特征点 j 到主点坐标的距离，ru = f tan0d表示畸变校正后图像对应的特征点到主点坐标的距离，拟 合后得到畸变系数D的初始值D ' = (lu'，0，0,0,0)。
[0017] 步骤5d，将得到的畸变系数的初始值D'带入s(0dl)、s(0d2WP s(0d3)*d：^lJ
/ . r - !、 u\ u l u5
[0018] 步骤5 e，将得到的
和
f入行列式J中，得到：
[0019]步骤5f，利用得到的行列式J'，假设fx = fy = f，求取车载鱼眼摄像头焦距f的初始 值f，。
[0020]步骤6,对得到的鱼眼视频中的任一帧图像的边缘进行拟合，得到圆形曲线，并将 该圆形曲线的圆心坐标作为主点坐标初始值(u，v)。
[0021 ]步骤7，利用行列式J对得到的畸变系数初始值D '、焦距初始值f '和主点坐标初始 值(u，v)进行优化，得到畸变系数的终值、焦距的终值和主点坐标的终值。
[0022]步骤8,利用得到的畸变系数的终值、焦距的终值和主点坐标的终值，对得到的鱼 眼视频中的各帧图像进行畸变校正。
[0023] 步骤9,根据畸变校正后的各帧图像的畸变是否消除，判断得到的畸变系数终值、 焦距终值和主点坐标终值是否合理，若是，车载鱼眼摄像头自标定结束，否则，执行步骤2。
[0024] 本发明与现有技术相比，具有如下的优点：
[0025] 第一，本发明由于确定车载鱼眼摄像头参数时，采用鱼眼摄像头拟合模型，同时对 鱼眼摄像头参数初始值进行整体优化，与现有自标定方法中采用单一模型并进行局部优化 的方法相比，提高了标定精度。
[0026] 第二，本发明由于确定车载鱼眼摄像头模型时，利用现有鱼眼摄像头模型进行拟 合，得到更具一般性的鱼眼摄像头模型，与现有的自标定方法中采用的鱼眼摄像头模型相 比，适用范围更加广泛，可用于多种类型鱼眼摄像头的标定。
【附图说明】：
[0027]图1为本发明的实现流程框图；
[0028]图2为本发明实施例的过程截图。
【具体实施方式】
[0029] 下面结合附图和实施例，对本发明作进一步详细说明。
[0030] 参照图1，本发明包括如下步骤：
[0031] 步骤1，利用车载鱼眼摄像头对车沿直线行驶的路面进行拍摄，得到和车身距离等 长的路面鱼眼视频：
[0032]选好一段平整路段，让装有鱼眼摄像头的汽车在该路段沿直线行驶一个车身距 离，用鱼眼摄像头拍摄行车路面。当车行驶达到一个车身距离时，停止拍摄。得到一段和车 身距离等长的路面鱼眼视频。图2(a)是鱼眼视频截图。
[0033] 步骤2,提取得到的鱼眼视频第一帧中路面的特征点，并对特征点的位置和数量进 行控制，使所选取的特征点不在同一条直线上：
[0034] 在得到的鱼眼图像中，利用SIFT算法提取鱼眼视频第一帧中路面的特征点，并对 特征点的位置和数量进行控制，使所选取的特征点不在同一条直线上。
[0035] 步骤3,跟踪选取的第一帧中路面的特征点，获取同一特征点在不同帧中的坐标信 息：
[0036] 利用LK光流法，跟踪所选取的第一帧中路面的特征点，获取同一特征点在不同帧 中的坐标信息，并得到不同特征点随着车行走的轨迹。图2(b)为不同特征点的轨迹。
[0037]步骤4,建立鱼眼摄像头拟合模型：
[0038]假设鱼眼图像中的一个图像点为(Ud，vd)T，其到图像畸变中心的距离为r d，经过畸 变校正后对应的图像点为(uu，Vu)T，其到图像畸变中心的距离为^，并假设畸变中心的坐标 为(U0， VQ)T。则根据鱼眼摄像头成像模型，畸变点与无畸变点之间存在如下关系：
[0039]
[0040] .U
[0041] 以图像畸变中心为图像坐标系的原点，变换以上两个公式，则对应的透视图像中 的无畸变点的吝次坐标可以衷示为：
[0042]
U
[0043] 从上式可以看出，f的值是影响鱼眼图像中的畸变点与校正后的透视投影图像 U 上的无畸变点的主要因素。
[0044] 将等距投影模型rd = f9、等立体角模§
..正交投影模型：Td = fsin0 和体视投影模型
统一以等距投影模型rd = f0的形式表示，其中f为摄像头 焦距，Θ为入射光线与鱼眼摄像头光轴之间的夹角。
[0045]令等距投影模型rd = f0 = f0d，其中0d是与Θ具有对应关系的角度表示，则有
[0046]
[0047] 同理，根据等立体角投影模型
，可得：
[0048]
[0049] 根据正交投影模型rd = f sin9 = f0d，可得：
[0050]
[0051] 根据体视投影模型
可得：
[0052]
r,
[0053] 从式(1)~(4)，可以看出一为偶函数，该偶函数展开式可以表示为：
[0054] 'U\
r
[0055] 通过多项式对上述四种模型的一进行拟合，当0d达到10次方时，即可满足精度要 ru 求，即：
[0056]
ru
[0057] 其中1^、1?、1?、1^和1?为车载鱼眼摄像头畸变系数0的五个不同位置系数，8卩0 = (ki, k2, k3, k4, ks)；
[0058] 步骤5,利用获取的同一特征点在不同帧中的坐标信息，求取车载鱼眼摄像头焦距 的初始值，按如下步骤实现：
[0059] 步骤5 a，将获取的同一特征点在不同帧中的坐标信息，带入行列式
其中，J是位于同一条直线上的三个特征点坐标信息 满足的关系行列式;m、u#Pu3分别为不同帧中以图像左上角坐标为坐标原点时的横坐标； VI、V2和V3分别为对应各帧中以图像左上角坐标为坐标原点时的纵坐标;UQ和VQ分别为得到 的鱼眼视频中，每一帧图像的主点坐标;S(9 dl)、S(0d2)和S(0d3)分别为步骤4得到的鱼眼摄 像头模型在三幅不同鱼眼图像中的值，
fx和fy分别为焦距在X轴和y轴方向的分量；
[0060] 步骤5b，对带入的行列式J中的s(0dl)、s(0d2)和s(0d3)的后四位系数均置〇,得到鱼眼摄像 头单参数除法模型
'u\ ·..妙2 ' //.3
[0061] 步骤5c，对得到的鱼眼摄像头单参数除法模型
与模型
生行拟合，拟合后得到畸变系数D的初始值D ' = (h '，0，0，0，0);
[0062] 步骤5(1，将得到的畸变系数的初始值〇'带入8(0(11)、8(0(12)和 8(0(13)中，得到 u\ ' u2
* ui
[0063] 步骤5 e，将得到的
和 ^ u\ ^ 'u2
带入行列式J中，得至L
[0064]步骤5f，利用得到的行列式J'，假设fx = fy = f，求取车载鱼眼摄像头焦距f的初始 值f，；
[0065] 根据鱼眼摄像头等距投影模型rd = f0d，可以得到A = >，将行列式J'展开，并令
?u i ^ J. 乙' U Z.. 1. 3 3 1 - u j- 1 χ. i y r y
[0066] 步骤6,对得到的鱼眼视频中的任一帧图像的边缘进行拟合，得到圆形曲线，并将 该圆形曲线的圆心坐标作为主点坐标初始值(u，v):
[0067] 选取得到的鱼眼视频中的任一帧图像，由于图像的边缘轮廓呈现为圆形曲线，我 们对其轮廓边缘进行拟合，得到圆形曲线方程，并将该圆形曲线的圆心坐标作为主点坐标 初始值(u，v);
[0068] 步骤7，利用行列式J对得到的畸变系数初始值D '、焦距初始值f '和主点坐标初始 值(u，v)进行优化，得到畸变系数的终值、焦距的终值和主点坐标的终值：
[0069] 将得到的行列式J展开，得到：
[0070]
[0071] 令目标函数F为：
[0072]
[0073] 根据不同的特征点，可得到多条曲线。将步骤3中得到的坐标信息带入目标函数F， 得到一组关于车载鱼眼摄像头参数的非线性方程。采用列文伯格-马夸尔特优化算法，对所 得到的多个目标函数F进行优化，当迭代误差小于一个设定的阈值时，结束迭代，此时得到 的结果，作为鱼眼摄像头畸变系数的终值、焦距的终值和主点坐标的终值。
[0074]步骤8,利用得到的畸变系数的终值、焦距的终值和主点坐标的终值，对得到的鱼 眼视频中的各帧图像进行畸变校正：
[0075] 将得到的畸变系数的终值、焦距的终值和主点坐标的终值，作为标定结果，对得到 的鱼眼视频中的各帧图像进行畸变校正。图2(c)为鱼眼图像校正结果。
[0076] 步骤9,根据畸变校正后的各帧图像的畸变是否消除，判断得到的畸变系数终值、 焦距终值和主点坐标终值是否合理，若是，车载鱼眼摄像头自标定结束，否则，执行步骤2。
[0077] 参照图2,图2(a)为鱼眼视频截图，从中可看出，路边本应呈现为直线的黄色实线， 在鱼眼视频中呈现为曲线；图2(b)为不同特征点的轨迹，从中可看出，本应形成一条直线轨 迹的特征点，在鱼眼图像中也呈现为曲线；图2(c)为鱼眼图像校正结果，从中可看出，在鱼 眼视频中为曲线的黄色实线，经过校正后变为直线，鱼眼视频中的图像畸变得到校正。
【主权项】
1. 一种车载鱼眼摄像头自标定的方法，包括如下步骤： (1) 利用车载鱼眼摄像头对车沿直线行驶的路面进行拍摄，得到和车身距离等长的路 面鱼眼视频； (2) 提取得到的鱼眼视频第一帖中路面的特征点，并对特征点的位置和数量进行控制， 使所选取的特征点不在同一条直线上； (3) 跟踪选取的第一帖中路面的特征点，获取同一特征点在不同帖中的坐标信息； (4) 建立鱼眼摄像头拟合模型：其中，rd为得到的崎变图像的特征点到主点坐标的距离，。为得到的崎变校正后图像对应的 特征点到主点坐标的距离，山古2、1?古4和1?为车载鱼眼摄像头崎变系数0的五个不同位置系 数，旨阳=化1, k2, k3, k4, k己）； (5) 利用步骤(3)获取的同一特征点在不同帖中的坐标信息，求取车载鱼眼摄像头焦距 的初始值，按如下步骤实现： 5 a )将步骤（3 )获取的同一特征点在不同帖中的坐标信息，带入行列式:，其中，J是位于同一条直线上的Ξ个特征点坐标信息 满足的关系行列式;山、U2和U3分别为不同帖中W图像左上角坐标为坐标原点时的横坐标； V1、V2和V3分别为对应各帖中W图像左上角坐标为坐标原点时的纵坐标;U0和V0分别为得到 的鱼眼视频中，每一帖图像的主点坐标；S(0dl)、S(0d2)和S(0d3)分别为步骤(4)得到的鱼眼 摄像头拟合模型在Ξ幅不同鱼眼图像中的值fx和fy分别为焦距在X轴和y轴方向的分量； 化闲带入的行列式忡的s(9di)、s(9d2)和S(9d3)的后四位系数均置0,得到鱼眼摄像头单参 数除法模型:5c)对得到的鱼眼摄像头单参数除法模聖进行拟合，其中rd =巧d为鱼眼摄像头等距投影模型，表示崎变图像的特征点到主点坐标的 距离，。=ftan0d表示崎变校正后图像对应的特征点到主点坐标的距离，拟合后得到崎变系 数D的初始值D' =化1'，0,0,0,0); 5d)将得到的崎变系数的初始值D'带入S(0dl)、S(0d2)和S(0d3)中，得到f5e)输粟瞄带入行列式J中，得菌5f )利用得到的行列式J'，假设fx = fy=f，求取车载鱼眼摄像头焦距f的初始值f ' ； (6) 对得到的鱼眼视频中的任一帖图像的边缘进行拟合，得到圆形曲线，并将该圆形曲 线的圆屯、坐标作为主点坐标初始值(u，v); (7) 利用行列式J对得到的崎变系数初始值D'、焦距初始值f'和主点坐标初始值(u，v) 进行优化，得到崎变系数的终值、焦距的终值和主点坐标的终值； (8) 利用得到的崎变系数的终值、焦距的终值和主点坐标的终值，对得到的鱼眼视频中 的各帖图像进行崎变校正； (9) 根据崎变校正后的各帖图像的崎变是否消除，判断得到的崎变系数终值、焦距终值 和主点坐标终值是否合理，若是，车载鱼眼摄像头自标定结束，否则，执行步骤(2)。2. 根据权利要求1所述的车载鱼眼摄像头自标定的方法，其特征在于:步骤(2)中所述 的提取得到的鱼眼视频第一帖中路面的特征点，采用SIFT算法。3. 根据权利要求1所述的车载鱼眼摄像头自标定的方法，其特征在于:步骤(3)中所述 的跟踪提取的第一帖中路面的特征点，采用LK光流法。4. 根据权利要求1所述的车载鱼眼摄像头自标定的方法，其特征在于:步骤(4)中所述 的建立鱼眼摄像头拟合模型是由等距投影模型，等立体角投影模型、正交投影模型和体视 投影模型变换拟合得到。5. 根据权利要求1所述的车载鱼眼摄像头自标定的方法，其特征在于:步骤(7)所述的 利用行列式J对得到的崎变系数初始值D'、焦距初始值f'和主点坐标初始值(u，v)进行优 化，采用列文伯格-马夸尔特算法。
【文档编号】G06T7/00GK105976377SQ201610301347
【公开日】2016年9月28日
【申请日】2016年5月9日
【发明人】姜光, 王瑞, 石恬, 贾静
【申请人】西安电子科技大学