专利名称：用于得到校准的方法及用于图像处理的方法
技术领域：
本发明涉及一种用于得到具有像差的光学系统的校准的方法，它包括至少一校准参数，其中由于该校准，在参考图像中的一直线被再现成再现的参考图像中的一曲线，而且为了提供至少一个校准参数，在计算时利用了该直线和该曲线之间的偏差。本发明还涉及图像处理的方法，其中具有像差的光学系统可通过从参考图像再现得到的校准来校准，其中由于该像差，参考图像中的直线就被再现成再现的参考图像中的一曲线，而且为了提供至少一个校准参数可将该直线和该曲线之间的偏差用于计算。
传统上，为了通过使成本函数减至最小得到像差参数，可能需要查找输入图像和参考图像的对应。一个另外的方法计算几个不同投影图像的三线性张量(tri-linear tensor)。这样的方法要求对参考图像或多个输入图像的明确认识以便自我参照。
相机光学中的不完美性常常产生存在于获得图像中的像差。除了球面像差和色差之外，像差还可包括散光、彗形像差、畸变和像平面的弯曲。这特别可导致桶状枕形失真(barrel of pincushion)，就像在获得的图像中被叫做径向像差的像差一样。对于那些装有廉价透镜的低价相机来说，该径向像差是十分明显的。这个问题对数字成像系统制造者，特别是对于数字相机的制造者和关键部件的提供者来说是有意义的。这个问题的解决方法典型地是整合一昂贵的光学系统，就像在日本专利申请JP-A-11-313250中所提出的那样。还有另一解决方法是对这种径向像差进行数字矫正，就像在日本专利申请JP-A-10-187929中所描述的那样。
B.Prescot and G.F.McLean在其论文“Line basedcorrection of radial lens distortion”，in″GraphicalModels and Image Processing″，Vol.59，No.1，January1997，pages 39-47，Article No.IP960407中提出，在将多个直线再现为指定给一特殊线支持区域的曲线的基础上，使用于这种矫正的变形参数最佳化，该特殊线支持区域是根据局部梯度取向相似性和特殊连通性的联合准则来选择的。以一组线方程和一考虑该组直线与该组曲线之间的偏差的方程为基础的方程组可被完全求解来计算从变形的图像整体映射到矫正图像的参数。获得整数解的这样的整体计算要求足够的计算工作量，因而并不适于实时应用。
这就是本发明发挥作用的地方，本发明的目的在于具体说明一种用于得到校准的方法和一种用于图像处理的方法，它们能进行光学系统的实时和半自动校准。还应提供一适当的图像系统。特别是，相机可以包括这种光学系统以及一成像器，该成像器包含有由分立元件，如电荷转移器件特别是CCD或CED传感器，构成的阵列，用来对由该光学系统提供的图像进行采样，这些器件都是，例如，以CMOS技术为基础的。
该目的可用如在导言中所提及的得到校准的方法来解决，其中按照本发明提出为了计算，提供在该直线上的分立点的几何关系，提供计及在该直线上的分立点和包含至少一个校准参数的该曲线上的相应点之间的偏差的近似关系，而且从该几何关系和该近似关系得到该至少一个的校准参数，并根据一靠近该参考图像的边界的单个直线得到该校准。
本发明还导致一在导言中所提及的解决该目的的图像处理方法，其中按照本发明还提出为了计算，提供该直线上分立点的几何关系，提供计及在该直线上的分立点和包含该至少一个校准参数的该曲线上的相应点之间的偏差的近似关系，而且从该几何关系和该近似关系得到该至少一个的校准参数，其中根据一靠近该参考图像的边界的单个直线得到该校准，而且该图像可被该光学系统再现并作进一步处理，其中由该光学系统的像差所导致的再现图像的变形可通过使用该校准来矫正。
以用于得到校准的方法为基础并被所提出的用于图像处理方法所包括的这种校准可实时完成，以便硬件加速地进行视频捕捉，或脱机进行单个图像捕捉。已认识到，特别是对于低成本应用来说，为了得到用于光学系统的实时应用与半自动校准的至少一个校准参数，根据单个直线和单个曲线上的一些分立点提供一几何关系和一近似关系就足够了。因而提出的该主要概念是根据靠近该参考图像的边界的一单个直线得到该校准，因此便利地得到一个校准参数。按照该概念对于光学系统的像差进行数字矫正来说这些测量是足够的。
这些优点甚至可通过在从属权利要求中所描述的连续发展的构型来改善。
特别更为理想的是将该几何关系应用到该单个直线上的三个点上。在一优选的构型中一个点是位于该直线的左边部分，一个点是位于该直线的中间部分，而一个点是位于该直线的右边部分。点在该单个直线上的这种最佳分布保证了对整个图像像差的可靠而有效的全部补偿。
最好是，该近似关系是以一个单个校准参数为基础的，这对于实时需求是最有效的。
在优选构型中，该单个直线在该参考图像的外框架中延伸，其中该外框架可以遮盖该参考图像表面达50％。具体地说，该单个直线在该参考图像内离该参考图像边界有一距离处延伸，该距离不大于该参考图像直径的30％。
在另一优选构型中，有利的是，该单个直线是一水平线。它也可是一垂直线。水平线能补偿宽度大于其高度的矩形图像的像差。
有利的是，该校准参数是通过该几何和该近似关系的迭代来得到的。只要要求的结果精度可以降低，迭代法就可给出一很快的结果。可有利地对这种折衷办法进行调整。
在另一优选构型中从该参考图像得到一个二进制参考图像以用作该参考图像。有利的是，通过变细，特别是通过变细到一个像素的宽度就可从该参考图像得到该单个直线。因此任何的图像都可用作参考图像。一直线就被有效地提取。
本发明还导致一成像系统，包括一适于实现所提出方法的装置。
这样的成像系统还可包括一光学系统和一图像传感器，如CMOS，CCD或CED成像器。该装置可以是一处理器装置，用来从图像信号得到视频输出，它包括一存储器和一处理单元。此外，还可提供一接口，特别是可与图像传感器连接的接口和可与监视器连接的接口。
现在将参考附图来描述本发明。
尽管这里已画出和描述了什么被认为是本发明的优选实施例，但当然应明白，在形式上或细节上还是可容易进行各种改进和变化，而不偏离本发明精神的。因此想法是，不可将本发明限制在这里所图示和描述的严格形式和细节上，也不会限制于比这里和按权利要求所公开的全部发明少的任何东西上。该优选实施例的详细描述图示于下述附图中
图1a示出了一水平线的图像；图1b示出了在变细处理后的一个二进制图像；图2a示出了一原始图像；图2b示出了一矫正图像；图3图示一优选实施例的方法，它具有一组在曲线上提取的分立像素和对应的矫正位置。
径向的像差是作为该像素到图3的图像中心O的距离的函数来建造模型的。方程1是该像差模型，而且R就是从变形像素到该图像中心O的距离。如所提及的那样，对于大多数廉价透镜来说，一个参数的模型就足够了。以欧几里得坐标表示的简化模型被描述成方程2.
R＝R′(1+γ1R′2+γ2R′4+γ3R′6+...)(1)x＝x′+γ1(x′-Cx)R′2y＝y′+γ1(y′-Cy)R′2(2)这里R′2＝(x′-Cx)2+(y′-Cy)2，像素p(x，y)与变形像素相应，p(x′，y′)与矫正像素相应，而(Cx，Cy)与该图像的光学中心相应。对于低成本相机透镜来说，光学制造一般并不提供该工厂的像差参数γs。因而，数字相机制造商常常对像差矫正无所作为，这就导致不精密的结果。
该方法的优选实施例提出了一得到γ1的半自动的方法。得到的γ1将有助于发展用于透镜矫正的查阅表，透镜矫正可实时地用硬件加速来完成。这就允许用户对升级的透镜进行自矫正或允许数字相机制造商将廉价透镜用于高级相机。
所提出的方法给出一强有力的在计算上有效的得到该第一像差参数g1的方法。一个具有单个直线的输入图像足够完成这个任务。这技术的简单性使它适于在用户装置上应用。
该像差模型被描述在方程(2)中并被应用于变形矫正的反映像。当将该原点移位到该图像的光学中心并将x’移动到另一侧时，方程(2)就被简化成x′=x1+γ1R′2]]>y′=y1+γ1R′2---(3)]]>在约束条件为|γR′2|＜＜1时，x′和y′就接近于x和y，这就导致R′2＝R2。x′和y′近似成x′=x1+γ1(x2+y2)]]>y′=y1+γ1(x2+y2)---(4)]]>假定，图3所示的P1′(x1′，y1′)，P2′(x2′，y2′)，and P3′(x3′，y3′)是未变形图像上的三个像素而且还位于图3的直线L1上。这被叫做三线性的。这意味着P1′，P2′，和P3′在现实世界中是三线性的并在所获得图像中被表示成曲线L2上的点。这种现象是由径向变形引起的。
在几何学中三线性像素的关系被表示如下x′1-x′3y′1-y′2=x′1-x′3y′1-y′3---(5)]]>将方程(4)代入方程(5)我们就有x1-x2+γ1(x1R22-x2R12)y1-y2+γ1(y1R22-y2R12)=x2-x3+γ1(x1R32-x3R12)y1-y3+γ1(y1R32-x3R12)---(6)]]>
这可简化成a+γ1bc+γ1d=e+γ1fg+γ1h,]]>这里a＝x1-x2，b＝x1R22-x2R12，反之亦然。重组上述方程，人们就得到F(γ1)＝(df-bh)γ12+(de+cf-ah-gb)γ1+(ce-ag)＝0(7)将γ1选择成具有最小绝对值。
因为γ1是从方程(4)和(5)得到的一近似值，所以可将γ1代入方程(4)中以便得到R′2的近似值。该R′2被进一步代入方程(3)和(5)以获得更精确的γ1。在几次迭代之后，当γ1的变化小于一阈值，例如10-5时，则可终止γ1的计算。
该程序详细的例举如下1.输入一具有一靠近图像边界的水平线的图像，像图1a所示。
2.将该输入图像的颜色深度减小成单比特，例如从该输入图像得到二进制图像。
3.将该二进制图像的水平线变细(形态学操作)到一个像素宽，如图1b所示。
4.从图3所示的线L1提取三个像素(三线性的)P′1，P′2和P′3。务必使像素位于该线的左、中、右部分。
5.从方程(4)和(5)求解出具有最小绝对值的γ1。
6.将γ1代入方程(4)以得到R′2并将它应用到方程(3)和(5)以迭代求解γ1。
7.迭代地重复步骤6直到γ1小于一阈值，例如10-5为止。
图2a和2b分别展示出一原始图像和一通过使用从所提出的方法获得的γ1而得到的矫正图像。
图3图示出提取的像素组和相应的未变形的位置的关系。
权利要求
1.用于得到具有像差的光学系统的校准的方法，所述校准包括至少一个校准参数，其中-由于像差，参考图像中的直线(L1)在再现的参考图像中被再现成一曲线(L2)及-为了提供该至少一个校准参数，在计算时使用了该直线(L1)和该曲线(L2)之间的偏差；其特征在于-为了计算，提供了该直线上的分立点(P′1，P′2，P′3)的几何关系(5)，-提供了一近似关系(4)，它计及了该直线上的分立点和该曲线上的相应分立点(P1，P2，P3)之间的偏差，至少包含一个校准参数(γ1)，-从该几何关系(5)和该近似关系(4)得到至少一个校准参数(γ1)，其中该校准是根据靠近该参考图像边界的一单个直线(L1)得到的。
2.按照权利要求1所述的方法，其特征在于，该几何关系(5)被应用于该单个直线(L1)上的三点(P′1，P′2，P′3)。
3.按照前述任一权利要求所述的方法，其特征在于，一个点(P′1)位于该单个直线(L1)的左部，一个点(P′2)位于该单个直线(L1)的中部，一个点(P′3)位于该单个直线(L1)的右部。
4.按照前述任一权利要求所述的方法，其特征在于，该近似关系(4)是以一个单个校准参数(γ1)为基础的。
5.按照前述任一权利要求所述的方法，其特征在于，该单个直线(L1)在该参考图像的外框架内延伸，其中该外框架可遮盖该参考图像的表面达50％。
6.按照前述任一权利要求所述的方法，其特征在于，该单个直线(L1)在该参考图像内离该参考图像边界有一段距离处延伸，该距离不大于该参考图像直径的30％。
7.按照前述任一权利要求所述的方法，其特征在于，该单个直线(L1)是一水平线。
8. 按照前述任一权利要求所述的方法，其特征在于，该校准参数(γ1)是通过迭代该几何关系(5)和近似关系(4)得出的。
9.按照前述任一权利要求所述的方法，其特征在于，从该参考图像得到一个二进制参考图像以用作参考图像。
10.按照前述任一权利要求所述的方法，其特征在于，该单个直线是通过变细，特别是变细到一个像素的宽度从该参考图像得到的。
11.图像处理的方法，其中具有像差的光学系统可借助从参考图像的再现得到的一校准来进行校准，其中-由于像差，参考图像中的直线(L1)在再现的参考图像中被再现成一曲线(L2)及-为了提供该至少一个校准参数，在计算时使用了该直线和该曲线之间的偏差；其特征在于-为了计算，提供了该直线(L1)上的分立点(P′1，P′2，P′3)的几何关系(5)，-提供了一近似关系(4)，它计及了该直线(L1)上的分立点(P′1，P′2，P′3)和该曲线(L2)上的相应分立点(P1，P2，P3)之间的偏差，至少包含一个校准参数(γ1)，-从该几何关系(5)和该近似关系(4)得到至少一个校准参数(γ1)，其中该校准是根据靠近该参考图像边界的一单个直线(L1)得到的，而该图像是通过光学系统再现的并进一步经过处理，而且其中由该光学系统的像差所引起的该再现图像的变形可通过使用该校准来矫正。
12.成像系统，包括一装置，该装置适于实现前述任一权利要求所述的方法。
全文摘要
提出了一近似方法，用来得到径向像差模型的第一系数。本发明的思想能使数字像机系统自动地寻求一好的参数，以便通过捕捉具有单个直线的图像来矫正径向透镜变形。所提出的方法对于数字相机实时完成径向透镜矫正来说在计算上是有效的。
文档编号H04N5/217GK1596421SQ02822372
公开日2005年3月16日 申请日期2002年10月24日 优先权日2001年11月13日
发明者郑子泓 申请人:皇家飞利浦电子股份有限公司