专利名称：：图像处理方法、图像处理装置以及成像装置的利记博彩app
技术领域：
：本发明涉及一种用来处理由光学系统捕捉到的图像的技术，其中该光学系统是一种具有广角和大的失真的光学系统。
背景技术：
：车辆安装有反光镜(fendermirror)、门镜(doormirror)、以及倒车镜(backmirror)以便可以看到驾驶员不能直接看到的盲点(blindspot);然而，仅通过上述这些镜子很难完美地看到环绕车辆一圈的盲点。为了查看那些即使利用上述这些镜子也不能看到的盲点，近来正在开发一种适于装配在车辆的头部、尾部或侧部处的车载可视相机(例如，参见KenichiHATANAKA等人的"DevelopmentofIn-VehicleImageProcessingEquipment"，SEItechnicalreview,第162巻，第卯至93页，2003年3月)。对于头部相机(frontcamera)，该相机的视角需大于等于180度以确保在接近十字路口时可以看到从左右两侧到来的车辆。此外利用尾部相机(rearcamera),在车辆倒车时驾驶员所期望查看的区域则是相机的中间图像。甚至此时，也可以通过显示左右两侧的盲点来使车辆更加安全地倒车。出于这个目的，相机的视角需要大于等于180度。在反光镜或门镜当中或是在紧邻侧镜(sidemirror)处装配的侧部相机主要用于查看车辆两侧的盲点。为了利用紧邻侧部下缘装配的侧部相机来连续地查看前轮或后轮附近的图像和上述车轮的向前或向后的图像，也需要相机具有大于等于180度的视角。然而，对于具有大于等于180度视角的相机而言，中间部分的图像会变得很小，并且存在更加緩慢地识别对象和很难获得距离感等问题。进一步，随着视角变得宽广，失真也随之变得更大，因此很难设计出一种具有小像差的光学系统。相应地，对于具有大于等于140度视角的相机而言，通常与图像处理一并执行失真校正以校正图像失真。然而，在视角大于等于180度的情况下，很难完全地校正失真而不引起任何的眩暈感觉(senseofstrangeness)。进一步，对于具有传感器的、屏幕高宽比为4:3的相机而言，如果立体投影系统使用等角投影等，则垂直视角变为大约140度。如果在右前方安装头部相机，或是在朝向右后方安装尾部相机，则相机正下方处在传感器的受光区域之外而成为盲点。相机正下方的图4象，即显示保险杠正靠近诸如前面或后面的墙等障碍物的图像则是当停车时最期望查看的图像中的一个。如果向下安装相机以便看到上述图像，则大部分屏幕成为显示道路的图像，并且向前和向下的图像变小。因此，执行用来根据运算有效地移动相机位置的、被称为"视图变换(overviewtransformation)"(视点变换)的图像处理。传统地，当将要执4亍失真校正和视图变换时，考虑透镜周长的失真量执行失真校正，之后为了进行视图变换而执行视点变换，由此得到视像。在上述系统中，由于连续地处理失真校正和视点变换，使得处理变得非常繁瑣并且花费了大量的运算资源。通过利用诸如多项式等校正公式(关于坐标变换的等式)变换原始图像中的各像素的坐标，执行倍率色像差和失真的校正。传统地，已经公知有多种校正公式，并且传统的用来校正失真的常规等式可以表示为v、(1)其中，X和Y代表变换源的坐标，x和y代表变换目标的坐标，而f和g是校正函数。如等式(1)所示，通过在垂直方向和水平方向上环绕图像中心对称地执行坐标变换相应地得到失真校正后的图像。在这种情况下，图像通常在四个角处产生眩暈的感觉，并且当期望看到的对象处在上角或下角时，不能获得自然的校正图像。进一步，当将要执行失真校正和视图变换时，在执行失真校正之后，独立地执行视图变换的视点变换。相应地，处理变得非常繁瑣并且需要大量的运算资源。
发明内容本发明的目的在于至少部分地解决现有技术中的问题。根据本发明的一个方面，提供了一种处理存在失真的图像数据的方法，所述方法包括通过利用I7="g0u-y0)对图像数据执行坐标变换，从而校正所述图像数据的失真，其中，X和Y表示变换源的坐标，该变换源是失真校正后的图像数据，x和y表示变换目标的坐标，该变换目标是存在失真的图像数据，x。和y。分别是x方向和y方向上的偏移值，并且f和g是校正函数。进一步，所述偏移值可以被设定为x。-0和yQ=0,以便仅在x方向上执行偏移。此外，所述偏移值被设定为xo-0和yc^0，以便仅在y方向上执行偏移。进一步，可以设定偏移值xo和yo，使失真校正中的固定点偏离中心。当结合所述附图一起考虑时，通过阅读如下的关于本发明的当前优选的实施例的详细说明，可以对本发明的上述和其它目的、特征、优点以及技术上和工业上的重要性获得更佳的理解。图l是根据本发明实施例的成像装置的方框图；图2A是G信号的拜耳(Bayer)彩色滤波器阵列的示意图；图2B是R信号的拜耳彩色滤波器阵列的示意图；图2C是B信号的拜耳彩色滤波器阵列的示意图；图3是根据本实施例的MTF校正单元的方框图；图4是用来说明FIR滤波器的示例的示意图；图5是根据图1所示的实施例的失真校正单元的配置图；以及图6A和图6B是根据本发明和根据现有技术的失真校正的具体示例。具体实施例方式下面，将会参考所附附图详细地描述本发明的示例性实施例。实施例说明了利用具有大的倍率色像差和失真的、广角的光学系统捕捉对象的成像装置，以及具有用来校正倍率色像差和失真的配置的图像处理系统。然而，本发明的主要特征在于通过视图变换(视点变换)进行失真校正，并且图像必须是通过至少具有广角和大的倍率色像差的光学系统所捕捉到的图像。图像的颜色分量不仅可以是加色法原色中的红色(R)、绿色(G)、以及蓝色(B)，而且它们还可以是减色法原色中的黄色(Y)、红紫色(M)、以及蓝绿色(C)。图1是根据本发明实施例的成像装置中的图像处理系统的功能性方框图。除了图1中所示的部件之夕卜，根据本实施例的成像装置还包括图1中没有示出的操作单元、图像存储单元、以及图像显示单元。该成像装置可以用作车载相机，但是并未限制本发明仅应用于此。例如，该成像装置可以安装并且使用在超市或便利店。如图1所示，控制单元100向各个单元提供所需的控制信号(时钟、水平/垂直同步信号等)以便按照流水线方式控制各个单元的操作。例如，成像器件110包括CCD或CMOS传感器，用来将使用具有广角和大的倍率色像差和失真的、诸如鱼眼光学系统的光学系统(未示出)捕捉到的光学图像转换成电信号(图像数据)。在成像器件110中设置有拜耳彩色滤波器阵列，并且基于控制单元100给出的坐标值(x，y)顺序地输出拜耳阵列RGB图像数据。通过推移预定时间，控制单元100将向成像器件110提供的坐标值(x,y)顺序地提供到后续阶^a。可在成像器件110中产生坐标值(x，y)并且将这些坐标值顺序地提供给后续阶段。模拟-数字(A/D)转换器120将作为成像器件110输出的模拟信号的拜耳阵列RGB图像数据转换成数字信号，并且将数字信号输出到拜耳内插单元130。例如，数字信号对于RGB中的每一种都包括8位。通常，在A/D转换器120的先前阶l殳"没置有AGC电路；然而，在这里省略了AGC电路。拜耳内插单元130接收被转换成数字信号的拜耳阵列RGB图像数据，通过线性内插产生所有坐标位置的图像数据，并且将图像数据输出到倍率色像差校正单元140。图2A至图2C是拜耳阵列彩色滤波器的示意图，其中由等式(3)至等式(8)得到Go、R2、R4、R6、Rs和Ro。G0=(G2+G4+G6+G8)/4(3)(4)(5)(6)(7)(8)R产(R,+R3)/2R4=(R3+R5)/2R6=(R5+R7)/2Rs气Rt+R7)/2Ro=(Ri+R3+R5+R7)/4B2、B4、B6、B8和B。与R2、R4、&、118和Ro的情形是相同的。尽管上述实施例涉及采用拜耳彩色滤波器阵列的成像器件，但是对于采用CMYG阵列或RGB+Ir(红外)的其它类型的彩色滤波器阵列的成像器件而言也可获得上述效果。特别的，具有四种颜色的彩色滤波器阵列的成像器件与具有诸如RGB的三种颜色的彩色滤波器阵列的成像器件相比较，为了获取好的效果需要使用低等待时间的存储器或四端口RAM。倍率色像差校正单元140接收拜耳内插后的RGB图像数据，根据预定的等式对RGB的颜色分量单独地执行坐标变换(倍率色像差坐标变换)，并且输出倍率色像差校正后的RGB图像数据。对于用于倍率色像差的校正的坐标变换，可使用低容量低等待时间的存储器或者具有多个端口的低容量的存储器(诸如SRAM)。调制传递函数(MTF)校正单元150接收倍率色像差校正后的RGB图像数据，利用FIR滤波器执行MTF校正，并且输出MTF校正后的RGB图像数据。图3是MTF校正单元150的方框图。转换单元152基于等式(9)至等式(11)将RGB图像数据转换成YCbCr图像数据。Y=0.299R+0.587G+0.114B(9)Cr=0.500R-0.419G-0.081B(10)Cb=-0.169R-0.332G+0.500B(11)FIR滤波器(5x5滤波器)154仅接收YCbCr的亮度信号Y，并且执行预定的MTF校正。通过只对Y信号滤波(执行MTF校正)而获得颜色噪声的放大被抑制的高质量图像。图4是用来说明FIR滤波器的示例的示意图。由于对Y信号进行了滤波，因此在倍率色像差校正后需要执行MTF校正。然而，当失真校正后执行MTF校正时，如下面将会说明的一样，在失真校正中，坐标变换中的变换距离会很大并且非常容易出现算术误差。优选地，在本实施例中，在倍率色像差校正的后续阶段以及失真校正的先前阶段处执行MTF校正，以避免由于MTF校正导致误差被放大而不利地影响图像质量。逆转换单元156接收CbCr信号和MTF校正后的Y信号，并且基于等式(12)至等式(14)输出逆转换后的RGB图像数据。R=Y+1.402Cr(12)G=Y-0.714Cr-0.344Cb(13)B=Y+1.772Cb(14)失真校正单元160输入倍率色像差校正后的和MTF校正后的RGB图像数据，根据等式(2)对RGB中的各种颜色分量共同地执行坐标变换，并且输出经过视图变换(视点变换)以及失真校正的RGB图像数据。用于校正失真的坐标变换通常需要与用来校正倍率色像差的存储器相比较大的存储容量；然而，由于可以使用单端口的存储器，因此还可使用高等待时间的存储器(动态随机存取存储器(DRAM)等)。随后将会描述失真校正单元160的配置和操作。伽马校正单元170接收从失真校正单元160输出的RGB图像数据，通过使用RGB的各个查询表或等同方式执行预定的伽马校正，并且输出伽马校正后的RGB图像数据。来自伽马校正单元170的RGB图像数据被发送到显示单元(未示出)并在显示器上显示。上面说明了根据图1所示的当前实施例的整体操作。下面将会详细地描述失真校正单元160。图5是根据本实施例的失真校正单元160的配置图。在本实施例中，假定等式(15)被用作校正失真的等式(坐标变换的等式)。然而，通常可使用等式(2)。|Z=x+F=y+尸(l)+fl(2)H+a(3)|_y-y。|+a(4)(y-y。)2]x(i5)6(1)+6(2)|_y-;;。I+6(3)|x|+6(4)]("0)其中(X,Y)表示源的坐标，(x，y)表示目标的坐标，yo表示y方向(垂直方向)上的偏移值，而a(l)至a(4)以及b(l)至b(4)表示坐标变换系数。根据等式(15),通过对具有失真的原始图像在垂直方向上非对称地执行坐标变换获得失真校正后的图像。例如，如果略微朝上地设定焦点，则下半部的面积增大，并且当驾驶员期望查看的对象处在下半部时，可以清楚地查看该对象。如果略微朝下地设定焦点，则可容易地看到该图像。在图5中，附图标记162表示诸如RAM的坐标变换存储器，附图标记164表示用来根据等式(15)计算用于校正倍率色像差的坐标变换的坐标变换运算器，而附图标记166表示用来保持坐标变换系数和在校正公式中使用的偏移值的参数。可以从外部任意地改变参数表166中的坐标变换系数和偏移值。根据坐标值(x,y)从首行(topline)顺序地将未校正失真的RGB图像数据(原始数据)写入坐标变换存储器162当中。另一方面，坐标变换运算器164输入目标的坐标的坐标值(x，y)，从参数表166获取所需的坐标变换系数和偏移值以计算等式(15)，并且输出源的坐标的坐标值(X，Y)。与基于坐标值(x,y)的RGB图像数据的写操作并行地(准确地，延迟了预定时间)，基于从坐标变换运算器164输出的坐标值(X,Y),从坐标变换存储器162中顺序地读出RGB图像数据。也就是说，从坐标变换存储器162读取坐标(X，Y)处的像素的像素值作为坐标(x，y)处的像素的像素值，并且最终输出失真校正后的RGB图像数据。如上所述，可通过作为校正公式的等式(15)获得在垂直方向上非对称地执行坐标变换后的、失真校正后的图像。也就是说，可以获得与通过视图变换(视点变换)获得的效果相同的效果。用户看到显示单元(未示出)上的监视图像以按照需要改变参数表166中的参数值yo,从而允许任意地改变垂直非对称的比率。图6A和图6B是根据本发明和根据现有技术的失真校正的具体示例。图6A是使用现有的校正公式时的示例，而图6B是使用根据本实施例的等式(15)时的示例，其中虚线环绕的帧表示校正前的图像而实线环绕的帧表示校正后的图像。在图6B中，变换系数a(l)至a(4)和偏移值yo可以表示为<table>tableseeoriginaldocumentpage10</column></row><table>显示范围是X从-1到1并且Y从-l到1。图6A示出了，存在失真的图像经受了环绕图像的中心(0，O)在垂直和水平方向上对称地执行的坐标变换，以得到失真校正后的图像。另一方面，在图6B中，存在失真的图像经受了环绕图像的中心(0,-0.5)在垂直方向上非对称地执行的坐标变换，以得到失真校正后的和视点变换后的图像。在图6B中，可减小对下半部的放大以便增大上半部而不产生任何的眩晕感觉，并且可获得与提高视点相比较相同的效果。类似的，例如，通过设定y(T-0.5，可获得与下降-現点时的效果相同的效果。通常，才艮据等式(2)至少在垂直方向上或在水平方向上非对称地执行坐标变换，可以获得无眩暈感觉的、期望得到的校正图像。根据本发明的一个方面，通过至少在垂直方向上或者水平方向上非对称地执行坐标变换来校正存在失真的原始图像，从而能获得无眩晕感觉的、校正后的图像，使得可以容易地看到驾驶员期望查看的对象。例如，当驾驶员期望查看的对象处在下角时，通过在垂直方向上执行偏移来使上角失真，可以容易地看到处在下角处的对象。进一步，通过在水平方向上执行偏移，可在相机的安装位置没有处在中心的情形实现调节，并且可提高对于左右两侧的移动对象的识别水平。进一步，通过执行等式(2)所示的处理，即使在将相机安装到车体的相对低的位置处时(诸如头部相机)，也可以通过简单地执行-f见点变换来提高视点，并且可获得无眩晕感觉的前方图像。由于在失真校正后不需要执行视图变换，因此利用筒便的处理即可获得与视点变换的效果相同的效果。当略微朝下安装相机以查看头部相机的正下方时，大部分屏幕将会显示道路表面。然而，通过等式(2),可改变屏幕的上半部和下半部的放大。因此，可以减小下半部的放大来增大上半部而不会产生任何的眩晕感觉，从而能以前方的大图像来显示整体上无眩暈感觉的清晰视图。对于尾部相机，该相机可以装配在后窗上方，在这种情况下一见点变高。然而，通过简单地利用等式(2)执行校正，可降低视点，并且可获得无眩暈感觉的尾部图像。由于在失真校正后无需执行视图变换，因此利用简便的处理即可获得与视点变换的效果相同的效果。进一步，对于侧部相机，即使朝下安装该相机，仍可获得朝向前面或后面的、无眩晕感觉的图像。由于在失真校正后无需执行视图变换，因此利用简便的处理即可获得与3见点变换的效果相同的效果。尽管已经参考特定实施例清楚地并且完整地说明了本发明，但是所附的权利要求并非局限于此，而是包括落入这里给出的基本教示范围内的、本领域技术人员可以想到的所有修改和可选构造。权利要求1.一种处理存在失真的图像数据的方法，所述方法包括通过利用对图像数据执行坐标变换，从而校正所述图像数据的失真，其中，X和Y表示变换源的坐标，所述变换源是失真校正后的图像数据，x和y表示变换目标的坐标，所述变换目标是存在失真的图像数据，x0和y0分别是x方向和y方向上的偏移值，并且f和g是校正函数。2.才艮据权利要求1所述的方法，其中，所述偏移值^皮设定为xo-0和yo=0。3.根据权利要求1所述的方法，其中，所述偏移值被设定为xo=0和-0。4.根据权利要求1所述的方法，其中，所述偏移值被设定为xo和yo，使得失真校正中的固定点从中心偏移。5.—种图像处理装置，用于处理存在失真的图像数据，所述图像处理装置包括失真校正单元(160)，所述失真校正单元(160)通过利用p-"y"—^"y。)对图像数据执行坐标变换，从而校正所述图像数据的失真，其中，X和Y表示变换源的坐标，所述变换源是失真校正后的图像数据，x和y表示变换目标的坐标，所述变换目标是存在失真的图像数据，xo和yo分别是x方向和y方向上的偏移值，并且f和g是校正函数。6.根据权利要求5所述的图像处理装置，其中，所述失真校正单元(160)将所述偏移值设定为x。-0和yc^0。7.根据权利要求5所述的图像处理装置，其中，所述失真校正单元(160)将所述偏移值设定为xQ=0和yQ*0。8.根据权利要求5所述的图像处理装置，其中，失真校正单元(160)将所述偏移值设定为xo和yo,使得失真校正中的固定点从中心偏移。9.一种成像装置，包括光学系统，所述光学系统具有广角和大的失真；成像器件，用来利用所述光学系统捕捉图像，并且输出包含所述失真的图像数据；以及根据权利要求5至8中任一项所述的图像处理装置。全文摘要本发明公开了图像处理方法、图像处理装置以及成像装置。通过利用X=x+f(x-x<sub>0</sub>,y-y<sub>0</sub>Y=y+g(x-x<sub>0</sub>,y-y<sub>0</sub>对图像数据执行坐标变换，从而校正图像数据的失真，其中，X和Y表示变换源的坐标，该变换源是失真校正后的图像数据，x和y表示变换目标的坐标，该变换目标是存在失真的图像数据，x<sub>0</sub>和y<sub>0</sub>分别是x方向和y方向上的偏移值，并且f和g是校正函数。文档编号G06T3/00GK101510959SQ20091000718公开日2009年8月19日申请日期2009年2月13日优先权日2008年2月14日发明者川崎俊之申请人:株式会社理光