图像处理装置及图像处理方法
【技术领域】
[0001 ]本发明涉及一种图像处理装置和图像处理方法。
【背景技术】
[0002]近年来，随着机器人技术的发展，诸如组装工业产品等的、此前由人进行的复杂任 务，正逐渐被替代为由机器人进行。为了进行组装，这种机器人通过使用诸如手等的末端执 行器来抓握部件。对于机器人要抓握部件，需要测量作为抓握的目标的部件与机器人(手） 之间的相对位置及姿态(下文中，简单称为位置及姿态）。这样的位置及姿态测量还能够应 用于各种目的，诸如用于机器人自主移动的自身位置估计或者在增强现实中的虚拟物体与 实体空间(实体物体)之间的对准等。
[0003] 作为物体的位置及姿态的测量方法，T . Drummond与R. Cipol la在"Real-time visual tracking of complex structures"，IEEE Transactions on Pattern Analysis and Machine Intelligence，vol · 24，no· 7，pp·932-946,2002中公开了如下一种方法，其使 得由线段的集合表示的物体的三维模型的投影像与由摄像装置获得的图像上的边缘特征 相匹配。具体而言，基于作为已知信息提供的粗略的位置及姿态，三维模型中的线段被投影 在图像上。接下来，从图像检测与在投影的线段上离散地布置的各控制点相对应的边缘特 征。然后，通过校正粗略的位置及姿态，以使得控制点所属的线段的投影像与对应的边缘特 征之间的、图像上的距离的平方和最小，来获得最终位置及姿态测量值。
【发明内容】
[0004] 根据本发明的实施例，提供一种图像处理装置，其包括：图像获得单元，其用于获 得由摄像装置拍摄的目标物体的拍摄图像;劣化度获得单元，其用于针对所述拍摄图像中 的位置，获得指示所述拍摄图像的劣化度的信息;提取单元，其用于基于所述劣化度从所述 拍摄图像提取所述目标物体的特征;模型保持单元，其用于保持所述目标物体的三维模型； 关联单元，其用于将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型 时观察到的所述三维模型的特征相关联；以及导出单元，其用于通过基于所述关联的结果 校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。
[0005] 根据本发明的另一实施例，提供一种图像处理装置，其包括：图像获得单元，其用 于获得由摄像装置拍摄的目标物体的拍摄图像;劣化度获得单元，其用于针对所述拍摄图 像的位置，获得指示所述拍摄图像的劣化度的信息；保持单元，其用于保持多个比较目标 像；以及确定单元，其用于基于所述目标物体的像与所述多个比较目标像中的比较目标像 之间的匹配度，从所述多个比较目标像之中，确定与所述目标物体的像相对应的像，其中， 所述匹配度基于所述目标物体的像的多个特征中的各个与对应的比较目标像的特征的差 值，所述差值根据与特征被提取的位置对应的所述劣化度而被加权。
[0006] 根据本发明的又一实施例，提供一种图像处理装置，其包括：图像获得单元，其用 于获得由摄像装置拍摄的目标物体的拍摄图像;劣化度获得单元，其用于获得指示所述拍 摄图像的劣化度的信息;设置单元，其用于根据所述劣化度，设置用于从所述拍摄图像提取 特征的提取参数；以及提取单元，其用于参照所述拍摄图像，通过使用由所述设置单元设置 的所述提取参数，提取所述拍摄图像的特征。
[0007] 根据本发明的再一实施例，提供一种图像处理方法，其包括:获得由摄像装置拍摄 的目标物体的拍摄图像;针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的 信息;基于所述劣化度从所述拍摄图像提取所述目标物体的特征;保持所述目标物体的三 维模型;将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察到 的所述三维模型的特征相关联；以及通过基于所述关联的结果校正所述预定位置及姿态， 来导出所述目标物体相对于所述摄像装置的位置及姿态。
[0008] 根据本发明的又一实施例，提供一种图像处理方法，其包括:获得由摄像装置拍摄 的目标物体的拍摄图像;针对拍摄图像的位置，获得指示所述拍摄图像的劣化度的信息;保 持多个比较目标像；以及基于所述目标物体的像与所述多个比较目标像中的比较目标像之 间的匹配度，从所述多个比较目标像之中，确定与所述目标物体的像相对应的像，其中所述 匹配度基于所述目标物体的像的多个特征中的各个与对应的比较目标像的特征的差值，所 述差值根据与特征被提取的位置对应的所述劣化度而被加权。
[0009] 根据本发明的再一实施例，提供一种图像处理方法，其包括:获得由摄像装置拍摄 的目标物体的拍摄图像;获得指示所述拍摄图像的劣化度的信息;根据所述劣化度，设置用 于从所述拍摄图像提取特征的提取参数；以及参照所述拍摄图像，通过使用由所述设置单 元设置的所述提取参数，提取所述拍摄图像的特征。
[0010] 根据本发明的再一实施例，提供一种图像处理装置，其包括：图像获得单元，其用 于获得由摄像装置拍摄的目标物体的拍摄图像;劣化度获得单元，其用于针对所述拍摄图 像中的位置，获得指示所述拍摄图像的劣化度的信息；以及提取单元，其用于从所述拍摄图 像提取所述目标物体的特征;模型保持单元，其用于保持所述目标物体的三维模型;关联单 元，其用于将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察 到的所述三维模型的特征相关联；以及导出单元，其用于通过基于所述关联的结果以及与 所述特征被提取的位置对应的劣化度，校正所述预定位置及姿态，来导出所述目标物体相 对于所述摄像装置的位置及姿态。
[0011] 根据本发明的再一实施例，提供一种图像处理方法，其包括:获得由摄像装置拍摄 的目标物体的拍摄图像;针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的 信息;从所述拍摄图像提取所述目标物体的特征;保持所述目标物体的三维模型;将所述目 标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察到的所述三维模型的 特征相关联；以及通过基于所述关联的结果以及与所述特征被提取的位置对应的劣化度， 校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。
[0012] 通过以下(参照附图）对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0013] 图1是示出根据第一实施例的信息处理装置1的结构的图。
[0014] 图2是根据第一实施例的处理的流程图。
[0015] 图3是根据第一实施例的劣化度计算处理的流程图。
[0016] 图4是根据第一实施例的特征提取处理的流程图。
[0017] 图5A至图5F是示出用于提取边缘特征的滤波器的图。
[0018]图6是根据第一实施例的位置及姿态计算处理的流程图。
[0019]图7A和图7B是说明边缘特征的关联方法的图。
[0020]图8是示出模型边缘特征与图像边缘特征之间的关系的图。
[0021]图9是根据第六变型例的特征提取处理的流程图。
[0022] 图10是根据第七变型例的特征提取处理的流程图。
[0023] 图11是根据第八变型例的劣化度计算处理的流程图。
[0024] 图12是示出目标物体的三维位置的测量方法的图。
[0025] 图13是用于示出照明图案的示例的图。
[0026] 图14是示出根据第四实施例的机器人系统的结构的图。
[0027] 图15是示出根据第六实施例的计算机的结构的图。
【具体实施方式】
[0028]在Drummond与Cipolla所记述的方法中，如果发生了由图像模糊、散景等引起的图 像的劣化，则存在位置及姿态的测量的精度下降的问题。这可以被认为是由于当图像劣化 时，从图像提取的边缘特征的位置会从边缘特征的原始位置偏移。
[0029] 根据本发明的实施例，在使用拍摄图像来测量物体的位置及姿态的情况下发生了 物体的拍摄图像的劣化时，能够提高测量精度。
[0030] 下面将基于附图给出本发明的实施例的说明。然而，本发明的范围不限于以下实 施例。
[0031] [第一实施例]
[0032]在第一实施例中，考虑到测量目标物体的拍摄图像的劣化度，来进行测量目标物 体的位置及姿态的估计。具体而言，当从拍摄图像提取特征时，通过考虑拍摄图像的劣化 度，来以高精度进行特征提取。此外，当使测量目标物体的三维模型吻合提取的特征时，进 行根据拍摄图像的劣化度的加权。下面，测量目标物体被简称为目标物体。
[0033]下面，将对基于由摄像装置拍摄的拍摄图像来估计目标物体的位置及姿态的情况 进行说明。在这种情况下，计算目标物体相对于摄像装置的相对位置及姿态。在下面的说明 中，只要没有另外说明，则目标物体的位置及姿态就指示目标物体相对于摄像装置的相对 位置及姿态。基于摄像装置在坐标系中的位置及姿态，以及目标物体相对于摄像装置的相 对位置及姿态，很容易计算出目标物体在该坐标系中的位置及姿态。因此，计算目标物体相 对于摄像装置的相对位置及姿态，等同于计算目标物体在坐标系中的位置及姿态。
[0034]劣化度指示由摄像装置拍摄的拍摄图像的劣化的程度。以这种方式，当估计目标 物体的位置及姿态时，通过考虑目标物体的拍摄图像的劣化度，能够高精度地估计测量目 标物体的位置及姿态。在本实施例中，由后述的劣化度保持单元102预先生成劣化度，并预 先保持。例如，在摄像装置108获得目标物体的拍摄图像之前，或者在图像获得单元103获得 目标物体的拍摄图像之前，计算劣化度。在本实施例的情况下，在图像获得单元103获得目 标物体的拍摄图像之前，劣化度计算单元101计算劣化度。根据这样的结构，由于能够省略 在图像获得单元103获得了目标物体的拍摄图像之后计算劣化度的处理，因此能够高速地 进行目标物体的位置及姿态的估计。在另一实施例中，可以在摄像装置108获得了目标物体 的拍摄图像之后，或者在图像获得单元103获得了目标物体的拍摄图像之后，计算劣化度。 例如，当在特征提取单元104或可靠度计算单元105的处理中劣化度变得必要时，劣化度计 算单元101可以实时计算劣化度。
[0035] 在本实施例中，针对目标物体的三维模型上的各个特征(模型特征），来设置根据 目标物体相对于摄像装置的相对位置及姿态的劣化度。该劣化度表示与当摄像装置拍摄目 标物体时拍摄图像上的模型特征相对应的目标物体的特征的图像的劣化度。在本实施例 中，考虑由于散景和模糊引起的图像的劣化度。换言之，考虑到摄像条件，而预先计算并保 持由于散景和模糊引起的劣化度。摄像条件包括目标物体与摄像装置之间的相对速度等。 摄像条件还包括诸如曝光时间、焦点位置或光圈等的摄像装置的摄像参数。
[0036] 不对从拍摄图像提取的特征做特别限定，但是在本实施例中使用边缘特征。边缘 特征是如下的点，即，通过对拍摄图像应用诸如索贝尔(Sobel)滤波器等的微分滤波器而提 取的照明梯度的极值。在本实施例中，为了正确地提取边缘特征，使用对应于散景量和模糊 量的滤波器。在实施例中，当散景量和模糊量大时使用大尺寸滤波器，而当散景量和模糊量 小时使用小尺寸滤波器。此外，在从拍摄图像提取的边缘特征（图像边缘特征)与三维模型 上的特征(模型边缘特征)的吻合中，劣化度越小，则越增加边缘特征的权重。
[0037] 图1示出了作为根据本发明的信息处理装置的示例的、根据第一实施例的信息处 理装置1的结构。信息处理装置1包括劣化度计算单元101、劣化度保持单元102、图像获得单 元103、特征提取单元104、可靠度计算单元105、模型保持单元106以及匹配单元107。
[0038] 劣化度计算单元101针对由摄像装置拍摄的拍摄图像中的各位置，计算指示图像 劣化度的信息。在本实施例中，劣化度计算单元101针对各模型边缘特征，计算在拍摄图像 上模型边缘特征的位置处的图像劣化度。
[0039] 在本实施例中，劣化度计算单元101针对各模型边缘特征计算拍摄图像上的散景 量和模糊量，作为劣化度。在实施例中，考虑到根据摄像装置108的摄像条件和指示目标物 体的三维形状的三维模型，通过模拟来计算劣化度。稍后将描述计算劣化度的详细方法。在 本实施例中，劣化度计算单元101计算散景量和模糊量作为劣化度。劣化度保持单元102保 持由劣化度计算单元101针对各模型边缘特征计算的劣化度。不对劣化度做特别限定，只要 其指示拍摄图像的图像劣化度即可。例如，劣化度可以是图像的模糊量和散景量中的至少 一者。此外，基于散景量和模糊量的参数(例如，后述的σ〇)可以被计算为劣化度。此外，可以 计算3个或更多个参数作为劣化度。
[0040] 在本实施例中，劣化度计算单元101针对模型保持单元106保持有位置信息的各模 型边缘特征，来计算劣化度。劣化度保持单元102针对模型保持单元106保持有位置信息的 各个模型边缘特征，来保持劣化度。针对三维模型的任意点，能够通过类似的方法计算劣化 度。
[0041] 在本实施例中，如稍后所述的，进行目标物体的像与比较目标的像(三维模型像） 的匹配。如果匹配良好，则例如，在优化的最终阶段，可以认为目标物体的像与比较目标的 像近似。因此，可以认为在拍摄图像上的模型边缘特征的位置处的图像的劣化度对应于根 据拍摄图像的图像边缘特征的劣化度。
[0042] 在本实施例中，劣化度计算单元101对于目标物体相对于摄像装置108的各种相对 位置及姿态，检测模型边缘特征组的位置。然后，劣化度计算单元101针对各模型边缘特征 计算劣化度。劣化度保持单元102将针对模型边缘特征组计算的劣化度组与目标物体相对 于摄像装置108的相对位置及姿态相关联地保持。在此，针对各模型边缘特征计算的劣化度 被与模型边缘特征相对于摄像装置108的相对位置及姿态相关联。
[0043]在本实施例中，如果目标物体相对于摄像装置108的相对位置及姿态相同，则假设 拍摄图像的劣化度也相同。在摄像装置108的诸如焦点位置和光圈值等的摄像条件固定的 情况下，如果目标物体相对于摄像装置108的相对位置及姿态固定，则估计出拍摄图像的散 景量类似。
[0044] 期望如下的情况，即，当工业机器人抓握目标物体时，通过使用固定在机器人上的 摄像装置108拍摄目标物体，来测量目标物体的位置及姿态。由于预计工业机器人重复固定 操作，因此可以认为根据摄像装置108的位置及姿态的摄像装置108的速度是固定的。此外， 可以认为目标物体静止或乘坐在传送带等上以固定速度移动。因此，在摄像装置108的诸如 快门速度等的摄像条件固定的情况下，如果目标物体相对于摄像装置108的相对位置及姿 态固定，则估计出拍摄图像的模糊量类似。
[0045] 在另一实施例中，劣化度计算单元101可以使用根据摄像装置108的各种摄像条件 来计算劣化度的组。在这种情况下，劣化度保持单元102能够将劣化度组与目标物体相对于 摄像装置108的相对位置及姿态以及摄像条件相关联地保持。在这种情况下，例如，可以通 过使用与目标物体的粗略位置/姿态以及由图像获得单元103获得的拍摄图像的摄像条件 相对应的劣化度组，来估计目标物体的位置及姿态。
[0046]图像获得单元103获得通过拍摄目标物体获取的拍摄图像。在本实施例中，图像获 得单元103从摄像装置108获得由连接到信息处理装置1的摄像装置108拍摄的目标物体的 拍摄图像。在另一实施例中，图像获得单元103可以从信息处理装置1包括的存储有拍摄图 像的存储单元(未示出）获得拍摄图像。此外，图像获得单元103可以从经由网络连接到信息 处理装置1并且存储有由摄像装置108获得的拍摄图像的外部存储装置(未示出），获得拍摄 图像。此外，不对拍摄图像的类型做特别限定，只要能够提取目标物体的像的特征即可。例 如，拍摄图像可以是灰度图像，可以是彩色图像，或者可以是距离图像。
[0047] 特征提取单元104从由图像获得单元103获得的拍摄图像提取目标物体的像的特 征。在本实施例中，特征提取单元104通过对拍摄图像进行边缘检测处理来提取边缘特征。 在这种情况下，特征提取单元104通过参照劣化度保持单元102保持的劣化度来提取边缘特 征。换言之，特征提取单元104根据劣化度设置用于从拍摄图像提取特征的提取参数。特征 提取单元104参照拍摄图像，并使用设置的提取参数来从拍摄图像提取多个特征。以这种方 式，特征提取单元104具有劣化度获得单元，该劣化度获得单元获得由劣化度保持单元102 保持的劣化度。
[0048] 具体而言，特征提取单元104首先从劣化度保持单元102获得与目标物体的当前位 置及姿态的粗略值相对应的劣化度的组。在本实施例中，特征提取单元104从与由劣化度保 持单元102保持的劣化度组相关联的目标物体的位置及姿态中，指定与目标物体的当前位 置及姿态的粗略值最接近的位置及姿态。特征提取单元104获得与目标物体的指定的位置 及姿态相关联的劣化度组。
[0049] 特征提取单元104设置用于基于获得的劣化度来提取边缘特征的提取参数。在本 实施例中，边缘提取滤波器的滤波器系数被设置为提取参数。此外，特征提取单元104通过 对拍摄图像应用设置的滤波器来提取边缘特征。以下，由特征提取单元104从拍摄图像提取 的边缘特征被称为图像边缘特征。稍后将描述设置滤波器的方法。
[0050]可以通过使用公知的方法来获得目标物体的粗略位置及姿态。作为获得目标物体 的粗略位置及姿态的方法的示例，给出了在Hiroto Yoshii，〃Coarse Position/ Orientation Detection of Bulk Parts Using Ensemble Classification Tree〃，Image Recognition and Understanding Symposium(MIRU2010)，2010中记载的方法。作为目标物 体的粗略位置及姿态，也可以使用之前直接估计的目标物体的位置及姿态。
[0051 ]模型保持单元106保持目标物体的三维模型。三维模型例示了目标物体的三维几 何形状。不对几何形状的表现格式做特别限定。例如，三维模型可以是多边形格式(polygon format)的数据，即，可以具有由用于表现几何形状的三维点构成的面和线的集合。三维模 型可以具有表现边缘线的三维线的集合，或者可以具有单纯的三维点的集合。在本实施例 中，模型保持单元106保持从目标物体的三维模型提取的三维边缘特征(模型边缘特征）的 位置信息。
[0052] 下面示出模型保持单元106保持的模型边缘特征的提取方法的示例。以这种方式 获得的图像被称为投影图像。换言之，通过使用目标物体的三维模型来估计由摄像装置108 拍摄目标物体