使用能够基于通过拍摄目标物体1205 获得的图像，来计算目标物体1205的面上的三维位置的任意方法。例如，可以通过使用布置 在不同位置处的多个摄像装置拍摄目标物体1205。在这种情况下，可以使用摄像装置与从 各个拍摄图像提取的关注特征的位置的相对位置及姿态，通过三角测量方法的原理，来计 算关注特征的三维位置。此外，可以经由上述方法，针对目标物体的像上的点，计算三维位 置。
[0233] 接下来，将参照图2的流程图，给出关于在本实施例中进行的处理的说明。根据本 实施例的信息处理装置1具有与第1实施例类似的结构，并且下面将给出关于不同点的说 明。在本实施例中，模型保持单元106保持目标物体1205的三维模型。模型保持单元106保持 的目标物体1205的三维模型例如由指示位于目标物体1205的面上的表面组或点组的位置 的信息组成。下面，将给出由表面组组成目标物体1205的三维模型的情况的说明。
[0234]与第1实施例类似地进行步骤S201。除了代替针对各个模型边缘特征计算劣化度、 而是针对三维模型的面上的各个点计算并保持劣化度之外，与第1实施例类似地进行步骤 S202和步骤S203。能够与针对模型边缘特征的劣化度的计算类似地进行针对点的劣化度的 计算。例如，劣化度计算单元101能够通过使用摄像装置1203的摄像条件以及摄像装置1203 与点之间的距离等，来计算散景量。劣化度计算单元101能够计算在曝光时间期间点在拍摄 图像表面上的移动量，作为模糊量。可以采用如下结构，即使得劣化度计算单元101和劣化 度保持单元102针对三维模型的各个面，计算并保持劣化度。
[0235] 在步骤S204中，如上所述，特征提取单元104获得通过拍摄投影有照明图案1201的 目标物体1205而获得的拍摄图像1204。在步骤S205中，特征提取单元104从在步骤S204中获 得的拍摄图像中如上所述地提取三维点，并且记录三维点的三维位置。下面，将提取的三维 点称为测量特征。
[0236] 下面，将参照图6的流程图，给出步骤S206中的处理的详细说明。步骤S606和步骤 S607的处理与第1实施例类似，并且将省略说明。
[0237] 在步骤S601中，匹配单元107进行初始化处理。首先，匹配单元107从模型保持单元 106获得目标物体1205的三维模型。同样地，匹配单元107获得目标物体1205的粗略位置/姿 态，并且将其设置为三维模型的位置及姿态s。
[0238] 在步骤S602中，匹配单元107将在步骤S205中提取的三维点与在步骤S601中获得 的三维模型上的特征相关联。在本实施例中，针对各个测量特征，匹配单元107检测距离最 近的、在三维模型像中的表面。然后，匹配单元107将检测到的表面与测量特征相关联。下 面，将与测量三维点相关联的三维模型的表面称为模型特征。
[0239] 在步骤S603至S605中，类似于第1实施例，匹配单元107使用Gauss-Newton方法来 计算目标物体的位置及姿态。具体而言，匹配单元107重复更新三维模型相对于视点的相对 位置及姿态，以使得目标物体的像与三维模型的像之间的匹配度变得更大。同样在本实施 例中，基于针对根据与提取了测量特征的位置相对应的劣化度而加权的各个测量特征与对 应模型特征的差值，来获得匹配度。测量特征与模型特征之间的差值是测量特征的三维位 置与模型特征的三维位置之间的距离。类似于第1实施例，匹配单元107针对通过改变位置 及姿态而获得的多个三维模型像，计算与目标物体的像的匹配度。从多个三维模型像中，可 以将提供最高匹配度的三维模型像确定为与目标物体的像相对应的三维模型像。
[0240] 在步骤S603中，匹配单元107如下计算系数矩阵和误差向量。系数矩阵的各个要素 是与针对测量特征的坐标的、三维模型的位置及姿态的微小改变相对应的一次偏微分系 数，更具体地说，是三维坐标的偏微分系数。误差向量是测量特征与模型特征之间在三维空 间中的距离。
[0241] 通过使用目标物体1205的位置及姿态，将在照相机坐标系（例如，基于摄像装置 1203的位置及光轴方向的坐标系）中的点组的三维坐标，转换为目标物体1205的坐标系中 的三维坐标(X，y，z)。在此，根据目标物体1205的粗略位置/姿态，将照相机坐标系中的测量 特征的三维坐标转换为目标物体坐标系中的三维坐标(xo，yo，ζο)。（x，y，z)由目标物体1205 的位置及姿态s改变，并且通过在(XQ，yQ，Z())附近的一阶泰勒展开能够如式(20)那样进行近 似。
[0242] [式 20]
[0243]
[0244]
[0245]
[0246] 在与测量特征相关联的模型特征的模型坐标系中的等式被构造为ax+by+Cz = e (a2 +b2+c2 = l;a，b，c及e是常量）。如果目标物体1205的位置及姿态s准确，贝lj当将照相机坐标系 中的测量特征的三维坐标(x，y，z)转换为目标物体坐标系中的三维坐标时，可以认为转换 后的三维坐标满足上述等式。如果这样假定，则通过将式(20)代入表面的等式a x+by+cz = e (a2+b2+c2 = 1)来获得式(21)。
[0247] 「忒 91?
[0248]
[0249] q = axo+byo+czo
[0250] 在式(21)中，q是常量。
[0251 ]针对在步骤S602中检测到对应模型特征的所有测量特征，式(21)都成立。因此，如 式(22)，针对Δ Si的线性联立方程成立。
[0252] [式 22]
[0253]
[0254] 在式(22)中，左侧的矩阵是系数矩阵，并且右侧的矩阵是误差向量。以这种方式， 匹配单元107计算系数矩阵和误差向量。
[0255] 在步骤S604中，可靠度计算单元105针对各个测量特征计算可靠度。可以与第1实 施例类似地进行可靠度的计算。例如，可靠度计算单元105从劣化度保持单元102,针对各个 测量特征获得对应的劣化度。在本实施例中，从计算了劣化度的三维模型的面上的各点中， 能够获得针对最接近测量特征的三维位置的点的劣化度，作为针对测量特征的劣化度。可 靠度计算单元105计算针对各个测量特征的劣化度的平均值，并且还通过使用式（1)来计算 针对各个测量特征的可靠度。在本实施例中，式（1)的c是针对测量特征的劣化度的平均值， 并且b是针对测量特征的劣化度。计算可靠度的方法不限于该方法，并且可以使用在第1实 施例中说明的各种方法。此外，可以采用如下结构，即，将三维空间分割为多个区域，并且针 对各个分割区域计算针对测量特征的劣化度的统计量，并且通过将计算出的统计量用作参 数的函数来表现可靠度。
[0256] 计算出的可靠度被用作针对各个测量特征的权重。在下面的说明中，如在第1实施 例中说明的，像在式（12)那样，基于可靠度来定义权重矩阵W。权重矩阵W是除了对角要素之 外的分量为〇的正方形矩阵。对角要素是针对各个模型特征的权重，即，是可靠度 Wl( i = 1至 N。）』。是与测量特征相关联的模型特征的总数。与第一实施例类似，像式（13)那样，通过使 用权重矩阵W来变换式（11)。在步骤S605中，可靠度计算单元105通过如式（14)那样求解式 (13)，来获得校正值△ s。通过步骤S605的处理，来获得三维模型的像与目标物体的像之间 的匹配度变得更高的位置及姿态的校正值A s。
[0257] 如上所述，通过步骤S601至S607的处理，来估计目标物体的位置及姿态。
[0258] 在本实施例中，给出了由表面组组成目标物体1205的三维模型的情况的说明。然 而，目标物体1205的三维模型可以由点组构成。在这种情况下，在步骤S602中，针对各个测 量特征，能够将距离最近的三维模型的点相关联。然后，可以获得目标物体1205的位置及姿 态的校正值A s，以使得通过可靠度来加权对应点之间的距离而获得的评价函数最小。
[0259] 通过以上说明的第二实施例，在考虑到根据散景、模糊等的拍摄图像的劣化来针 对测量特征进行加权的同时，通过使模型特征吻合测量特征，来估计目标物体的位置及姿 态。因此，能够提高目标物体的位置及姿态的估计精度。
[0260] [第3实施例]
[0261] 在第1实施例中，通过使投影在拍摄图像表面上的目标物体的三维模型的模型边 缘特征的图像坐标，吻合从拍摄图像提取的图像边缘特征的图像坐标，来估计目标物体的 位置及姿态。在第2实施例中，通过使目标物体的三维模型的模型特征(例如，表面）的三维 坐标吻合从拍摄图像计算的测量特征(例如，三维点）的三维坐标，来估计目标物体的位置 及姿态。在第3实施例中，通过组合第1实施例及第2实施例，通过使用拍摄图像上的图像坐 标的吻合以及三维空间中的三维坐标的吻合两者，来估计目标物体的位置及姿态。
[0262] 接下来，将参照图2的流程图，给出关于本实施例中进行的处理的说明。根据本实 施例的信息处理装置1具有与第1实施例类似的结构，并且下面给出关于不同点的说明。
[0263] 与第1实施例类似地进行步骤S201。在步骤S202及步骤S203中，与第1实施例类似 地计算并保持针对各个模型边缘特征的劣化度，此外，与第2实施例类似地计算并保持针对 三维模型的各个表面的劣化度。与第2实施例类似地进行步骤S204。在步骤S205中，特征提 取单元104与第1实施例类似地从拍摄图像提取图像边缘特征，并且与第2实施例类似地提 取测量特征(三维点）。
[0264] 下面，将参照图6的流程图，给出步骤S206中的处理的详情的说明。步骤S606和步 骤S607的处理与第1实施例的类似，并且将省略对其说明。在步骤S601中，匹配单元107与第 1和第2实施例类似地进行初始化处理。
[0265] 在步骤S602中，类似于第1实施例，匹配单元107进行模型边缘特征的各组与图像 边缘特征的各组的关联。此外，类似于第2实施例，匹配单元107将测量特征与模型特征(三 维模型的表面)相关联。
[0266] 在步骤S603中，匹配单元107计算误差向量和系数矩阵，以求解线性联立方程。具 体而言，匹配单元107进行在第1实施例中说明的处理和在第2实施例中说明的处理两者。通 过将关于根据第1实施例获得的边缘特征的误差向量和系数矩阵，与关于根据第2实施例获 得的边缘特征的误差向量和系数矩阵组合，来获得式(23)。
[0267]
[0268]
[0269] 在步骤S604中，类似于第1实施例，匹配单元107计算针对与模型边缘特征相对应 的图像边缘特征的可靠度，并且类似于第2实施例，计算针对与模型特征相对应的测量特征 的可靠度。计算出的可靠度被用作针对各个图像边缘特征和测量特征的权重。在以下说明 中，如式(24)，基于可靠度来定义权重矩阵W。
[0270] [式 24]
[0271
[0272]权重矩阵W是除了对角要素之外的分量是0的正方形矩阵。权重矩阵W的对角要素 是针对图像边缘特征的可靠度W2d,i(i = 1至Na)，以及针对测量特征的可靠度W3d,i(i = 1至 NbhNa是检测出了对应图像边缘特征的模型边缘特征的总数，并且Nb是对应于测量特征的 模型特征的总数。
[0273] 与第1实施例类似，通过使用权重矩阵W如式（13)那样变换式（11)。在步骤S605中， 可靠度计算单元105如式(14)那样通过求解式(13)来获得校正值A S。
[0274] 如上所述，通过步骤S601至S607的处理，来估计目标物体的位置及姿态。
[0275]通过上述第3实施例，在考虑到根据散景、模糊等的拍摄图像的劣化来针对测量特 征进行加权的同时，使用测量特征和图像边缘特征两者，来估计目标物体的位置及姿态。因 此，能够提高目标物体的位置及姿态的估计精度。
[0276][第4实施例]
[0277] 在第4实施例中，参照图14,来说明根据第1至第3实施例的信息处理装置1的应用 的示例。具体而言，信息处理装置1基于由摄像装置1400获得的拍摄图像，来估计目标物体 1205的位置及姿态。工业机器人1401基于估计的目标物体1205的位置及姿态来操作目标物 体1205。如图14所示，根据本实施例的机器人系统包括信息处理装置1、摄像装置1400以及 机器人1401。
[0278] 机器人1401例如是工业机器人，并且包括具有可动轴的机械臂。由机器人控制器 控制机械臂的移动，并且可以使得末端执行器移动到指示的位置。由此，机器人1401能够对 物体进行操作，例如，抓握物体等。目标物体1205放置在工作台上的位置可以改变。因此，为 了使机器人1401要在目标物体1205上进行操作，需要估计目标物体1205的位置及姿态，并 且基于该估计控制机械臂的移动。机器人控制器可以配设在机器人1401上，或者机器人 1401可以连接到机器人控制器。
[0279]摄像装置1400是拍摄二维图像的照相机。可以使用普通照相机作为摄像装置 1400。摄像装置1400被放置在能够拍摄目标物体1205的位置处。在实施例中，摄像装置1400 被配设在由机器人1401组成的机械臂的末端执行器上（即，在抓握物体的手上），或被配设 在该手附近。摄像装置1400也可以被布置在与从机器人1401分开的位置处。
[0280]如第1至第3实施例所述，信息处理装置1基于从摄像装置1400获得的拍摄图像，来 估计目标物体1205的位置及姿态。如果需要，也可以使用在第2实施例中说明的照射装置。 由图像处理装置1估计的目标物体1205的位置及姿态被发送到机器人控制器。机器人控制 器基于获得的目标物体1205的位置及姿态，来控制机械臂的位置及姿态。由此，机器人1401 能够进行诸如抓握目标物体1205等的操作。
[0281] 如上所述，即使目标物体1205的位置不固定，根据第4实施例的机器人系统通过估 计目标物体1205的位置及姿态，也能够进行针对目标物体1205的操作。
[0282] [第5实施例]
[0283] 在第1至第4实施例中，估计目标物体的位置及姿态。在第5实施例中，进行目标物 体的类型的指定。根据第5实施例的信息处理装置1具有与第1实施例类似的结构，下面将给 出不同点的说明。
[0284] 劣化度计算单元101和劣化度保持单元102计算并保持劣化度。在本实施例中，例 如，如第i、第8以及第 9变型例所述，针对各个像素计算并保持劣化度。在本实施例中，也针 对各个后述的投影图像，计算并保持劣化度。
[0285] 特征提取单元104从由图像获得单元103获得的拍摄图像提取特征。在本实施例 中，提取针对各个像素的照明值作为特征。
[0286] 模型保持单元106保持针对多个比较目标的模型信息，该多个比较目标是与目标 物体相比较的物体。一条模型信息由包括比较目标的像的图像和识别比较目标的类型的标 识符组成。换言之，模型保持单元106进行图像保持，并且保持包括比较目标的像的多个图 像。在本实施例中，比较目标的像是通过将比较目标的三维模型投影在拍摄图像上而获得 的投影图像。比较目标的像可以是通过拍摄比较目标而获得的拍摄图像。此外，针对一个比 较目标，模型保持单元106可以保持在比较目标相对于摄像装置的相对位置及姿态不同的 情况下的多个模型信息。
[0287] 可靠度计算单元105针对模型保持单元106保持的投影图像的各个像素，计算可靠 度。在本实施例中，可靠度计算单元105由针对投影图像的各个像素的劣化度，计算劣化度 的统计值，例如，平均值。与第1实施例类似，然后，可靠度计算单元105使用Tukey函数来计 算各个像素的可靠度。如前所述，不对计算可靠度的方法做特别限定，只要劣化度越高则可 靠度变得越低即可。例如，可以采用如下结构，即通过使用Tukey函数和预定阈值来计算各 个像素的可靠度。也可以采用如下结构，即使用计算出的统计值来针对所有像素位置设置 共同的可靠度。作为统计值，也可以使用中值、标准偏差等。
[0288] 匹配单元107指定在由图像获得单元103获得的拍摄图像中包括的目标物体的类 型。具体而言，匹配单元107确定由图像获得单元103获得的拍摄图像与由模型保持单元106 保持的投影图像之间的类似度。在本实施例中，匹配单元107根据各个像素位置的可靠度， 对针对各个像素位置的投影图像的像素值与拍摄图像的像素值之间的差值进行加权。然 后，基于针对各个像素位置获得的加权的差值，来计算目标物体的像与比较目标的像之间 的匹配度。由此获得的匹配度是基于根据与提取了特征的位置对应的劣化度而加权的、针 对目标物体像的多个特征中的各个与对应的比较目标像的特征的差值。
[0289] 在一个示例中，匹配单元107使用式(25)中示出的归一化互相关函数，来计算由特 征提取单元104获得的照明值与模型保持单元106保持的投影图像的照明值之间的类似度 NCC。根据式(25)计算的NCC的值越接近1，则确定类似度越高。
[0290] 「忒 2ΡΠ
[0291
[0292]在式(25)中，i和j指示像素位置，并且函数I和T分别指示模型保持单元106保持的 投影图像的照明值和由特征提取单元104获得的照明值。此外，函数W指示由可靠度计算单 元105计算的可靠度。
[0293] 匹配单元107针对模型保持单元106保持的各个投影图像计算NCC。匹配单元107指 定NCC的值最接近1的投影图像。最后，匹配单元107通过使用与指定的投影图像相关联的标 识符，来指定目标物体的类型。匹配单元107能够输出指示指定的目标物体的类型的信息。 如果NCC的值不超过阈值，则匹配单元107可以确定在拍摄图像中不存在登记类型的物体。
[0294] 接下来，将参照图2的流程图，来给出本实施例中的处理的说明。与第1实施例类似 地进行步骤S201的处理。在步骤S202和S203中，劣化度计算单元101和劣化度保持单元102 如上所述计算和保持劣化度。与第1实施例类似地进行步骤S204的处理。
[0295] 在步骤S205中，特征提取单元104提取在步骤S204中获得的拍摄图像上的各个像 素值，作为特征。在步骤S206中，如上所述，匹配单元107使用在步骤S205中提取的特征、模 型保持单元106保持的投影图像、以及由可靠度计算单元105计算出的可靠度，来进行目标 物体的识别。
[0296] 通过上述处理，能够指定目标物体的类型。通过应用本实施例，还能够确定目标物 体的位置及姿态。例如，模型保持单元106保持的一条模型信息可以由投影图像、标识符以 及指示摄像装置相对于比较目标的相对位置及姿态的信息构成。在这种情况下，匹配单