目标物体的位置及姿态。然而，并非必 须对图像边缘特征的提取与加权都使用劣化度。在第4变型例中，类似于第1实施例，特征提 取单元104参照劣化度，并提取图像边缘特征。然而，匹配单元107估计目标物体的位置及姿 态，而不进行基于可靠度的加权。
[0172] 根据本变型例的信息处理装置1除了不具有可靠度计算单元105这点之外，具有与 第1实施例类似的结构。在本变型例中的处理除了步骤S206的处理之外，与第1实施例类似。 下面将参照图6的流程图，给出关于在本变型例的步骤S206中的处理的说明。
[0173] 与第1实施例类似地进行步骤S601至S603。省略步骤S604的处理。在步骤S605中， 匹配单元107通过求解式（11)来计算校正值Δ s。具体而言，可以如式（15)所示来求解式 (11)〇
[0174] [式 15]
[0175] Λ S = (JTJ)-41..(15)
[0176] 在本变型例中，通过考虑到根据散景、模糊等的拍摄图像的劣化，能够高精度地提 取图像边缘特征。由此，基于提取的图像边缘特征能够提高目标物体的位置及姿态的估计 精度。
[0177][第5变型例]
[0178]在第5变型例中，类似于第1实施例，匹配单元107将基于劣化度定义的可靠度用于 加权，来估计目标物体的位置及姿态。然而，特征提取单元104不使用劣化度，而是通过对拍 摄图像应用预定的提取滤波器，来提取图像边缘特征。
[0179]根据本变型例的信息处理装置1具有与第一实施例类似的结构。除了步骤S205的 处理之外，本变型例中的处理与第1实施例类似。在本变型例的步骤S205中，特征提取单元 104通过对获得的图像应用滤波器来提取图像边缘特征。不对使用的滤波器做特别限定，并 且例如，可以使用任意形状的微分滤波器。
[0180] 在本变型例中，在考虑到根据散景、模糊等的拍摄图像的劣化来对边缘特征进行 加权的同时，通过使模型边缘特征吻合图像边缘特征，来估计目标物体的位置及姿态。因 此，能够提高目标物体的位置及姿态的估计精度。
[0181] [第6变型例]
[0182] 第1实施例中的特征提取单元104设置用于基于劣化度来提取边缘特征的滤波器， 并且通过对拍摄图像应用设置的滤波器来提取图像边缘特征。在第6变型例中，固定用于提 取图像边缘特征的滤波器。然而，在改变了拍摄图像的尺寸之后，应用滤波器。
[0183]根据本变型例的信息处理装置1具有与第一实施例类似的结构。除了步骤S205的 处理之外，本变型例中的处理与第1实施例类似。将参照图9的流程图给出关于本变型例中 的步骤S205的处理的说明。步骤S901和步骤S902的处理分别类似于步骤S401和步骤S402。
[0184] 在步骤S903中，特征提取单元104根据在步骤S902中获得的劣化度，来设置针对拍 摄图像的大小调整率。在本变型例中，计算大小调整率，以使得劣化度(例如，散景量D和模 糊量B)越大，则拍摄图像变得越小。
[0185] 作为具体示例，类似于第1实施例，特征提取单元104使用散景量D和模糊量B，来估 计拍摄图像上的模型边缘特征的像的波形S。接下来，特征提取单元104设置大小调整率R， 以使得波形S在预定传播范围内。在本变型例中，特征提取单元104计算波形S的标准偏差Z， 并且计算大小调整率R = E/Z，以使得标准偏差变成预定值E。在此，预定值E是根据用于提取 图像边缘特征的滤波器而定义的值。在本变型例中，作为用于提取图像边缘特征的滤波器， 使用根据通过将标准偏差E的高斯函数微分而获得的波形的滤波器。设置大小调整率R的方 法不限于该方法。例如，为了降低计算复杂性，可以采用R = E/(D+B)的结构。即使在这种情 况下，也计算大小调整率R，以使得散景量D和模糊量B越大，则拍摄图像变得越小。
[0186] 在步骤S904中，特征提取单元104基于在步骤S903中设置的大小调整率R，从由图 像获得单元103获得的拍摄图像提取图像边缘特征。具体而言，首先，特征提取单元104根据 大小调整率R调整拍摄图像的大小。如果大小调整率R大于1，则放大拍摄图像。接下来，特征 提取单元104通过将预先准备好的滤波器应用于大小调整后的拍摄图像，来提取图像边缘 特征。通过参照大小调整率并且，例如，通过乘以1/R，能够将从大小调整后的拍摄图像检测 到的图像边缘特征的坐标转换为图像边缘特征在大小调整前的拍摄图像上的坐标。
[0187] 在本变型例的方法中，通过考虑到根据散景、模糊等的拍摄图像的劣化，能够高精 度地提取图像边缘特征。由此，能够提高基于提取的图像边缘特征的、目标物体的位置及姿 态的估计精度。
[0188] [第7变型例]
[0189] 在第一实施例中，设置了基于劣化度来提取图像边缘特征的滤波器，并且通过对 拍摄图像应用设置的滤波器来提取图像边缘特征。在第7变型例中，基于劣化度来设置提取 参数。具体而言，设置多个滤波器，并且多个滤波器被用于提取图像边缘特征。
[0190] 在本变型例中，考虑劣化度计算单元101计算的散景量D和模糊量B可能包括误差。 由此，特征提取单元104基于劣化度计算单元101计算的散景量D，设置多个散景量D±AD。 类似地，特征提取单元104基于劣化度计算单元101计算的模糊量B，设置多个模糊量Β±Δ Β。特征提取单元104使用散景量D± AD与模糊量8± ΔΒ的各个组合来设置用于提取图像边 缘特征的滤波器，并且从拍摄图像提取图像边缘特征。此外，特征提取单元104根据滤波处 理的响应值，从多个提取结果中选择至少一个提取结果。具体而言，特征提取单元104通过 对滤波器的响应值进行比较，来确定并输出提取精度被假定为相对高的提取结果。
[0191] 根据本变型例的信息处理装置1具有与第1实施例类似的结构。除了步骤S205的处 理之外，本变型例中的处理与第1实施例类似。下面将参照图10的流程图，给出关于本变型 例中的步骤S205的处理的说明。步骤S1001和步骤S1002的处理分别类似于步骤S401和步骤 S402〇
[0192] 在步骤S1003中，特征提取单元104基于在步骤S1002中获得的劣化度来设置多个 提取滤波器。首先，特征提取单元104针对散景量D和模糊量B，应用在预定范围（AD，ΔΒ)内 的改变。具体而言，在Ι)±ΛΙ^ρ Β±ΛΒ的范围内，设置多个散景量和模糊量。可以预先设置 散景量D和模糊量Β的变化范围以及散景量和模糊量的数量。接下来，通过组合设置的多个 散景量和模糊量，特征提取单元104设置多个提取滤波器。可以以与第1实施例类似的方式 进行提取滤波器的设置。
[0193] 在步骤S1004中，特征提取单元104使用在步骤S1003中设置的多个提取滤波器中 的各个，来从由图像获得单元103获得的拍摄图像中提取图像边缘特征。由此，根据各个提 取滤波器，来获得针对图像边缘特征的多个提取结果。
[0194] 接下来，特征提取单元104从提取的图像边缘特征中，选择假定提取精度相对高的 图像边缘特征。在本变型例中，选择滤波器的响应值大的提取结果。具体而言，选择通过应 用了提取滤波器而计算的照明梯度的极值更大的图像边缘特征。作为具体示例，特征提取 单元104从在同一位置处存在的并且使用不同提取滤波器提取的图像边缘特征组中，选择 假定提取精度相对高的图像边缘特征。具体而言，特征提取单元104从预定范围Ε[像素]中 包括的多个相邻的边缘特征中，选择作为各个提取滤波器的响应值的照明梯度的极值最大 的边缘特征。特征提取单元104可以选择两个或更多个边缘特征。
[0195] 根据本变型例的方法，通过考虑到根据散景、模糊等的拍摄图像的劣化，能够高精 度地提取图像边缘特征。此外，通过使用考虑到散景和模糊的误差的多个提取滤波器，与使 用一种提取滤波器的情况相比，能够高精度地提取图像边缘特征。因此，基于提取的图像边 缘特征能够提高目标物体的位置及姿态的估计精度。
[0196] 在本变型例中，给出了设置多个提取滤波器形状的方法。然而，如第6变型例所示， 可以设置多个图像大小调整率。在这种情况下，根据各个大小调整率，获得针对图像边缘特 征的多个检测结果。此外，选择通过对大小调整后的拍摄图像应用提取滤波器而计算出的 照明梯度的极值更大的图像边缘特征。
[0197] [第8变型例]
[0198] 在第1实施例中，劣化度计算单元101考虑到根据摄像装置108和目标物体的三维 模型的摄像条件，通过模拟来计算劣化度。在第8变型例中，由摄像装置拍摄目标物体而获 得的拍摄图像，来计算劣化度。对目标物体的多个拍摄图像进行以下处理，所述多个拍摄图 像是在改变目标物体相对于摄像装置的相对位置及姿态的同时拍摄的。通过使用各拍摄图 像而计算的劣化度与目标物体相对于摄像装置的相对位置及姿态相关联，由劣化度保持单 元102保持。
[0199] 除了步骤S202的处理之外，根据第8变型例的信息处理装置1的结构和处理与第1 实施例类似。下面将参照图11的流程图，给出关于第8变型例的步骤S202的处理的说明。
[0200]在步骤S1100中，劣化度计算单元101从由图像获得单元103获得的目标物体的拍 摄图像中，提取多个边缘特征。不对提取边缘特征的方法做特别限定，并且例如，可以使用 任意微分滤波器。在步骤S1101中，劣化度计算单元101从在步骤S1100中提取的多个边缘特 征中选择一个边缘特征。
[0201 ] 在步骤S1102中，劣化度计算单元101计算在步骤S1101中选择的边缘特征的劣化 度。在本变型例中，劣化度计算单元101基于边缘特征的位置和边缘的法线方向，来计算边 缘特征的劣化度。作为具体示例，通过使用式（16)，劣化度计算单元101估计在假设拍摄图 像根据劣化度σ而劣化的情况下在边缘特征上的关注像素处的照明值。
[0202] [式 I6]
[0203]
[0204] 在式（16)中，xq，yo是作为边缘特征所在的关注像素的位置，r表示距关注像素的位 置的距离，并且Θ表示边缘特征的法线方向（二维）。此外，t表示从关注像素的位置起的搜索 范围，并且σ是劣化度。劣化度σ的值对应于散景量和模糊量被统一的值。t指示任意的正值。
[0205] 如式（17)所示，在针对组成边缘特征的各个像素的、拍摄图像上的照明值与根据 式（16)计算出的相同位置处的照明值之间的差的平方和被作为评价函数E。然后，劣化度计 算单元101通过反复计算以最小化评价函数E，来估算参数 〇。对于评价函数E的最小化，可以 使用公知的方法;例如，可以使用最陡下降法、Levenberg-Marquardt方法等。在式（17)中，I (x，y)示出了在坐标(x，y)处的拍摄图像的照明值。
[0206] 「才17?
[0207]
[0208] 在步骤S1103中，劣化度计算单元101确定是否针对所有边缘特征都计算了劣化 度。如果尚未针对所有边缘特征完成劣化度的计算，则处理返回到步骤S1101，并且针对下 一边缘特征计算劣化度。当针对所有边缘特征的劣化度计算都终止时，步骤S202的处理终 止。在这种情况下，类似于第1变型例，劣化度保持单元102能够针对拍摄图像的各个分割区 域或针对各个像素保持劣化度。例如，针对包括提取的边缘特征的图像的位置的拍摄图像 的分割区域中所包括的各个像素，能够设置针对该边缘特征的劣化度。
[0209] 如上所述，根据本变型例的方法，能够由拍摄目标物体的像计算劣化度。由此，通 过考虑到仅通过摄像装置108的摄像参数和目标物体的三维模型等无法充分表现的影响， 例如，噪声的影响，能够更精确地计算劣化度。通过参照该劣化度，可以高精度地提取图像 边缘特征，此外，可以在针对边缘特征进行加权的同时，使得模型边缘特征与图像边缘特征 吻合。因此，能够提尚目标物体的位置及姿态的估计精度。
[0210] 替代使用式（16)，能够估计当根据散景量D和模糊量B假定拍摄图像劣化的情况时 边缘特征上的关注像素处的照明值。在这种情况下，替代劣化度σ，劣化度计算单元101能够 估计散景量D和模糊量Β。
[0211] [第9变型例]
[0212]在第8变型例中，由目标物体的拍摄图像计算劣化度。在第9变型例中，基于根据摄 像装置的目标物体的摄像条件，通过使用目标物体的三维模型来估计由摄像装置拍摄目标 物体而获得的拍摄图像。具体而言，在通过将三维模型投影在拍摄图像上而获得的图像中， 进行再现(恢复)劣化的处理。在该处理中，参照目标物体的三维模型以及根据摄像装置108 的摄像条件。除了步骤S1100不同之外，本变型例的处理与第8变型例类似。下面将给出步骤 S1100的处理的说明。
[0213]在步骤S1100中，劣化度计算单元101将目标物体的三维模型投影在拍摄图像上。 然后，劣化度计算单元101针对进行了投影的图像，进行再现劣化的处理。在本变型例中，劣 化度计算单元101生成再现散景和模糊的图像。
[0214]下面给出再现散景和模糊的方法的示例的说明。首先，针对投影图像的各个像素， 劣化度计算单元101基于与像素相对应的三维模型上的三维位置，计算关于投影图像的散 景量D和模糊量B。可通过使用与投影图像的各个像素相对应的三维位置，根据式(2)来计算 散景量D。
[0215]可以如下计算模糊量B。首先，计算在三维空间中的模糊量B3D。可以根据B 3D = tJ3DV来获得模糊量B3D。在此，J3D是与投影图像的各个像素相对应的三维位置的雅可比；t 是曝光时间;V是目标物体相对于摄像装置108的相对速度。雅可比J 3D是表示当位置及姿势6 自由度的参数已略微改变时，在投影图像的各个像素所对应的三维位置处的改变的比率。 可以根据式（18)和式（19)来计算雅可比J 3D。
[0216] [式 18]
[0217]
[0218] [式 19]
[0219] err3D= (x7 -x) + (y7 -y) + (z7 -z)··· (19)
[0220] 在式（18)中，s指示目标物体的位置及姿态。此外，emD指示当曝光开始处的三维 位置是(x，y，z)并且曝光结束处的三维位置是(Y，/时，曝光期间的三维位置的移动 向量。
[0221]通过将三维空间中的模糊量B3D(三维向量)投影在投影图像上，可以计算关于投影 图像的模糊量B(二维向量）。
[0222] 接下来，劣化度计算单元101基于获得的散景量D和模糊量B，生成由投影图像再现 了散景和模糊的图像。具体而言，劣化度计算单元101通过针对投影图像的各个像素进行与 标准偏差D的高斯函数的卷积计算以及与具有宽度B和高度1的矩形波的卷积计算，来生成 再现了散景和模糊的图像。
[0223] 随后，模糊度计算单元101从再现了散景和模糊的获得图像中，提取多个边缘特 征。除了使用再现了散景和模糊的图像来替代目标物体的拍摄图像之外，可以与第8变型例 类似地进行本处理。
[0224] 如上所述，根据本变型例的方法，基于诸如曝光时间和目标物体相对于摄像装置 108的相对位置及姿态以及目标物体的三维模型等的摄像条件，来生成再现了散景及模糊 的图像。然后，基于该图像来计算劣化度。通过参照该劣化度，能够高精度地提取图像边缘 特征，并且还能够在针对边缘特征进行加权的同时，使得模型边缘特征吻合图像边缘特征。 因此，能够提尚目标物体的位置及姿态的估计精度。
[0225] 用于生成再现了劣化的图像的方法不限于上述方法。例如，可以使用通过使用诸 如Kazuyuki Tanaka，"Introduction of Image Processing Techniques by Probabilistic Models〃第6章中公开的图像滤波器来再现散景和模糊的方法。
[0226] [第2实施例]
[0227] 在第1实施例中，通过使投影在拍摄图像表面上的目标物体的三维模型的模型边 缘特征的图像坐标吻合从拍摄图像提取的图像边缘特征的图像坐标，来估计目标物体的位 置及姿态。在第二实施例中，通过使目标物体的三维模型的特征(例如，表面)的三维坐标吻 合从拍摄图像计算的特征(例如，三维点）的三维模型坐标，来估计目标物体的位置及姿态。
[0228] 在本实施例中，特征提取单元104基于由摄像装置拍摄目标物体获得的拍摄图像， 来计算目标物体的像上的特征的三维位置。具体而言，特征提取单元104计算目标物体的像 上的点的三维位置。三维位置例如可以通过将照明图案照射在目标物体上来进行测量。在 本实施例中，如图12所示，从照射装置1200将照明图案1201投影在目标物体1205上。然后使 用摄像装置1203来拍摄投影了照明图案1201的目标物体1205。在本实施例中，投影包括多 条虚线的照明图案1201。
[0229] 基于照明图案1201、拍摄图像1204以及照明装置1200与摄像装置1203之间的位置 关系，来计算投影了照明图案1201的物体表面上的三维位置。具体而言，获得由照射装置 1200投影的照明图案1201中的关注特征的位置、提取了投影的关注特征的拍摄图像1204上 的位置，以及摄像装置1203相对于照射装置1200的相对位置及姿态。在此，照明图案1201中 的关注特征的位置对应于来自照射装置1200的关注特征的投影方向，并且提取了投影的关 注特征的拍摄图像1204上的位置对应于来自摄像装置1203的关注特征的观测方向。因此， 能够根据三角测量方法的原理来计算关注特征的三维位置。
[0230]在本实施例中，从拍摄图像1204来提取特征。在本实施例中，照明图案1201包括多 个测量线1202,并且从拍摄图像1204中出现的照明图案1204提取的特征是线段上的点。下 面将说明线段上的点的提取方法的示例。首先，通过将微分滤波器应用于拍摄图像1204来 获得照明梯度分布。提取照明梯度为极值的点构成的线段。此外，通过在由此提取的线段上 应用微分滤波器，来获得线段上的照明梯度分布。然后，在线段上的照明梯度变为极值的点 被提取作为特征。由此，能够从拍摄图像1204提取特征，并且获得特征的位置。可以预先定 义照明图案1201中的特征的位置。可以采用如下结构，即使用类似的方法提取照明图案 1201中的特征，并且获得特征的位置。
[0231]不对照明图案1201的类型做特别限定，只要能从投影有照明图案1201的目标物体 1205提取照明图案1201中包括的特征即可。例如，照明图案1201无需包括线，并且照明图案 1201可以包括任意几何形状。作为示例，图13示出了包括多个点作为特征的照明图案1300。
[0232] 计算三维位置的方法不限于上述方法。可以