像边缘特征的、步骤S205中的 详细处理的说明。在本实施例中，特征提取单元104根据拍摄图像的劣化度来设置滤波器。 然后，特征提取单元104通过对获得的图像应用设置的滤波器，来提取图像边缘特征。在本 实施例中，根据目标物体的位置及姿态来设置一个滤波器，并且通过对整个拍摄图像应用 该一个滤波器来提取图像边缘特征。
[0103] 在步骤S401中，特征提取单元104获得图像获得单元103所获得的目标物体的拍摄 图像。在步骤S402中，特征提取单元104从劣化度保持单元102获得与目标物体的位置及姿 态相对应的劣化度组。在本实施例中，作为劣化度，获得散景量D和模糊量Β。针对各个模型 边缘特征保持散景量D和模糊量B，并且在以下处理中，使用散景量D和模糊量B的统计量，例 如针对多个模型边缘特征的平均值。
[0104] 在步骤S403中，特征提取单元104设置用于提取边缘特征的提取参数。在本实施例 中，特征提取单元104设置用于从拍摄图像提取图像边缘特征的滤波器。在本实施例中，特 征提取单元104参照在步骤S402中获得的散景量D和模糊量B，来计算预测的边缘特征的波 形。在本实施例中，具体而言，如图5A至图5F所示，特征提取单元104通过对标准偏差D的高 斯函数以及宽为B、高为1的矩形波进行卷积计算，来计算预测的模型边缘特征的像的波形。
[0105] 图5A和图5D示出了通过使用散景量D和模糊量B计算的波形501、504。接下来，如图 5B和图5E所示，特征提取单元104通过对获得的波形501、504进行微分来计算波形502、505。 由此获得的波形502、505是与波形501、504相对应的提取滤波器，并且能够以高精度来从波 形501、504提取边缘。最后，特征提取单元104通过使用预定的阈值将波形502、505量化，来 获得提取滤波器503、506。由此，如图5C和图5F所示，设置用于针对拍摄图像的卷积计算的 提取滤波器503、506。由此获得的提取滤波器503、506相当于微分滤波器。
[0106] 当如波形501所示、散景量D和模糊量B较大时，使用提取滤波器503。此外，当如波 形504所示、散景量D和模糊量B较小时，使用提取滤波器506。以这种方式，在本实施例中，劣 化度(散景量D和模糊量B)越大则使用越大尺寸的滤波器，而劣化度越小则使用越小尺寸的 滤波器。此外，替代散景量D和模糊量B，还可以使用如上所述计算的劣化度 〇〇。在这种情况 下，劣化度σ〇越大则使用越大尺寸的滤波器，而劣化度越小则使用越小尺寸的滤波器。
[0107]在此，给出当使用一维滤波器作为提取滤波器时的说明。然而，可以使用二维滤波 器作为提取滤波器。在这种情况下，可以分别设置，使得劣化度越大则使用越大尺寸的滤波 器，而劣化度越小则使用越小尺寸的滤波器。
[0108] 在步骤S404中，特征提取单元104通过对拍摄图像应用在步骤S403中设置的滤波 器，来提取边缘特征（图像边缘特征）。在本实施例中，通过对拍摄图像应用滤波器，来获得 指示边缘强度的映射(map) 〇
[0109] 〈位置及姿态的估计处理〉
[0110] 接下来，参照图6的流程图，给出步骤S206中的估计目标物体的位置及姿态的方法 的说明。在本实施例中，匹配单元107通过将三维模型的位置及姿态最优化，以使得图像边 缘特征与投影在拍摄图像上的模型边缘特征的像相吻合，来估计目标物体的位置及姿态。 在此，匹配单元107使用Gauss-Newton方法来将三维模型的位置及姿态最优化，以使模型边 缘特征的像与图像边缘特征之间的、拍摄图像上的距离总和最小化。
[0111] 在步骤S601中，匹配单元107进行初始化处理。首先，匹配单元107获得目标物体的 粗略位置/姿态，并将其设置为三维模型的位置及姿态s。如上所述，匹配单元107从模型保 持单元106获得与目标物体相对于摄像装置108的粗略的相对位置及姿态相对应的模型边 缘特征组。
[0112] 在步骤S602中，匹配单元107将获得的模型边缘特征组中的各个与由特征提取单 元104提取的图像边缘特征组中的各个相关联。不对关联的方法做特别限定，但是例如可以 如下进行关联。首先，基于目标物体相对于摄像装置108的当前相对位置及姿态的粗略值， 匹配单元107将模型边缘特征投影在摄像装置108的拍摄图像表面上。由此，匹配单元107计 算在摄像装置108的拍摄图像表面中模型边缘特征的位置及方向。图7A示出了投影的模型 边缘特征701。
[0113] 接下来，匹配单元107在投影的模型边缘特征701上设置多个控制点702,以使得它 们在拍摄图像表面上等间隔地分开。此外，匹配单元107针对各个控制点702,在投影的模型 边缘特征701的法线方向上设置搜索线703。然后，匹配单元107针对各个控制点702,在距离 控制点702的预定范围内，搜索在搜索线703上存在的图像边缘特征。
[0114] 在图7B中，原点是控制点702、横轴是搜索线，并且纵轴示出了边缘强度映射的像 素值的绝对值。在本实施例中，在步骤S404中，通过特征提取单元104对拍摄图像应用微分 滤波器来获得边缘强度映射。换言之，边缘强度映射的像素值的绝对值对应于拍摄图像的 照明梯度的绝对值。匹配单元107将照明梯度的绝对值为极值的点检测作为图像边缘特征。 在本实施例中，匹配单元107将照明梯度的绝对值为极值并且大于预定阈值705的点检测作 为对应点。
[0115] 图7B示出了由此找到的对应点704、706。从找到的对应点704、706中，匹配单元107 将最接近控制点702的对应点704记录作为与控制点702相对应的对应点。通过该处理，检测 针对多个控制点702中的各个的对应点。如此检测到的对应点704是与模型边缘特征701相 对应的图像边缘特征800上的点。
[0116] 下面，进行针对各个模型边缘特征使用一个控制点的处理。从针对一个模型边缘 特征设置的多个控制点中，匹配单元107能够选择检测到对应点的一个控制点，并用于稍后 的处理中。不对选择方法做特别限定。针对若干个模型边缘特征，也可以不检测对应图像边 缘特征。
[0117] 在步骤S603至S605中，匹配单元107如上所述计算目标物体的位置及姿态。在实施 例中，匹配单元107能够如下计算目标物体的位置及姿态。例如，匹配单元107针对通过改变 位置及姿态而获得的多个三维模型像，计算与目标物体的像的匹配度。在此，基于对应模型 边缘特征的图像位置与多个图像边缘特征的图像位置之间的距离来获得匹配度，根据与在 提取了图像边缘特征的位置相对应的劣化度来加权该距离。进行加权，以使得劣化度越高， 则权重变得越小。
[0118] 在一个实施例中，匹配单元107使用通过将作为权重的可靠度w乘以对应模型边缘 特征与图像边缘特征之间的拍摄图像上的距离而获得的加权距离的总和，作为评价函数。 该评价函数表示三维模型像与目标物体的像之间的匹配度。
[0119]然后，匹配单元107从多个三维模型像中，将提供最高匹配度的三维模型像确定为 与目标物体的像相对应的三维模型像。匹配单元107确定三维模型相对于视点（其对应于如 此确定的三维模型像)的位置及姿态，表示目标物体相对于摄像装置108的位置及姿态。 [0 120]然而，在本实施例中，通过使用Gauss-Newton方法来如下计算目标物体的位置及 姿态。通过以下方法，重复更新三维模型相对于视点的位置及姿态，以使得目标物体的像与 三维模型的像之间的匹配度变大。
[0121]在步骤S603中，匹配单元107如下计算系数矩阵J和误差向量E。系数矩阵J的各个 要素是与三维模型的位置及姿态针对模型边缘特征的图像坐标的微小改变相对应的一维 偏微分系数。误差向量E是投影在拍摄图像上的图像边缘特征与模型边缘特征之间的、在拍 摄图像上的距离。
[0122]图8示出了投影在拍摄图像上的模型边缘特征701与在步骤S602中检测到的、与模 型边缘特征701相对应的图像边缘特征800之间的关系。在图8中，u轴和v轴分别对应于图像 的水平方向和垂直方向。控制点702在拍摄图像上的位置被表达为(uQ，v〇)，并且由Θ表示控 制点702所属的模型边缘特征701在拍摄图像上相对于u轴的倾斜度。在以下说明中，在模型 边缘特征701的控制点702处的倾斜度是Θ。在这种情况下，模型边缘特征701的法线向量，特 别是在控制点702处的法线向量是（sin0，- cos0)。此外，与控制点702对应的对应点704的图 像坐标是<y，/ )。
[0123] 在经过点(ι/，/ )且倾斜度为Θ的直线上的点(u，v)可以被表达为：
[0124] [式 7]
[0125] usin9-vcos9 = d---(7)
[0126] d = u7 sinB-v7 cosB
[0127] 在式(7)中，Θ是上述常量，而d是指示上述等式的常量。
[0128]控制点702在拍摄图像上的位置根据三维模型的位置及姿态而改变。如上所述，三 维模型的位置及姿态的自由度是6自由度，并且通过六维向量来表示三维模型的位置及姿 态s。通过使用在(uQ， VQ)附近的一阶泰勒(Taylor)展开，能够将在三维模型的位置及姿态改 变之后的、与控制点702对应的模型边缘特征701上的点的图像坐标(u，v)如式(8)中那样进 行近似。在式(8)中，Δ si(i = l，2,...，6)表示针对六维向量s的各分量的微小改变。
[0129] [式 8]
[0130]
[0131]
[0132] 如果三维模型的位置及姿态改变为与目标物体的位置及姿态匹配，则与控制点 702对应的模型边缘特征701上的点的图像坐标可以被假定为在图像边缘特征800上（即，在 由式(7)表示的直线上)移动。通过将由式(8)近似的(u，v)代入到式(7)，能够获得式(9)。在 式(9)中，r是指示第二等式的常量。
[0133] 「式 91
[0134]
[0135] r = u〇sin9 -VOCOS0
[0136] 式(9)对于在步骤S602中检测到了对应图像边缘特征的所有模型边缘特征都成 立。因此，针对式（10)的Δ si的线性联立方程成立。
[0137] [式 10]
[0138]
[0139] 在此，如式（11)那样表示式（10)。
[0140] [式 11]
[0141] JAs = E---(ll)
[0142] 可以使用公知的方法来进行偏微分系数的计算，该偏微分系数用于计算式（11)的 线性联立方程的系数矩阵J。例如，可以通过在V Lepetit and P.Fua，〃Keypoint recognition using randomized trees"，IEEE Transactions on Pattern Analysis and Machine Intel 1 igence，vol · 28，no · 9，2006中公开的方法，来计算偏微分系数。
[0143] 在步骤S604中，可靠度计算单元105计算与模型边缘特征相关联的图像边缘特征 的可靠度如上所述进行可靠度w的计算。然后，匹配单元107获得由可靠度计算单元105计 算的可靠度w。当计算可靠度w时，可以使用与在步骤S601中获得的粗略的位置/姿态相对应 的劣化度。另一方面，当计算可靠度w时，可以使用与三维模型的当前位置及姿态s相对应的 劣化度。
[0144] 可以针对所有模型边缘特征预先计算可靠度w，并且该可靠度w例如可以由劣化度 保持单元102保持。在这种情况下，匹配单元107能够从劣化度保持单元102获得针对对应的 模型边缘特征的可靠度，作为针对图像边缘特征的可靠度w。
[0145]在步骤S605中的校正值△ s的计算中，针对各图像边缘特征的可靠度w被用作针对 各图像边缘特征的权重。在以下说明中，使用在式（12)中示出的权重矩阵W，在该权重矩阵W 中，作为系数，对应的图像边缘特征具有针对检测到的图像边缘特征的可靠度w。
[0146] [式 12]
[0147]
[0148] 权重矩阵W是除了对角要素之外的分量为0的正方形矩阵。对角要素是各个边缘特 征的可靠度wi(i = l至N。），并且被用作权重。N。是与模型边缘特征相关联的图像边缘特征的 总数。
[0149] 通过使用权重矩阵W如式(13)那样将式(11)变型。
[0150] [式 13]
[0151] WJAs=WE---(13)
[0152] 在步骤S605中，匹配单元107计算针对三维模型的位置及姿态的校正值As。在本 实施例中，匹配单元107通过求解式（13)来计算校正值As。具体而言，可以如式（14)所示的 那样来求解式(13)。
[0153] [式 14]
[0154] As = (JTffJ)_1JTWE---(14)
[0155] 如式(14)所示那样求解式(13)对应于获得针对式(13)的各行的差值，即，获得使得 WiFi的平方和最小的Δ si至Δ s6。在此
在此，F,是针对各个模型边缘特征计算的，并且能够被认为是例示了在三维模型的位置及 姿态移动了仅As之后、拍摄图像上的图像边缘特征与模型边缘特征之间的距离的残留误 差的评估值。此外，是加权的残留误差的平方和。因此，如式(14)所示那样求解 式（13)对应于将评价函数S最小化，该评价函数S是针对各个模型边缘特征，通过由可靠度 wi来对指示吻合误差的评估值Fi加权而获得的。换言之，通过步骤S605的处理，获得在三维 模型的像与目标物体的像之间的匹配度变得更高的位置及姿态的校正值A s。
[0156] 在步骤S606中，匹配单元107使用在步骤S604中计算的校正值AS，来将三维模型 的位置及姿态更新为S+△ S。能够校正位置及姿态S，以使得三维模型的特征与目标物体的 关联特征之间的距离变小。
[0157] 在步骤S607中，匹配单元107确定三维模型的位置及姿态是否收敛。当确定位置及 姿态收敛时，匹配单元107将此时的三维模型的位置及姿态输出作为通过吻合而获得的目 标物体的估计位置及姿态。然后处理终止。如果确定位置及姿态不收敛，则处理返回到步骤 S602,并且匹配单元重复执行步骤S602至S606的处理，直至位置及姿态收敛。为了简化处 理，当位置及姿态不收敛时，处理可以返回至步骤S603。
[0158] 在本实施例中，如果在步骤S605中获得的校正值As小于或等于预定阈值并且几 乎不改变，则匹配单元107确定位置及姿态收敛。例如，如果校正值As连续小于或等于预定 值预定次数，则匹配单元107能够确定位置及姿态收敛。确定收敛的方法不限于该方法。例 如，如果步骤S602至步骤S606的反复次数已到达预定次数，则匹配单元107可以确定位置及 姿态收敛。
[0159] 如上所述，通过步骤S601至S606的处理来针对目标物体计算估计的位置及姿态。 在上述说明中，对于计算目标物体的三维位置及姿态的情况给出了说明。然而，在其他实施 例中，可以计算目标物体的二维位置及姿态。在这种情况下，使用三维向量作为向量s，该三 维向量具有两个表示位置的要素以及一个表示姿态的要素。计算目标物体的位置及姿态的 方法不限于上述Gauss-Newton方法。例如，可以使用更稳定的Levenberg-Marquardt方法， 并且可以使用更简单的最陡下降法。此外，可以使用诸如共辄梯度法或ICCG法等的其他非 线性最优化计算方法。
[0160] 通过上述第一实施例，通过考虑到根据散景、模糊等的拍摄图像的劣化，能够高精 度地提取图像边缘特征。在考虑到根据散景、模糊等的拍摄图像的劣化而进行边缘特征的 加权的同时，通过使得模型边缘特征与图像边缘特征吻合，来估计目标物体的位置及姿态。 由此，能够提高目标物体的位置及姿态的估计精度。
[0161] [第1变型例]
[0162] 在第一实施例中，针对各个模型边缘特征设置劣化度。然而，也可以针对拍摄图像 的各个分割区域或各个像素，来设置劣化度。例如，在步骤S305和步骤S306之间，劣化度计 算单元101能够将已计算了劣化度的模型边缘特征投影在拍摄图像表面上，并且确定模型 边缘特征的像的位置。针对包括模型边缘特征的像的位置的拍摄图像的分割区域中所包括 的各个像素，劣化度保持单元102能够设置针对该模型边缘特征计算的劣化度。
[0163] 在这种情况下，针对各个像素或拍摄图像的各个分割区域，可靠度计算单元105可 以使用劣化度来设置可靠度。在这样的变型例中，匹配单元107能够在将针对检测到图像边 缘特征处的像素而设置的可靠度用作针对图像边缘特征的可靠度的同时，进行吻合处理。
[0164] [第2变型例]
[0165] 在第1实施例的步骤S205中，设置一个滤波器，并且该滤波器被应用于整个拍摄图 像。然而，针对一个拍摄图像可以使用多个滤波器。换言之，针对拍摄图像的各个位置，特征 提取单元104能够根据针对该位置的图像的劣化度，设置用于在此位置提取特征的提取参 数。
[0166] 例如，如果如第1变型例那样针对拍摄图像的各个分割区域设置劣化度，则特征提 取单元104能够通过使用针对滤波器要被应用于的像素设置的劣化度，来设置提取滤波器。 例如，通过考虑到散景量D和模糊量B，或者通过考虑到劣化度σ〇,特征提取单元104能够如 上所述确定提取滤波器的尺寸。以这种方式，通过根据拍摄图像的各个区域的劣化度使用 合适的提取滤波器，能够高精度地提取边缘。
[0167] [第3变型例]
[0168] 在第1实施例中，在步骤S205中提取了图像边缘特征之后，在步骤S206中进行模型 边缘特征与图像边缘特征的关联。然而，也可采用省略步骤S205并且在步骤S206中提取与 模型边缘特征对应的图像边缘特征的结构。
[0169] 具体而言，在步骤S602中，匹配单元107搜索在搜索线703上存在的图像边缘特征。 此时，在第1实施例中通过参照边缘强度映射来检测图像边缘特征，但是在本变型例中通过 参照拍摄图像来检测图像边缘特征。具体而言，匹配单元107通过针对搜索线703上存在的 像素值的一维阵列，使用在步骤S403中设置的一维提取滤波器进行卷积计算，来计算在拍 摄图像中沿搜索线703的拍摄图像的照明梯度。匹配单元107将照明梯度的绝对值为极值的 点检测作为图像边缘特征。
[0170][第4变型例]
[0171] 在第1实施例中，特征提取单元104参照劣化度来提取图像边缘特征。匹配单元107 也通过将基于劣化度定义的可靠度用于加权，来估计