而获得的图像。例如，通过根据目标物体相对于摄像装置108的相对位置及姿 态，在虚拟空间中布置三维模型和与摄像装置108对应的视点，并且生成自视点的目标物体 的像，能够实现该处理。
[0053] 接下来，通过对获得的投影图像应用微分滤波器，提取投影图像上的边缘特征。此 外，通过将投影图像的边缘特征反向投影在三维模型上，提取模型边缘特征。例如，能够提 取与投影图像上的边缘特征相对应的三维模型上的点组，作为模型边缘特征。通过对目标 物体相对于摄像装置108的各种相对位置及姿态进行上述处理，在各相对位置及姿态处提 取一个或更多个模型边缘特征组。模型保持单元106保持提取的一个或更多个模型边缘特 征组的位置信息。在本实施例中，模型保持单元106将提取的一个或更多个模型边缘特征组 的位置信息、与目标物体相对于摄像装置108的相对位置及姿态相关联的地保持。在这种情 况下，模型边缘特征的位置信息可以指示模型边缘特征相对于摄像装置108的相对位置及 姿态。
[0054] 从三维模型提取模型边缘特征的方法不限于上述方法，并且可以使用其他方法。 例如，如果三维模型保持表面的法线信息，则可以提取法线方向是非连续的地点作为模型 边缘特征。模型保持单元106可以集中保持在各种相对位置及姿态下提取的模型边缘特征 的组。例如，模型保持单元106可以保持三维模型中的模型边缘特征位置信息。在这种情况 下，能够基于三维模型相对于摄像装置108的相对位置及姿态，来计算模型边缘特征相对于 摄像装置108的相对位置及姿态。
[0055] 模型保持单元106保持的模型信息可以是三维模型自身。此外，模型信息可以是通 过将三维模型边缘特征投影在摄像装置108的拍摄图像表面上而获得的二维边缘特征图像 的投影图像上的方向及位置的信息。即使在这种情况下，也能够使由模型信息指示的特征 与从图像提取的特征匹配。此外，模型信息可以是通过拍摄目标物体获得的图像。在这种情 况下，可以使从该图像提取的特征与由特征提取单元104提取的特征匹配。此外，还可以根 据后述的第五实施例，使图像之间匹配。另外，模型信息可以包括指定目标物体的类型的标 识符。
[0056] 匹配单元107计算目标物体的位置及姿态。匹配单元107进行目标物体的特征与当 根据预定的位置及姿态来布置三维模型时观察到的三维模型的特征之间的关联。然后通过 基于关联的结果和与提取了特征的位置相对应的劣化度的关联，校正预定的位置及姿态， 来推断出目标物体相对于摄像装置108的位置及姿态。
[0057] 由匹配单元107进行的处理的概况如下。首先，匹配单元107针对从目标物体的像 提取的多个特征中的各个，计算各特征与对应于该特征的比较目标的像的特征之间的差 值。在本实施例中，匹配单元107针对从目标物体的像提取的多个边缘特征中的各个，计算 各边缘特征与对应于该边缘特征的比较目标的像的边缘特征之间的差值。在此，比较目标 的像是当根据预定位置及姿态布置视点和三维模型时观察到的三维模型像。在本实施例 中，首先通过使用当根据如上所述获得的目标物体的粗略位置/姿态布置视点和三维模型 时的三维模型像，来计算差值。通过使用在改变视点与三维模型之间的相对位置及姿态的 同时获得的多个三维模型像，来类似地计算差值。
[0058] 作为一个具体示例，匹配单元107从模型保持单元106保持的模型边缘特征组中， 获得与目标物体相对于摄像装置108的当前相对位置及姿态相对应的模型边缘特征组。例 如，匹配单元107可以从与模型保持单元106保持的模型边缘特征组相关联的相对位置及姿 态中，检测与目标物体相对于摄像装置108的当前相对位置及姿态的粗略值最接近的相对 位置及姿态。然后，匹配单元107获得与检测到的相对位置及姿态相关联的模型边缘特征 组。针对由此获得的模型边缘特征组中的各个，指定各边缘相对于视点（即，摄像装置108) 的相对位置及姿态。
[0059] 接下来，匹配单元107针对各个获得的模型边缘特征组，关联由特征提取单元104 提取的对应的图像边缘特征。不对关联的方法做特别限定，例如可以通过以下方法来进行 关联。首先，对于三维模型所具有的多个边缘中的各个，匹配单元107计算通过基于预定位 置及姿态在投影图像上投影而获得的图像位置。例如，针对模型边缘特征组中的各个，匹配 单元107计算当根据预定的位置及姿态布置视点和三维模型时观察到的投影图像上的图像 位置。该投影图像包括当根据预定的位置及姿态布置视点和三维模型时观察到的三维模型 像，并且该三维模型像由多个模型边缘特征的像构成。然后，将图像边缘特征与模型边缘特 征相关联，以使得投影图像上的模型边缘特征的图像位置接近拍摄图像上的图像边缘特征 的图像位置。稍后将说明这种关联方法的示例。也完全可以使用目标物体中嵌入的信息等 来识别与模型边缘特征相对应的图像边缘特征。
[0060] 在模型保持单元106将三维模型作为模型信息来保持的情况下，匹配单元107从模 型保持单元106获得三维模型。接下来，基于目标物体相对于摄像装置108的当前相对位置 及姿态的粗略值，匹配单元107将获得的三维模型投影在摄像装置108的拍摄图像表面上。 由此，获得了当根据预定的位置及姿态来布置视点和三维模型时观察到的三维模型的像。 此外，匹配单元107通过使用与提取模型保持单元106保持的模型边缘特征的方法类似的方 法，从投影图像提取模型边缘特征。匹配单元107通过上述方法，来将提取的模型边缘特征 与图像边缘特征相关联。
[0061] 匹配单元107从可靠度计算单元105获得要应用于图像边缘特征的可靠度w。该可 靠度W指示了从拍摄图像正确地提取图像边缘特征的可能性，例如，在正确的位置提取的可 能性。在本实施例中，根据针对对应模型边缘特征的劣化度，来获得要应用于图像边缘特征 的可靠度W。如上所述，由于劣化度表示与拍摄图像上的模型边缘特征相对应的图像边缘特 征的像的劣化程度，因此能够根据劣化度来计算可靠度W。在其他实施例中，可靠度计算单 元105能够根据与在提取了图像边缘特征的图像位置相对应的劣化度，来计算可靠度w。
[0062] 然后，匹配单元107参照模型边缘特征组、图像边缘特征组以及可靠度w，并计算目 标物体的位置及姿态。在本实施例中，匹配单元107从多个三维模型像中，将针对目标物体 的像的匹配度最高的三维模型像，确定为针对目标物体的像的、比较目标的像。在此，匹配 度对应于基于对应的模型边缘特征与多个图像边缘特征之间的差值而获得的值，其中，根 据与提取了图像边缘特征的位置相对应的劣化度来对该差值加权。
[0063] 在本实施例中，图像边缘特征与模型边缘特征之间的差值，是在拍摄图像上的图 像边缘特征的图像位置与在投影图像上的模型边缘特征的图像位置之间的距离。加权使用 根据劣化度计算的可靠度w。具体而言，正确地提取图像边缘特征的像的可能性越高，则进 行越大的加权。
[0064] 在本实施例中，匹配单元107使用目标物体的粗略位置/姿态，作为视点与三维模 型之间的初始位置及姿态。然后，匹配单元107进行视点与三维模型之间的位置及姿态的最 优化，以使得匹配度变得更高。当匹配度变得最高时，匹配单元107确定三维模型的像与目 标对象的像匹配，即，三维模型相对于视点的位置及姿态表示了目标物体相对于摄像装置 108的位置及姿态。稍后将说明该最优化计算的详情。
[0065] 可靠度计算单元105基于针对模型边缘特征的劣化度，计算针对与模型边缘特征 相对应的图像边缘特征的可靠度w。在本实施例中，进行可靠度w的计算，以使得针对模型边 缘特征的劣化度越高，则可靠度w变得越低。
[0066]下面将描述具体处理的示例。首先，可靠度计算单元105针对已检测了对应的图像 边缘特征的各个模型边缘特征，从劣化度保持单元102进行劣化度σ〇的信息的获得，该劣化 度是与对应于摄像装置的目标物体的位置及姿态相关联地存储的。以这种方式，可靠度计 算单元105具有获得劣化度保持单元102保持的劣化度的劣化度获得单元。然后，可靠度计 算单元105基于获得的劣化度计算针对图像边缘特征的可靠度 w。
[0067] 不对可靠度w做特别限定，只要是被定义为随着正确提取图像边缘特征的可能性 越高而越高的值即可。在散景量和模糊量中的至少一者被用作劣化度的本实施例中，可靠 度w被定义为散景量越大或模糊量越大，则可靠度w越低。在本发明中，通过使用函数来定义 可靠度《，在该函数中，根据散景量和模糊量而获得的劣化度σ〇的统计量被包括为参数。作 为统计量，给出了劣化度的平均值、方差值等，但是不对统计量做特别限定。例如，可以通过 使用式(1)中示出的Tukey函数来表示可靠度w。
[0068] [式1]
[0069]
[0070]在式（1)中，c是检测到对应的图像边缘特征的模型边缘特征的劣化度〇〇的平均 值，换言之是统计量，而b是各个模型边缘特征的劣化度σ〇。注意，不对函数的类型做特别限 定，并且也可以使用其他函数，在该其他函数中，劣化度越高则可靠度w越低，并且劣化度越 低则可靠度W越高。例如，可以通过高斯函数、Huber函数等来表示可靠度。另外，可以通过诸 如Tukey函数等的函数来表示可靠度w，其中，使用预先设置的劣化度的容许值来代替统计 量c〇
[0071]〈根据本实施例的处理〉
[0072]下面，将参照图2的流程图说明本实施例中的处理的示例。在步骤S201中，劣化度 保持单元102确定是否已保持了劣化度。如果已保持了劣化度，则处理进行到步骤S204。如 果未保持劣化度，则处理进行到步骤S202。在步骤S202中，劣化度计算单元101计算劣化度。 稍后将描述劣化度的计算方法。在步骤S203中，劣化度保持单元102保持在步骤S202中计算 的劣化度。以这种方式，在本实施例中，在图像获得单元103获得拍摄图像之前，在步骤S201 和步骤S202中，作为信息处理装置1的初始化处理，进行劣化度的计算和保持。劣化度保持 单元102可以获得并保持从外部装置、存储介质等预先计算的劣化度。
[0073]在步骤S204中，图像获得单元103获得由摄像装置108拍摄目标物体获得的拍摄图 像。在步骤S205中，特征提取单元104从在步骤S204中获得的拍摄图像提取图像边缘特征。 特征提取单元104基于从劣化度保持单元102获得的劣化度设置滤波器，并且通过将滤波器 应用于拍摄图像来提取图像边缘特征。稍后将描述步骤S205中的具体处理。在步骤S206中， 匹配单元107计算目标物体的位置及姿态。稍后将描述具体处理。
[0074]〈劣化度计算处理〉
[0075]接下来，将参照图3的流程图给出步骤S202的处理的说明，在步骤S202中，劣化度 计算单元101计算劣化度。在本实施例中，劣化度计算单元101根据目标物体相对于摄像装 置108的位置及姿态，来布置视点及目标物体的三维模型。考虑到根据摄像装置108的摄像 条件，计算从视点看到的三维模型的图像的劣化度。这样获得的劣化度能够被用作当摄像 装置108拍摄目标物体时获得的目标物体的像的劣化度的估计值。
[0076] 在本实施例中，作为劣化度，计算散景量D、模糊量B、以及根据散景量和模糊量获 得的劣化度〇〇。此外，根据摄像装置108的、针对目标物体的摄像条件包括目标物体与摄像 装置108之间的相对速度，以及诸如摄像装置108的曝光时间、焦点位置和光圈等的摄像参 数。下面，给出根据使用这些信息的模拟来计算劣化度的方法的说明。
[0077] 下面，给出针对模型保持单元106保持有位置信息的各个模型边缘特征，来计算劣 化度的方法的说明。在其它实施例中，劣化度计算单元101对于目标物体相对于摄像装置 108的各种相对位置及姿态，检测模型边缘特征的位置，并且计算针对各模型边缘特征的劣 化度。在这种情况下，劣化度计算单元101能够使用上述方法作为提取模型保持单元106保 持的模型边缘特征的方法，来检测模型边缘特征。可以如下进行对于检测的模型边缘特征 的劣化度的计算方法。
[0078] 在步骤S301中，劣化度计算单元101获得当摄像装置108拍摄目标物体时的摄像条 件。摄像条件包括对根据摄像装置108的拍摄图像具有影响的摄像参数，例如焦距、焦点位 置、光圈值、曝光时间等。摄像条件包括摄像装置108与目标物体之间的相对速度。相对速度 表示目标物体与摄像装置108之间的相对移动方向及速度。
[0079] 例如，当目标物体在传送带上沿1轴方向上进行平移移动时，能够基于设定数据、 设定值等计算目标物体的移动速度及移动方向。可以使用传感器等来检测目标物体的移动 方向和移动速度。可以基于目标物体的移动方向和移动速度，以及目标物体相对于与模型 边缘特征关联的摄像装置108的相对位置及姿态，来计算摄像装置108与目标物体之间的相 对速度。
[0080]在步骤S302中，劣化度计算单元101从模型保持单元106保持有位置信息的模型边 缘特征组中，选择一个模型边缘特征，将针对该模型边缘特征计算劣化度。在步骤S303中， 劣化度计算单元101针对在步骤S302中选择的模型边缘特征计算预测的散景量D。不对计算 散景量的方法做特别限定;可以使用公知的公式进行计算。可以使用诸如摄像装置108的焦 距、摄像装置108的光圈值以及摄像装置108与焦平面之间的距离等的摄像参数，以及摄像 装置1 〇8与模型边缘特征之间的距离等，来进行散景量的计算。在本实施例中，劣化度计算 单元101使用下面的式(2)来计算散景量D。
[0081 ][式 2]
[0082]
[0083]在式(2)中，f表示摄像装置108的成像透镜的焦距。Lo表示虚拟视点的聚焦位置。Ln 表示从虚拟视点到模型边缘特征的距离。F表示摄像装置108的成像透镜的光圈值。△ d表示 像素大小。可以基于模型边缘特征的位置信息来计算匕。可以根据摄像装置108的规格来预 先设置诸如成像透镜的光圈值或焦距等的、摄像装置108的摄像参数，或者可以通过劣化度 计算单元101从摄像装置108获得摄像装置108的摄像参数。此外，可以根据例如在 R.Y.Tsai，〃A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses"，IEEE Journal of Robotics and 六1^〇11^七;!_〇11，￥〇1.狀-3，11〇.4，1987中公开的方法来预先校准摄 像参数。摄像参数可以进一步包括透镜变形参数等，并且可以参照这样的进一步参数来计 算散景量。
[0084] 在步骤S304中，劣化度计算单元101针对在步骤S302中选择的模型边缘特征计算 预测的模糊量。不对用于计算模糊量的方法做特别限定，并且可以通过使用公知的公式来 进行计算。下面，将给出用于计算模糊量的方法的示例。在本实施例中，劣化度计算单元101 计算曝光期间模型边缘特征在拍摄图像上的移动量，作为模糊量。可以基于模型边缘特征 相对于摄像装置108的相对位置及姿态，以及诸如曝光时间、摄像装置108与目标物体之间 的相对速度等的、根据摄像装置108的摄像条件，来计算模糊量。在以下示例中，计算曝光期 间模型边缘特征在拍摄图像上的移动量，作为模糊量。
[0085] 在本实施例中，劣化度计算单元101计算拍摄图像上的模型边缘特征的雅可比 (Jacobian)。然后，劣化度计算单元101基于模型边缘特征的雅可比、目标物体与摄像装置 108之间的相对速度、以及曝光时间，计算模型边缘特征的模糊量。
[0086] 模型边缘特征的雅可比是表示当6自由度的位置及姿态参数针对目标物体略微改 变时模型边缘特征的像的位置在拍摄图像上改变的比例。
[0087] 以下，以s表示目标物体的位置及姿态，以（u，v)表示当曝光开始时的模型边缘特 征的像的位置，以(u'，v'）表示当曝光结束时的模型边缘特征的像的位置，并且以(n u，nv)表 示模型边缘特征的像的法线方向（单位向量）。由此，可以通过下式(3)来计算在当曝光开始 时的模型边缘特征的像与当曝光结束时的模型边缘特征的像之间的带符号的距离err 2D。
[0088] [式3]
[0089] err2D = nu(u/ ^)+^(￥7 -v)··· (3)
[0090] 目标物体的位置及姿态是六维向量，并且具有表现目标物体的位置的三要素（S1， S2， S3)以及表现目标物体的姿态的三要素（84,85,86)。不对用三要素来表现姿态的方法做特 别限定。例如，可以通过欧拉(Euler)角来表现姿态。此外，可以通过三维向量来表现姿态， 针对该三维向量，向量的法线表现旋转角，并且向量的方向表现经过原点的旋转轴。通过由 位置及姿态s的各要素来对对应要素间的距离 err2D进行偏微分，能够如下式(4)来计算模型 边缘特征的雅可比矩阵J2D。
[0091] [式 4]
[0092]
[0093] 通过对各个模型边缘特征进行上述处理，劣化度计算单元101计算出各个模型边 缘特征的雅可比。因此，能够通过使用模型边缘特征的雅可比根据下式(5)来计算根据在图 像的曝光时间t期间目标物体以相对速度V移动而发生的模型边缘特征的模糊量B。
[0094] [式 5]
[0095] B = tiJaDV---(5)
[0096] 获得的模糊量B是标量，并且表示在曝光期间在拍摄图像上模型边缘特征的像的 位置的移动量。通过对各个模型边缘特征进行上述处理，劣化度计算单元101针对各个模型 边缘特征计算出模糊量B。
[0097] 在步骤S305中，劣化度计算单元101针对各个模型边缘特征，通过使用在步骤S304 中获得的模糊量B和在步骤S303中获得的散景量D，来计算劣化度〇Q。不对计算劣化度的具 体方法做特别限定。在本实施例中，劣化度计算单元101计算劣化度σ〇,以使得散景量D和模 糊量Β越大，则劣化度〇〇变得越大。例如，可以通过使用式(6)来计算劣化度〇〇。可以通过任意 方法来定义劣化度〇〇,只要图像的劣化程度越高则其也变得越大即可。
[0098] [式6]
[0099]
[0100] 在步骤S306中，劣化度计算单元101确定是否针对所有边缘特征都进行了针对劣 化度(换言之，针对散景量D和模糊量Β)的计算。当劣化度计算完成时，处理终止。如果劣化 度的计算尚未完成，则处理返回至步骤S302。劣化度保持单元102将由此计算出的劣化度 (换言之，散景量D和模糊量Β)与模型边缘特征相关联地保持。
[0101]〈滤波器设置和边缘提取处理〉
[0102] 接下来，将使用图4的流程图给出从拍摄图像提取图