元 107可以使用指示与指定的投影图像相关联的相对位置及姿态的信息，来确定目标物体的 位置及姿态。
[0297] 根据第5实施例，在考虑到根据散景和模糊等的拍摄图像的劣化来针对各像素进 行加权的同时，通过计算拍摄图像与投影图像之间的匹配度，能够高精度地进行目标物体 的类型的指定。
[0298] [第10变型例]
[0299] 在第5实施例中，基于目标物体的拍摄图像与模型保持单元106保持的投影图像之 间的类似度，来进行目标物体的识别。在第10变型例中，通过使用SIFT特征的类似度，来进 行目标物体的识别。根据第5实施例的信息处理装置1具有与第1实施例类似的结构;下面将 给出不同点的说明。
[0300] 特征提取单元104从由图像获得单元103获得的拍摄图像，提取SIFT特征量。例如， 特征提取单元104能够从拍摄图像检测特征点（关键点），并且计算在各个关键点处的SIFT 特征量。检测关键点的方法和计算SIFT特征量的方法是公知的。作为本实施例的一个示例， 使用在 Hironobu Fuj iyoshi，"Local Feature Amounts for Generic Object Recognition(SIFT and HOG)''Information Processing Institute Research Report， CVIM 160，pp .211-224,2007 中公开的方法。
[0301] 模型保持单元106针对多个比较目标，保持模型信息。一条模型信息由从通过将比 较目标的三维模型投影在拍摄图像上获得的投影图像中提取的SIFT特征量、以及指定比较 目标的类型的标识符组成。在本实施例中，一条模型信息包括多个SIFT特征量。此外，针对 一个比较目标，模型保持单元106能够保持在比较目标相对于摄像装置的相对位置及姿态 不同的情况下的多条模型信息。
[0302]匹配单元107指定由图像获得单元103获得的拍摄图像中包括的目标物体的类型。 具体而言，匹配单元107首先选择模型保持单元106保持的一条模型信息，然后将选择的模 型信息中包括的SIFT特征量与由特征提取单元104提取的SIFT特征量相关联。关联SIFT特 征量的方法是公知的，并且作为本实施例的一个示例，可以使用在Hironobu Fuj iyoshi，〃 Local Feature Amounts for Generic Object Recognition(SIFT and H0G)〃 Information Processing Institute Research Report，CVIM 160，pp.211_224,2007中公 开的方法。
[0303]当进行SIFT特征量的关联时，可以将由模型保持单元106保持的SIFT特征量与距 离接近的、从由图像获得单元103获得的拍摄图像提取的SIFT特征量相关联。可以与关键点 的像素位置无关地进行该关联。在第1至第5实施例中，将位置接近的特征相关联，但是也可 以以这种方式使用各种方法作为关联特征的方法。
[0304]接下来，匹配单元107获得针对关联的SIFT特征量的可靠度。在本变型例中，与第5 实施例类似，可靠度计算单元105针对由模型保持单元106保持的投影图像的各个像素，计 算可靠度。匹配单元107从可靠度计算单元105,获得与从拍摄图像提取的SIFT特征量相对 应的关键点的像素的可靠度。匹配单元107计算通过将获得的可靠度作为权重与在关联的 SIFT特征之间的欧几里得(Euclidean)距离相乘而得到的加权距离的总和，作为类似度R。 [0305]匹配单元107进行上述处理，以计算针对各条模型信息的类似度R。然后，匹配单元 107指定类似度R变为最小的模型信息，并且根据与指定的模型信息相关联的标识符来指定 目标物体的类型。匹配单元107能够输出指示指定的目标物体的类型的信息。在本变型例 中，类似于第5实施例，能够使用指示与指定的模型信息相关联的相对位置及姿态的信息， 来确定目标物体的位置及姿态。
[0306]在本变型例中使用SIFT特征量，但是可以使用从图像提取的其他特征来指定目标 物体的类型。例如，可以使用边缘特征、基于拍摄图像而计算出的三维点等作为特征。
[0307][第6实施例]
[0308]在上述实施例中，通过专用硬件来实现例如图1等示出的各个处理单元。然而，可 以通过计算机来实现部分或所有处理单元。在本实施例中，至少根据各个上述实施例的处 理的一部分由计算机来执行。图15是示出计算机的基本结构的图。为了在计算机中执行上 述各实施例的功能，可以通过程序来表现各个功能结构，并由计算机读取。由此，能够通过 计算机来实现上述实施例的各个功能。在这种情况下，可以通过函数或者CPU执行的子程 序，来使得图15中的各个组件发挥功能。
[0309]此外，计算机程序通常存储在诸如CD-ROM等的非易失性计算机可读存储介质中。 通过将存储介质设置到计算机所具有的读取装置(诸如CD-ROM驱动）中，并且将其复制或安 装到系统中，能够执行该计算机程序。因此，对应的非易失性计算机可读存储介质也在本发 明的范围内，这是不言自明的。
[0310] 图15是示出计算机的基本结构的图。图15中的处理器1510例如是CPU，并且整体上 控制计算机的操作。存储器1520例如是RAM，并且临时存储程序、数据等。非易失性计算机可 读存储介质1530例如是硬盘或CD-ROM，并且长期存储程序和数据等。在本实施例中，存储在 存储介质1530中并实现各个单元的功能的程序，被读入存储器1520中。处理器1510通过根 据存储器1520中的程序进行操作，来实现各个单元的功能。
[0311] 在图15中，输入接口 1540是用于从外部装置获得信息的接口，并且例如连接到操 作面板112等。同样，输出接口 1550是用于向外部装置输出信息的接口，并且例如连接到LCD 监视器113等。总线1560连接各个上述单元，并且使得能够进行数据的交换。
[0312]其他实施例
[0313] 还可以通过读出并执行记录在存储介质（也可更完整地称为"非临时性计算机可 读存储介质"）上的计算机可执行指令(例如，一个或更多程序）以执行上述实施例中的一个 或更多个的功能、和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多 个电路（例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并 且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所 述计算机可执行指令以执行上述实施例中的一个或更多个的功能、和/或控制所述一个或 更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所 述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并 且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。 所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可 以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光 盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)?)、闪存设备以及存储卡等中 的一者或更多。
[0314] 本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质 将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中 央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[0315] 虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公 开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变 型例以及等同的结构和功能。
【主权项】
1. 一种图像处理装置，所述图像处理装置包括： 图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像； 劣化度获得单元，其用于针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化 度的信息； 提取单元，其用于基于所述劣化度从所述拍摄图像提取所述目标物体的特征； 模型保持单元，其用于保持所述目标物体的三维模型； 关联单元，其用于将所述目标物体的特征，与当根据预定位置及姿态布置所述三维模 型时观察到的所述三维模型的特征相关联;以及 导出单元，其用于通过基于所述关联的结果校正所述预定位置及姿态，来导出所述目 标物体相对于所述摄像装置的位置及姿态。2. 根据权利要求1所述的图像处理装置，其中，所述劣化度获得单元从劣化度保持单元 获得所述劣化度，所述劣化度保持单元预先保持指示针对由摄像装置拍摄的拍摄图像的各 个位置的图像劣化度的信息。3. 根据权利要求2所述的图像处理装置，其中，所述劣化度保持单元将指示所述劣化度 的信息，与所述目标物体和所述摄像装置之间的位置及姿态相关联地保持。4. 根据权利要求2所述的图像处理装置，其中，所述劣化度保持单元将指示通过摄像装 置拍摄所述目标物体而获得的拍摄图像在所述目标物体的像的各个特征的位置处的劣化 度的信息，与所述三维模型包括的、对应于各个特征的特征相关联地保持。5. 根据权利要求1所述的图像处理装置，其中，所述导出单元校正所述预定位置及姿 态，以使由所述关联单元关联的所述三维模型的特征与所述目标物体的特征之间的距离 小。6. 根据权利要求1所述的图像处理装置，其中， 所述特征是边缘特征， 所述提取单元通过对所述拍摄图像进行边缘检测处理，来提取多个边缘特征，并且 所述关联单元针对所述三维模型具有的多个边缘中的各个，计算通过基于所述预定位 置及姿态将所述边缘投影在投影图像上而获得的图像位置，并且将所述拍摄图像中的、所 述目标物体的像的边缘特征的图像位置，与跟所述目标物体的像的边缘特征邻近的、所述 投影图像上的所述三维模型的边缘的图像位置相关联。7. 根据权利要求1所述的图像处理装置，其中， 由所述摄像装置拍摄所述目标物体来获得所述拍摄图像，在所述目标物体上由照射装 置照射有照明图案， 所述提取单元基于所述照射装置的位置、所述摄像装置的位置以及所述照明图案，提 取所述目标物体的像上的点的三维位置作为所述特征，并且 所述关联单元将所述目标物体的像上的所述点的所述三维位置，与跟该三维位置邻近 的、所述三维模型的表面的三维位置相关联。8. 根据权利要求1所述的图像处理装置，其中，所述导出单元，通过基于所述关联的结 果以及与所述特征被提取的位置对应的劣化度，校正所述预定位置及姿态，来导出所述目 标物体相对于所述摄像装置的位置及姿态。9. 根据权利要求1所述的图像处理装置，所述图像处理装置还包括设置单元，所述设置 单元用于根据所述劣化度，设置用于从所述拍摄图像提取所述特征的提取参数， 其中，所述提取单元通过使用由所述设置单元设置的所述提取参数，来从所述拍摄图 像提取所述特征。10. 根据权利要求9所述的图像处理装置，其中，所述设置单元设置所述提取参数，以便 通过使用滤波器的滤波处理来提取特征，其中所述劣化度越高，所述滤波器的尺寸越大。11. 根据权利要求9所述的图像处理装置，其中，所述设置单元设置所述提取参数，以便 在对所述拍摄图像进行大小调整之后通过滤波处理来提取特征，其中所述劣化度越高，将 所述拍摄图像的大小调整为越小。12. 根据权利要求9所述的图像处理装置，其中， 所述设置单元，根据所述劣化度设置多个提取参数；以及 所述提取单元，根据滤波处理使用所述多个提取参数中的各个来提取特征，并且根据 滤波处理的响应值从多个提取结果中选择至少一个提取结果。13. 根据权利要求1至12中任一项所述的图像处理装置，其中，所述劣化度指示图像的 模糊量和散景量中的至少一者。14. 根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括劣化 度计算单元，所述劣化度计算单元用于基于根据所述摄像装置的所述目标物体的摄像条 件，使用所述目标物体的所述三维模型，来计算所述劣化度。15. 根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括劣化 度计算单元，所述劣化度计算单元用于基于由所述摄像装置拍摄所述目标物体而获得的拍 摄图像，来计算所述劣化度。16. 根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括劣化 度计算单元，所述劣化度计算单元用于基于根据所述摄像装置的所述目标物体的摄像条 件、使用所述目标物体的所述三维模型，来估计由所述摄像装置拍摄所述目标物体而获得 的拍摄图像，并且基于估计的图像来计算所述劣化度。17. 根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括摄像 单元，所述摄像单元用于通过拍摄所述目标物体来获得所述拍摄图像。18. 根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括： 摄像单元，其用于通过拍摄所述目标物体来获得所述拍摄图像； 包括可移动轴的机械臂；以及 控制单元，其用于根据导出的、所述目标物体的位置及姿态，来控制所述机械臂的位置 及姿态。19. 一种图像处理装置，所述图像处理装置包括： 图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像； 劣化度获得单元，其用于针对所述拍摄图像的位置，获得指示所述拍摄图像的劣化度 的信息； 保持单元，其用于保持多个比较目标像；以及 确定单元，其用于基于所述目标物体的像与所述多个比较目标像中的比较目标像之间 的匹配度，从所述多个比较目标像之中，确定与所述目标物体的像相对应的像，其中， 所述匹配度基于所述目标物体的像的多个特征中的各个与对应的比较目标像的特征 的差值，所述差值根据与特征被提取的位置对应的所述劣化度而被加权。20. -种图像处理装置，所述图像处理装置包括： 图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像； 劣化度获得单元，其用于获得指示所述拍摄图像的劣化度的信息； 设置单元，其用于根据所述劣化度，设置用于从所述拍摄图像提取特征的提取参数；以 及 提取单元，其用于参照所述拍摄图像，通过使用由所述设置单元设置的所述提取参数， 来提取所述拍摄图像的特征。21. 根据权利要求20所述的图像处理装置，其中， 所述劣化度获得单元针对所述拍摄图像中的位置，获得指示图像劣化度的信息，并且 所述设置单元针对所述拍摄图像的所述位置，根据针对所述位置的所述劣化度，设置 用于在该位置处提取特征的提取参数。22. 根据权利要20所述的图像处理装置，其中，所述劣化度获得单元获得指示所述劣化 度的所述信息，所述劣化度与所述目标物体和所述摄像装置的视点之间的位置及姿态相关 联。23. 根据权利要求20至22中任一项所述的图像处理装置，其中，所述设置单元设置所述 提取参数，以使得通过使用滤波器的滤波处理来提取特征，其中所述劣化度越高，则所述滤 波器的尺寸越大。24. 根据权利要求20至22中任一项所述的图像处理装置，其中，所述设置单元设置所述 提取参数，以使得在对所述拍摄图像进行大小调整之后通过滤波处理来提取特征，其中，所 述劣化度越高，则将所述拍摄图像的大小调整为越小。25. 根据权利要求20至22中任一项所述的图像处理装置，其中， 所述设置单元根据所述劣化度，设置多个提取参数，并且 所述提取单元使用所述多个提取参数中的各个以根据滤波处理来提取特征，并且根据 滤波处理的响应值，从多个提取结果中选择至少一个提取结果。26. -种图像处理方法，所述图像处理方法包括： 获得由摄像装置拍摄的目标物体的拍摄图像； 针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息； 基于所述劣化度从所述拍摄图像提取所述目标物体的特征； 保持所述目标物体的三维模型； 将所述目标物体的特征，与当根据预定位置及姿态布置所述三维模型时观察到的所述 三维模型的特征相关联；以及 通过基于所述关联的结果校正所述预定位置及姿态，来导出所述目标物体相对于所述 摄像装置的位置及姿态。27. -种图像处理方法，所述图像处理方法包括： 获得由摄像装置拍摄的目标物体的拍摄图像； 针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息； 保持多个比较目标像；以及 基于所述目标物体的像与所述多个比较目标像中的比较目标像之间的匹配度，从所述 多个比较目标像之中，确定与所述目标物体的像相对应的像，其中， 所述匹配度基于所述目标物体的像的多个特征中的各个与对应的比较目标像的特征 的差值，所述差值根据与特征被提取的位置对应的所述劣化度而被加权。28. -种图像处理方法，所述图像处理方法包括： 获得由摄像装置拍摄的目标物体的拍摄图像； 获得指示所述拍摄图像的劣化度的信息； 根据所述劣化度，设置用于从所述拍摄图像提取特征的提取参数；以及 参照所述拍摄图像，通过使用所述提取参数，来提取所述拍摄图像的特征。29. -种图像处理装置，所述图像处理装置包括： 图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像； 劣化度获得单元，其用于针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化 度的信息； 提取单元，其用于从所述拍摄图像提取所述目标物体的特征； 模型保持单元，其用于保持所述目标物体的三维模型； 关联单元，其用于将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维 模型时观察到的所述三维模型的特征相关联;以及 导出单元，其用于通过基于所述关联的结果以及与所述特征被提取的位置对应的劣化 度，校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。30. -种图像处理方法，所述图像处理方法包括： 获得由摄像装置拍摄的目标物体的拍摄图像； 针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息； 从所述拍摄图像提取所述目标物体的特征； 保持所述目标物体的三维模型； 将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察到的所 述三维模型的特征相关联；以及 通过基于所述关联的结果以及与所述特征被提取的位置对应的劣化度，校正所述预定 位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。
【专利摘要】本发明提供一种图像处理装置及图像处理方法。获得由摄像装置拍摄的目标物体的拍摄图像；针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；基于所述劣化度从所述拍摄图像提取所述目标物体的特征；根据预定位置及姿态来将目标物体的特征，与当布置三维模型时观察到的三维模型的特征相关联。通过基于关联的结果校正预定位置及姿态，来导出目标物体相对于摄像装置的位置及姿态。
【IPC分类】G06T5/00, G06T7/00
【公开号】CN105654464
【申请号】
【发明人】宫谷苑子, 铃木达矢, 藤木真和, 小林一彦, 铃木雅博, 广田祐一郎, 小竹大辅
【申请人】佳能株式会社
【公开日】2016年6月8日
【申请日】2015年11月24日