的相机坐标系中)相机160、160A中任一个所拍摄的图像中的已知特征相对位置和(投影)特征相对位置，可通过从对应的图像坐标系向在其中提供特征坐标的任何参考系统(例如，导航参考坐标系302)的透视后向投影(perspectiveback-project1n)来(例如，实时地)确定另一转换的转换参数。在图3中，分别通过针对相机160和160A的第三转换T3和T3A对此进行指示。
[0085]通过针对每个单个的特征j求解以下的等式系统，计算针对相机160的第三转换T3的转换参数:
[0086]Mj,i60 = T4.T3-1.MjjcaI,
[0087]其中，Mja6Q是相机160的图片数据集的图片中具有相对于其图像坐标系的坐标的图像化特征j(例如，视频帧)被作为校准数据提供，并指示具有相对于导航参考坐标系302的坐标的特征j(的关键点)，以及第四转换T4指定相机160和与其所相关联的图像坐标系之间的转换参数。
[0088]通过类似的方式，可针对跟踪相机160A计算转换T3的转换参数。应该注意到，上述的透视后向投影有时也被称为相机姿态估计，或结合相机姿态估计来执行。
[0089]在图3中示出的示例性场景中，以两个特征子集的形式提供特征集170，其中，第一特征子集与患者跟踪设备320相关联，且第二特征子集与特征块330相关联。附加地或备选地，可通过解剖学患者特征的形式提供第二特征子集。在图3中，通过黑点来用符号表示单个特征。当然，也可通过将任意的或良好块的图样涂抹在患者的皮肤上来将特征块330—般化。
[0090]图4A示出了图3的特征块330的实施例，特征块330是在其上包括了多个编码特征的多部分皮肤遮蔽物的形式。图4B示出了图3的患者跟踪设备320的二维(S卩，平坦)表面。
[0091]参考图4A，定义特征块330的皮肤遮蔽物包括柔性衬底，在柔性衬底面向患者的一侧具有粘合物，且在柔性衬底上具有定义鲁棒的光学可视特征的印刷表面。每个特征具有二维扩展，在本实施例中，该二维扩展包括唯一的扩展QR型编码(其允许各个特征的交叠)。
[0092]在图4A中，单个扩展特征在图形上被示出为位于白环之内，其中，环的中心定义了特征关键点。一般而言，每个扩展特征可定义这样的一个特定关键点(或中心)，该特定关键点指示特征的位置(或坐标)。在计算机的视角中，术语“特征”也被称为对周围(即，特征扩展的)关键点的描述。
[0093]图4C示意性地示出环的示例形式中扩展特征的关键点概念。应该明白，该关键点概念可被容易地扩展为图4A的特征类型。
[0094]还应该注意到，图4A中的白环仅被用于示意的目的，且在实际的特征块330中没有出现。还将意识到的是，在备选实施例中，可通过其他方式定义并编码各个特征。作为示例，可以使用彩色编码环或点。
[0095]如前所述，图4A中示出的特征块330的衬底是柔性的，使得可贴合患者的表面，特征块330通过其粘合层涂敷到患者表面。在某些实现中，可将特征块330上的各个特征分组到小的区域中，可假设该小的区域形成平的(即，平坦的)表面，而不受任何表面弯曲的影响。
[0096]可将各个特征的相对位置以及其编码方案(其使得可区分各个特征)存储为校准数据(即，可以是先验已知的)。此外，还可将各个特征(或特征关键点)与患者皮肤的距离(即，特征块330的厚度)存储为校准数据。
[0097]图4B示出了图3的患者跟踪设备320的二维(S卩，平坦)表面。在本实施例中，患者跟踪设备320被配置为要坐落在患者鼻子上的头戴式设备。患者跟踪设备320将会被刚性地贴附到患者，使得其将与患者一起移动。通过这种方式，患者跟踪设备320可检测任何患者移动，在用于跟踪或计算(包括估计)导航参考坐标系302中手术设备150或配准相机160相对于患者的位置的导航期间，这将会是特别需要的。
[0098]在本实施例中，由在图4B的患者跟踪设备的二维表面上提供的特征(以黑白区域组合的形式)来定义(或丈量)导航参考坐标系302。这意味着一旦在从相机160、160A中任一个接收到的图片数据集中识别出并可选地解码患者跟踪设备320的表面上定义的跟踪器特征，可确定导航参考坐标系302以及这些特征在坐标系302内的坐标。如果特征块330的特征在导航参考坐标系302内是已知的，也可以将其用于该计算。
[0099]一般而言，以上与图4A中示出的特征块330的特征有关的陈述同样适用于图4B的患者跟踪设备320的特征。例如，图1A的系统100同样也将具有与在患者跟踪设备320上提供的特征的相对位置和编码有关的先验知识(校准数据的形式)。
[0100]下面将描述确定导航参考坐标系302与图像坐标系304之间的转换的其他实施例。这些具有将会更加详细地讨论的某些修改的实施例从图3中示出的一般性场景中导出。将会看到，可在成像设备140获得图像数据时不需要将不透无线电的基准布置或其他任何标记贴附到患者的情况下确定坐标系转换Tl。
[0101]在准备下面的实施例时，将讨论特征组(也称为“迷你跟踪器”)的概念以及某些计算机视角概念，例如姿态估计、SLAM和SfM。
[0102]图4D示出抽象层级的迷你跟踪器概念。迷你跟踪器可通过四个(或通常多得多的)特征一组来定义，并可被认为构成其自身的各个特征(即，可以与唯一的三维特征坐标集相关联)。在图4D中描绘了四个特征。每个特征具有某些扩展(由环来指示)和编码(由特定的线型来指示)。该编码使得可将四个特征彼此区分开。应该明白，可使用图4A的QR型编码或图4B的区域编码来实现图4D的抽象迷你跟踪器概念。
[0103]定义迷你跟踪器的特征组使得可将空间中良好定义的点(以及可选地，定向)与迷你跟踪器相关联。这由图4D中的坐标系示出，其中，坐标系(“迷你跟踪器坐标系”)的原点指示空间中良好定义的点，且轴示出了定向。在将特征组布置在具有已知形状的表面上时，可以将坐标系的原点与该表面上的已知点相关联。特征组的特征(即，其特征关键点)在迷你跟踪器坐标系内描述，或换而言之，迷你跟踪器坐标系可从构成特征组的特征的关键点坐标导出。可使用以上参考图3讨论的姿态估计(透视后向投影)来确定这些关键点坐标。应该注意到，不需要在所有的实施例中都确定迷你跟踪器定向和迷你跟踪器坐标系。在很多实施例中，将迷你跟踪器与空间中良好定义的点相关联便足够了。
[0104]对于图4A中示出的特征块示例，可以假设在特征块330贴合患者表面时将每个特征组布置在局部平坦的表面上(其可能要求将特征彼此靠近布置)。由此，每个迷你跟踪器都可被解译为定义已知的表面点(例如，迷你跟踪器坐标系的原点)，且可如图4E中所示地确定多个迷你跟踪器/表面点之间的转换。一般而言，若干表面点之间的转换定义表面点的相对位置(或坐标)(参见图2中的步骤204)，并因此定义描述所需表面模型的点云(参见图2中的步骤206)。
[0105]在图AEm^Tir1.TlO来指示两个示例性表面点之间的三维转换。构建转换TlO和Tl I将相应迷你跟踪器坐标系与相机坐标系(图3中的附图标记306)相关联。在一个实现中，可根据配准相机160从单个视角获取的单个图片数据集(例如视频帧)针对多个迷你跟踪器计算这种转换。在实践中，多次从(从多个视角获取的)多个图片数据集导出表面点之间的转换(T11—1.T10)，并在然后将其平均以增加计算的鲁棒性。
[0106]在一个实施例中，使用SLAM技术(包括姿态估计)来计算表面点相对于相机坐标系306(参见图3)的转换Tll和T10。如前所述，姿态估计涉及使用后向投影方案(例如，如上参考图3所述)根据二维图片确定位置和定向(有时是可选的KSLAM允许同时定位(S卩，确定相机位置)和映射(即，表面模型形式的患者表面重构)。
[0107]在本实现中，SLAM利用局部平坦的区域(由迷你跟踪器定义)来对要重构的患者表面进行建模，使得可使用平坦姿态估计来局部地重构患者表面。在某些实施例中，可相对于患者跟踪设备(例如图4B的患者跟踪设备320(即，在图3的导航参考坐标系302中))来计算(例如，估计)姿态。由点云表示所产生的形状模型。应该明白，点云的每个点表示单个迷你跟踪器的(例如，其相关联的迷你跟踪器坐标系的原点的)特征坐标。
[0108]作为SLAM的备选，可使用姿态估计和SfM技术的组合来导出用于形状模型的特征坐标(图2中的步骤204和206)。关于这一点，在配准相机160从不同视角获取的多个图片数据集中的每个图片数据集中，通过二维的方式识别单个特征(例如，特征关键点，但不是必须是例如迷你跟踪器的特征组)。在某些实施例中，可由图4A的特征块330提供特征。对于每个图片数据集，例如相对于图4B的患者跟踪设备320来计算相应相机姿态。由此，可能需要区分患者跟踪设备320上的特征和特征块330上的特征。
[0109]然后，应用SfM以导出三维特征坐标(S卩，构建患者表面并生成形状模型)JfM构造在配准相机160相对于患者移动时针对各个特征的二维特征跟踪。根据该特征跟踪，在导航参考坐标系中(例如，患者跟踪设备320的坐标系302中)导出特征坐标。关于这一点，可针对图片数据集来利用配准相机160相对于患者跟踪设备320的姿态，根据该图片数据集构造特征跟踪。因此将特征跟踪用于三维特征坐标系。
[0110]可将三角测量法以及可选地束调整应用于三维特征坐标重构和形状模型生成。在一个变型中，三角测量法针对每个特征跟踪确定在(例如相对于患者跟踪设备320的)相机姿态中具有最大角距离的两个图片数据集(例如，视频帧)。然后，从这两个图片数据集导出二维特征信息，以得到导航参考坐标系中特征坐标的初始三维重构。然后，将针对所有特征跟踪的初始重构与很多或所有相关联的图片数据集(以及相关联的相机姿态)一起用于执行束调整。束调整是用于降低反投影(reproject1n)误差的优化流程。此外，在本情况下，由具有三维特征坐标的点云来表示所产生的形状模型。
[0111]应该明白，也可以在没有相对于患者跟踪设备的显式相机姿态估计的情况下执行SfM。在这样的情况下，可对相应相机姿态进行估计和迭代优化。在Klein等的ParallelTracking and Mapping for Small AR Workspaces(Proceedings of the 2007 6th IEEEand ACM Internat1nal Symposium on Mixed and Augmented Real ity,Pages I to10,13-16November 2007)中描述了相关处理。
[0112]基于上述对跟踪器概念、姿态估计、SLAM和SfM的解释，现在将描述图5A至图SB中描绘的更详细的实施例。
[0113]在图5A至图5C中示出的实施例中，使用与图3中