类似的设置。这意味着，处于配准目的，将手持相机160相对于患者移动，以从患者表面的不同视角提供图片数据集。将图4A中示出的(多部分)特征块330和具有图4B中示出的特征图样的患者跟踪设备320 二者都被涂敷到患者。因此，可在配准相机160提供的图片数据集中识别患者跟踪设备320的特征和特征块330的特征二者。
[0114]图5B示出了基于图5A的设置的方法实施例的流程图500。方法实施例使用姿态估计和图4C至图4D中示出的特征组(或迷你跟踪器)概念，但不要求应用SLAM。
[0115]在初始步骤502中，对感兴趣的患者区域(S卩，要手术治疗的患者区域)进行手术前扫描或手术中扫描。如上所述，不需要将特定的基准布置或任何其他标记贴附到患者的身体。将所产生的患者图像数据(通常是体数据集)导入图1A的计算机设备110。可使用标准防议(例如DIC0M)执行该导入。
[0116]在下一步骤504中，从图像数据提取感兴趣的患者表面的形状。所提取的形状表示可描述患者的感兴趣的解剖区域的皮肤表面。在图5A中示出的示例性实施例中，提取正面的头部和面部的表面。可使用射线跟踪技术或任何其他技术(例如，三维图像分割)，由计算设备110或备选计算设备执行该提取。
[0117]将会意识到，可在手术前几天或甚至几周执行步骤502和504。在某些情况下，还可以在手术治疗期间(即，手术治疗的同时)执行该两个步骤。
[0118]紧接在手术治疗之前，将其上具有编码特征的皮肤遮蔽物类型的特征块330贴附到患者的皮肤表面(步骤506)。如上所述，将编码特征分组，以形成(同样编码的)迷你跟踪器。由于特征块330面向患者的一侧上的粘合物，所贴附的特征块330将贴合患者表面。
[0119]同时，将患者跟踪设备320贴附到患者(步骤508)。将患者跟踪设备贴附为使得可以保证其在配准和导航期间将不会相对于患者的身体移动。在图5A中示出的实施例中，使用携带平坦衬底的头戴式设备，在该平坦衬底上印刷了跟踪器特征(参见图4B)。在备选实施例中，可使用头带或头架(headframe)，或可将患者跟踪设备可被粘贴在患者皮肤上。
[0120]在步骤510中开始实际的配准流程:在图1A的计算设备110的内部存储设备116中记录从配准相机160接收的视频数据流，同时相对于患者移动。对应的视频数据流包括相对于患者表面从不同视角得到连续图片数据集系列。图片数据集使得可识别在配准相机160的相应视野内的患者跟踪设备320和特征块330 二者上的特征。
[0121]然后，在步骤512中，针对可在其中识别(例如，检测)患者跟踪设备320的至少四个鲁棒特征的每个图片数据集，可在导航参考坐标系302中相对于患者跟踪设备320在三个维度上确定特征块330(其也可在该图片数据集中识别)上每个迷你跟踪器的位置(例如，使用以上参考图3时论的姿态估计)。在本情况下，在步骤512中，通过患者跟踪设备320上的识别出的特征布置来先验地定义导航参考坐标系302，且也确定导航参考坐标系302。由此，步骤512包括估计患者跟踪设备320的位置和定向(S卩，姿态)以及迷你跟踪器相对于配准相机坐标系306的位置(通过与参考图3所讨论的类似方式)。通过坐标转换，可以计算迷你跟踪器关于导航参考坐标系302的位置。
[0122]因此，通过处理从配准相机160接收到的视频数据流，可以采集多个迷你跟踪器的(SP，图4E中示出的相关联的表面点的)相对于患者跟踪设备320(即，在导航参考坐标系302中)的特征坐标，并可选地进行过滤。过滤可包括计算从多个图片数据集(即，从不同视角得到的图片数据集)导出的单个迷你跟踪器的多个计算出的位置的平均值。因此，获得对特征块330上相对于导航参考坐标系320的迷你跟踪器位置(S卩，特征坐标)进行指示的点云。该点云表示已涂敷了特征块的患者表面的形状模型。
[0123]可在记录视频数据流并向操作配准相机160的用户提供视觉反馈或其他反馈的同时完成上述计算中的一个或多个。这样的反馈可包括以下一项或多项:显示设备120上对配准相机160获取的视频数据流的渲染、涉及是否可在图片数据集中识别患者跟踪设备320的信息、以及涉及特征块330的各个特征的状态的信息(例如，检测状态、涉及特征的估计位置的质量信息、等等)。
[0124]在步骤512中确定指示特征块330的特征坐标的点云之后，方法进行到步骤514。在步骤514中，执行表面匹配，将步骤512中导出的导航参考坐标系302中的特征坐标的点云与步骤504中从图像数据提取的图像坐标系304中的患者表面进行匹配。可使用迭代最近点(ICP)或任何其他技术来执行表面匹配。步骤514中的匹配结果是针对转换Tl的从导航参考坐标系302(其在本实施例中与患者跟踪设备坐标系一致)到图像坐标系304的配准转换矩阵(即，转换参数)，或反之(参见图3)。
[0125]然后，在步骤516中，且基于配准转换矩阵，在导航相机160A可识别导航参考坐标系302中已知的至少四个特征(例如，患者跟踪设备320的特征)时可在患者图像体数据集中对具有所贴附的跟踪相机160A的手术设备150进行导航，且可以使用姿态估计技术计算跟踪相机160A相对于患者跟踪设备320的姿态。
[0126]图5C示出了用于基于图5A中示出的设置来确定图3的坐标系转换Tl的备选方案的流程图550。步骤552至566基本上对应于以上参考图5B讨论的步骤502至516，且因此将仅对与步骤562的主要区别进行更详细的讨论。这些区别涉及没有实现迷你跟踪器概念这一事实。相反使用了具有姿态估计的SfM技术。因此，仅需要识别和处理特征块330上的各个(编码)特征。
[0127]在步骤562中，使用SfM技术来确定特征块330的特征的特征坐标。如上所述所，SfM指代根据图片数据集的二维序列估计三维结构的处理。因此，可以根据配准相机160得到的移动场景的(投影)二维运动域恢复三维表面。关于这一点，(通过例如光流算法)逐图片数据集地在图片数据集的序列中跟踪特征块330的各个特征。通过针对每个图片数据集知道(所估计的)相对于患者跟踪设备320的相机姿态并应用SfM，可以计算导航参考坐标系302(即，患者跟踪设备坐标系)中识别出的特征的三维坐标。这些计算的结果将是导航参考坐标系302中特征块330的特征的坐标点云。
[0128]在图6A中，示出了省略专用患者跟踪设备的备选设置。替代预先贴附到患者的专用患者跟踪设备(分别参考图5B和图5C中的步骤508和558)，计算机系统110仅在配准流程期间根据特征块330的识别出的特征生成患者跟踪设备。
[0129]在图6B的流程图600中示出了对应处理步骤。步骤602、604、606、616和618很大程度上分别对应于以上参考图5B描述的步骤502、504、506、514和516，且因此将不会更详细地讨论。因此，图6B的方法实施例也使用了迷你跟踪器概念。
[0130]由于没有将专用患者跟踪设备贴附到患者，步骤608中记录的视频数据流仅指示特征块330的特征。
[0131]在步骤610中，针对每个图片数据集，估计特征块330的每个识别出的迷你跟踪器相对于配准相机坐标系306(参见图3)的姿态(S卩，位置和定向)。如上参考图4D所解释的，具体迷你跟踪器的已知位置和定向定义了局部的迷你跟踪器坐标系。由此，可以(例如在任意迷你跟踪器的坐标系中)计算从一个识别出的迷你跟踪器的坐标系到任何其他识别出的迷你跟踪器的坐标系的转换。上文参考图4E对该处理进行了解释。
[0132]在步骤612中，采集并可选地(例如通过形成从不同视角计算的每个迷你跟踪器的转换的平均值来)过滤针对各个特征组合在步骤610中计算的转换。
[0133]然后，在步骤614中，根据针对识别出的迷你跟踪器导出的位置(S卩，坐标)和/或转换构造任意坐标系。任意”特征块”坐标系中的各个识别出的迷你跟踪器的特征坐标再次地(在该坐标系中)形成点云，该点云表示已涂敷了特征块330的患者表面的表面模型。此外，可指定识别出的迷你跟踪器中的多个迷你跟踪器，以用于手术导航期间(经由跟踪相机160A)的后续跟踪。由此，定义任何的特征块坐标系，以构建导航参考坐标系302，该导航参考坐标系302替换结合图5A至5C中示出的方法实施例用于相同目的的患者跟踪设备坐标系O
[0134]因此，在步骤618中，迷你跟踪器已被用于导航期间的跟踪，以确定导航相机相对于患者(以及手术设备)的位置。该事实解释了表达迷你“跟踪器”。将要意识到是，在存在专用患者跟踪设备的其他实施例(参见例如图5B)中，不需要将迷你跟踪器用于导航期间的实际跟踪。
[0135]图7A示出了与图6A中示出的设置类似但利用了SfM技术的又一设置。由此，将不根据迷你跟踪器来确定导航参考坐标系。图7A还示出补充缩放(scaling)参考190。在使用迷你跟踪器的其他实施例中，可将与迷你跟踪器有关的先验知识用于缩放。
[0136]图7A中的缩放参考190包括具有已知相对距离的缩放特征。例如，缩放参考190可采用其上具有对缩放特征进行定义的规则或不规则图样的平坦衬底的形式。缩放特征同样地是配准相机160提供的图片数据集中可识别的，且使得可确定针对患者表面的形状模型的缩放因子。在备选实施例中，可在表面匹配流程期间从与匹配设备140得到的患者图像数据相关联的已知缩放因子导出这样的缩放因子。
[0137]图7B的流程图700中示出的相关联方法实施例很大程度上对应于参考图6B讨论的方法实施例。根据一个差异，在步骤708中记录的视频数据流中包括(刚性)缩放参考190，该缩放参考190具有至少两个鲁棒的视觉可检测且可区分的光缩放特征(以及先验已知的彼此的相对位置)。应该注意到的是，如果需要，可将缩放参考190包括在特征块330中。此外，不需要将缩放参考190贴附到患者，而是在出于配准目的获取视频数据流时，缩放参考190应该具有与患者的固定位置。
[0138]与基于姿态估计执行的步骤610相反，在步骤710中，使用SfM来计算识别出(S卩，检测到且可选地解码)的各个特征(并非必须是特征组)的点云.在步骤712中通过缩放因子来缩放点云，缩放因子是通过根据对缩放特征在空间中的相对位置的先验知识来对在图片数据集中识别出的缩放参考特征进行缩放而确定的。将意识到的是，在步骤610中利用的姿态估计技术不需要这样的缩放。在步骤714中，根据特征块330的至少四个(个体)特征构造患者跟踪设备和相关联的坐标系。然后，在步骤718中，将使用该至少四个特征来估计相机姿态，以用于导航目的。
[0139]图8A示出了另一设置，在该另一设置中，除了图3的患者跟踪设备320之外，还省略了特征块330。另一方面，再次提供可选的缩放参考190。图8B的流程图800中示出的对应方法实施例部分对应于图7B的方法