实现中,将该其他相机160A刚性地安装到手术设备150,以用于手术导航期间的跟踪(例如,如US 2008/0208041 Al中所描述的),而可结合如本文中所述地确定坐标系转换的配准流程,独立于手术设备150来操纵另一相机160。在另一实现中,相机160被刚性地安装到手术设备150,并用于配准目的和导航(即,跟踪)目的二者。在另一实现中,相机160、160A二者都被安装到手术设备150,其中相机160用于配准目的,而相机160A用于受引导导航目的。在又一实现中,相机160A用于手术导航期间的跟踪,并贴附到手术室墙上、手术室灯上或推车上(图1A中未示出)。推车可被配置为运输至少计算设备110以及显示设备120。
[0063]在被安装到手术设备150时,相机160、160A中的任一个可具有包括手术设备150所针对的患者表面的视野。例如,在手术设备150使用指向患者的纵轴时,视野可沿着手术设备150的纵轴延伸。
[0064]特征集170包括至少在相机160(且可选地,相机160A)获得的图片数据集中可识别的多个特征。出于识别目的,可由计算设备110提供模式识别能力。关于此,系统100可具有或可不具有对要检测的特征的布置、编码或其他特性的先验知识。特征中的一个或多个可以是有源标记(例如,要被相机160检测到的发射辐射)。此外,或在备选中,特征中的一个或多个可以是无源标记.无源标记可具有反射或非反射性质。可在任何刚性(例如,平坦的)或柔性衬底(例如,患者和工具跟踪设备中任一个)上实现无源标记(例如,通过印刷),或可将无源标记涂抹在患者皮肤上。可通过表示特性的解剖学患者特征来实现特征中的一个或多个,该表示特性的解剖学患者特征可包括任何附加标记,但不是必须包括。
[0065]图1B示出了树形图示例性特征实现。如图所示,特征可以是人为特征或解剖学特征。系统100可具有对人为特征(例如,具有所谓校准信息的形式)的先验知识,或可不具有该知识。该先验知识可涉及特征编码方案和特征相对于彼此的位置中的一项或多项。已知先验的人为特征可例如是在衬底上盖戳或印刷的无源标记,或备选地是有源标记(图1B中未示出)。可通过在患者皮肤上随机涂抹来实现未知先验的人为特征。
[0066]关于解剖学特征,系统100—般将不具有专用的先验知识,而是可使用通用模型来识别解剖学特征。例如,对于解剖学特征,可提及(通常二维的)皮肤特征,例如斑点、胎记和毛孔。其他(通常三维的)解剖学特征包括例如患者的眼睛或鼻尖。
[0067]现在转到图1A,计算设备110包括至少一个数据接口 112、至少一个处理器114(例如,中央处理单元(CPU))以及内部存储设备116(例如,用于存储数据和程序代码的硬盘或半导体存储器)。在一个变型中,数据接口 112被配置为输入/输出接口。一般而言,数据接口112可被用于在一方面的计算设备110与在另一方面的显示设备120、外部存储设备130、成像设备140、相机160和160A以及计算机网络180(例如,局域网(LAN)和/或互联网)中的一个或多个之间建立有线或无线通信。数据接口 112可被实现为一个或多个硬件组件、一个或多个软件组件或其组合的形式。例如,数据接口可被实现为包括一个或多个通用串行总线(USB)接口。数据接口 112可备选地或附加地被实现为用于读取数据载体(例如,CD-ROM或SD卡)的设备。
[0068]内部存储设备116或外部存储设备130或其二者可被配置为存储成像设备140获得的患者图像的图像数据。备选地或附加地,还可经由计算机网络180接收(例如,下载)这样的图像数据。外部存储设备130可例如至少部分实现在成像设备140中,以由计算设备110读取。
[0069]此外,内部存储设备116或外部存储设备130或其二者可被配置为存储校准数据的各项。这样的校正数据构建系统100的先验知识,且下面将更详细地描述各个校正数据示例。应该明白,系统100的先验知识可备选地或附加地包括其他信息项。
[0070]内部存储设备116或外部存储设备130或其二者可附加地被配置为存储从相机160(且如果存在,从相机160A)接收的图片数据集。如上所述,可通过视频数据流的形式接收这些图片数据集,其被至少临时地存储,以由处理器114进行处理。这样的处理可例如包括模式识别,以识别(例如,定位和可选地解码)接收到的图片数据集中的一个或多个特征。
[0071]下面,将参考剩余的图更详细地讨论图1A中示出的系统100的示例性操作模式。应该注意到,也可以在具有与图1A中示出的配置不同的配置的系统中实现本文中讨论的操作模式。将使用相同的附图标记来表示相同或相似的组件。
[0072]—般操作图1A的系统100来在手术流程期间提供计算机辅助。计算机辅助可包括计算机辅助引导,计算机辅助引导用于相对于由成像设备140获取并在显示设备120上可视化的患者图像数据来导航手术设备150或其一部分。如前所述,这样的导航通常要求前置的配准步骤,在该配准步骤中确定一方面的导航参考坐标系和另一方面的图像坐标系之间的转换。导航参考坐标系一般可以是患者的身体坐标系或具有相对于患者的固定位置的患者跟踪设备的跟踪器坐标系。患者跟踪设备可例如采用刚性地贴附到患者的跟踪器特征布置的形式。通常固有地在成像设备140提供的图像数据集中定义图像坐标系。
[0073]图2示出了代表计算机实现方法实施例的流程图200,该计算机实现方法实施例用来确定用于手术设备150的导航的参考坐标系与在其中提供成像设备140获取的患者图像数据的图像坐标系之间的转换。
[0074]如流程图200中所示,方法实施例包括第一步骤202,在第一步骤202中,计算设备110经由接口 112从图1A中示出的相机160和相机160A之一接收多个图片数据集。这样接收到的图片数据集可至少临时存储在内部存储设备116中,以由处理器114进行处理。如上所述,在相机160、160A中的一个或二者相对于感兴趣的患者区域移动时,可通过连续视频数据流的形式或者不连续地接收图片数据集。存储设备116中存储的图片数据集因此从患者表面的两个或更多个不同的视角获得。
[0075]在下面的步骤204中,处理器114处理存储设备116中的图片数据集。使用模式识别技术,处理器114首先识别(例如,定位)图片数据集中的多个特征,并确定其在导航参考坐标系中的坐标(例如,以其关键点坐标的形式)。关于此,处理器114还可基于多个识别出的特征来确定导航参考坐标系。处理器114可具有对图片数据集中丈量(span)导航参考坐标系的具体特征的先验知识,或可简单地指定或选择识别出的特征中的特征以丈量导航参考系统。
[0076]在另一步骤206中,处理器114根据特征坐标确定导航参考坐标系中患者表面的形状模型。可通过由假设位于患者皮肤上的特征的特征坐标所定义的点云来表示形状模型。定义形状模型的点云通常可包括30个以上的点,且在某些实施例中可包括几百个点。
[0077]然后,在步骤208中,处理器114确定导航参考坐标系与图像坐标系之间的转换(即,转换参数集)。该转换是使用表面匹配技术确定的,且是一方面在步骤206中确定的形状模型(例如,表面点云)与另一方面由成像设备140获取的患者图像数据所定义的患者表面的形状之间的转换。为此,例如在已经从内部存储设备116和外部存储设备130任一个中检索出患者图像数据之后,处理器114可在图2中未示出的之前步骤或并行步骤中从患者图像数据提取患者表面的形状。一旦步骤208中已经确定坐标系转换,可以使用该转换来相对于导航参考坐标系适当地配准患者图像数据,在导航参考坐标系中,可跟踪患者和手术设备150中的一个或其二者,以向对手术设备150进行导航的手术提供图像引导辅助。
[0078]图3图形化地示出了步骤208中获得的转换,表示为Tl。如图3中所示,转换Tl建立导航参考坐标系302(其也可被称为患者或跟踪器坐标系)与图像坐标系304之间的联系。图像坐标系304在该情况下是三维坐标系,在该三维坐标系中给出了患者头部的手术前获取的图像数据或图像体。
[0079]图3中还示出了具有相关联的相机坐标系306的手持可自由移动配准相机160以及具有相关联的设备坐标系308的手持可自由移动手术设备150。如图3中不出的,具有相关联相机坐标系310的跟踪相机160A刚性地贴附到手术设备150。在备选实施例中,可通过基本固定的方式将跟踪相机160A安装在手术室内。在这样的实施例中,可将单独的工具跟踪设备(未示出)刚性地贴附到手术设备150。
[0080]以上参考图2讨论的配准步骤202至208基于配准相机160获取的图像数据集。另一方面,(初始)配准流程之后的导航流程基于从跟踪相机160A接收的图片数据集。如上所述,在备选实施例中,配准相机160也可以与跟踪相机160A—起或替代跟踪相机160A贴附到手术设备150。在后一情况下,配准相机160也可用于导航(S卩,跟踪)。
[0081]图3中还示出了,通过设备坐标系308与相机坐标系310之间的第二转换T2的转换参数定义跟踪相机160A(或在备选实施例中,相机160)与手术设备150(例如,其顶端)之间的位置关系。可以在制造期间(例如,针对手术设备150和相应相机160/160A之一或其二者的工厂校准步骤中)或紧接在手术流程之前(例如,使用用于对任何手术设备150进行通用适配的就地校准),已经由校准过程导出对应的转换参数。
[0082]可将第二转换T2的转换参数存储为校准数据(例如,存储在图1A中示出的计算设备110的内部存储设备116中或相应相机160、160A的内部存储设备中),以在导航期间使用。这样的校准数据还可描述相机160与其相关联的图像坐标系之间以及相机160A与其相关联的图像坐标系之间的其他转换的转换参数。可被同样存储在内部存储设备116中的对应转换参数可以定义相应相机160、160A的投影模型。该投影模型可被用于确定相应相机160、160A相对于在由该相应相机160、160A提供的图片数据集中识别出的一个或多个特征的位置(关于这一点,例如参见US 2008/0208041 Al)。例如,可结合图2中示出的步骤204并可选地结合基于跟踪相机160A提供的图片数据集对手术设备150导航,将投影模型用于配准。
[0083]可由相应相机制造商或由系统100的分销商提供具体投影模型底层的转换参数。也可利用就地的校准固定装置对其进行估计,或针对具体相机类型进行标准化。在某些实现中,可经由适合的接口由相应相机160、160A自已提供转换参数(例如,取决于当前选择的缩放等级实时地提供)。
[0084]在例如图1A的计算设备110的内部存储设备116中提供来作为校准数据的还有与图3中示出的特征集170有关的信息。这样的信息可包括特征相对位置和/或任何所应用的特征编码方案。基于(例如,相关联