专利名称：利用显微镜的用于外科手术导航及可视化的方法及设备的利记博彩app
技术领域：
本发明涉及基于图像的外科手术导航及可视化系统。
背景技术：
神经外科手术通常采用两种操作方式完成宏观模式和微观模式。 前一种方式通常利用裸眼来观察外科手术区，而后一种方式是利用显 微镜来观察外科手术区。在每一种操作模式中，基于图像的导航及可 视化系统已经被成功应用于辅助医师完成各种精细的外科手术程序。
在基于图像的导航及可视化中，通常在外科手术之前或期间，由 磁共振成像(MRI)、计算机断层扫描(CT)、以及多种其他技术产 生描述病人的内部解剖结构的图像。根据图像产生病人的三维(3D) 表示。该表示可采用多种形式，从容积图像和由图像重建的病人的各 种解剖结构的3D模型，到为说明外科手术规划而增加的制图、注释和 测量，以及它们的组合。在外科手术中，通过图像配准，将3D表示与 病人匹配。通过将内部解剖的图像与实际的外科手术区结合，导航系 统能够改进外科医生在手术中定位病人体内的不同的解剖特征的能 力。
在宏观导航中，用户(外科医生)持有探测器，由跟踪设备跟踪 该探测器。当这种探测器被引入外科手术区中时，表示为图标的探测 器末端的位置被绘制在病人的3D表示的视图上。导航帮助外科医生来
决定手术的进入点、理解朝着目标的解剖结构以及沿着外科手术路径 避开关键结构。
美国已公布的No. 20050015005专利申请描述了改良的导航系统， 其中，探测器包括微型摄像机。该系统通过观察覆盖在病人的3D表示 上的由微型摄像机获得的实时图像，来支持在给定手术区内的增强现 实的增强的导航。
在显微外科手术中，手术显微镜通常被用来提供对外科医生正在 其中操作的外科手术区的放大。为了导航目的可跟踪显微镜，并且其 焦点通常可以被显示在3D表示中来代替探测器末端。
为了避免将视线从手术现场转移到监视器，"图像注入(image injection)"显微镜已被开发，其中，由计算机工作站产生的导航图像 被叠加到显微镜的光学图像上。这种叠加要求通过显微镜看到的图像 与叠加的图像数据在几何上一致。
在基于显微镜的导航系统中叠放的图像由叠加到光学图像平面上 的二维轮廓组成。为了得到三维的效果，外科医生必须在不同的图像 平面间滚屏并且在头脑中将注入的轮廓合并为三维模型。
这种传统技术允许外科医生在宏观外科手术以及显微外科手术中 在外科手术区内进行导航。然后，它们还有如下显著的缺点。
首先，在显微外科手术中，通常外科医生希望能够在基于显微镜 的导航和可视化及基于探测器的导航和可视化之间进行切换。为了实 现该目标，外科医生通常必须将显微镜移高并且/或者移开外科手术区， 然后将导航探测器移入外科手术区中，严重妨碍了正常的外科手术流程。
其次，为使得外科医生能够在微结构例如神经和血管上完成精密 的程序，在手术中，通常将显微镜的放大倍率设置在较高水平。
尽管这种高放大倍率确实允许对这种微结构的可视化，但它也经 常局限了视场。由于此后被叠加的虚拟图像具有相同的放大比率，因 此虚拟对象的显示也受到限制。这可导致外科医生不能明确的识别出 他正通过显微镜观察的区域在病人身体上的实际位置的状况。简单地 说，他能够观察到的区域太小。另外，覆盖图像也可能不提供大量有 用的信息，因为手术区周围的解剖结构在视场之外，并因此不可见。
此外，在这种环境下，外科医生不能从不同的视点观察其关心的3D解 剖结构。
第三，在显微外科手术中，通常外科医生希望完全知道外科手术 区周围的所有结构。在传统系统中，导航图像被叠加到显微镜的光学 图像上。尽管这种技术具有外科医生不需要将视线移开显微镜就能够 观察导航视图的优势，但其缺点是只能够显示导航视图中有限的信息， 以及该显示可能严重的阻碍外科医生的光学视图，并且图像注入增加 了系统的成本。
因此，现有技术中需要外科手术导航及可视化的方法和系统，其 在显微外科手术导航中降低为了导航而移离外科手术区的放大视图的 需求。
现有技术中还进一步需要外科手术成像方法和系统，其能够提供
集成的增强现实的增强的微观和宏观的导航及可视化，并且能够支持 在二者之间的无缝且有效率的切换。
发明内容
本发明涉及一种改良的用于宏观和微观外科手术导航及可视化的 系统和方法。在本发明的示例性实施例中，集成系统可包括计算机， 其存储病人内部解剖的三维表示；显示器；探测器和手术显微镜。在 本发明的示例性实施例中，基准标记可被附着于探测器和显微镜上， 并且该系统还可包括能够跟踪探测器和显微镜的每个的3D位置和朝向 的跟踪系统。在本发明的示例性实施例中，系统可包括用来检测显微 镜的成像参数变化的装置，其中参数例如放大倍率和对焦，其根据用 户调节及显微镜运转而发生。显微镜可具有例如相对于附着于显微镜 上的标记的焦点位置，而且其可以例如在显微镜对焦的全范围内进行 校准。在本发明的示例性实施例中，显微镜的位置可从关于显微镜的 跟踪数据中获得，而且焦距可从例如与显微镜集成在一起的传感器获 得。此外，探测器的末端位置也可从探测器上的基准标记的跟踪数据 获得，并且，可提供用于将病人解剖数据的虚拟表示与来自于探测器 和显微镜的每个上的一个或者多个摄像机的真实图像进行配准的装 置。在本发明的示例性实施例中，可视化及导航图像可由显微镜和探 测器的每个提供，并且当二者都激活时，系统可根据已定义的规则， 智能显示或者微观的或者宏观的(基于探测器)真实的、虚拟的或增 强的图像。
图1A-1C示出了根据本发明的示例性实施例的增强现实图像的数 字变焦；
图1D示出了根据本发明的示例性实施例的示例性导航系统； 图2显示了根据本发明的示例性实施例的示例性病人头部的真实 图像的示意图3显示了根据本发明的示例性实施例的肿瘤及血管的虚拟图像
的示意图4显示了根据本发明的示例性实施例的合成(增强现实)图像的 示意图5显示了根据本发明的示例性实施例的放大的增强现实视图的 示意图6显示了根据本发明的示例性实施例的放大的显微视图的示意
图7显示了根据本发明的示例性实施例的数字推远(放大)的显微 视图的示意图8显示了根据本发明的示例性实施例的来自探测器的示例性导 航视图的示意图9显示了根据本发明的示例性实施例的来自外科手术显微镜的 示例性导航视图10显示了根据本发明的示例性实施例的数字拉近后的图9的示 例性视图；以及
图ll显示了根据本发明的示例性实施例的来自示例性探测器的示 例性增强现实导航视图。
具体实施例方式
在本发明的示例性实施例中，可以顺畅地提供和集成在宏观和微 观外科手术中的导航及可视化。因此，在该示例性实施例中，为了在 显微外科手术期间实现宏观导航或可视化，不需要使外科手术显微镜 脱离或移开用于导航或可视化的外科手术区。此外，在本发明的示例 性实施例中，可提供放大的现实增强的导航系统，该系统可例如视情 况为外科医生提供病人的三维(3D)解剖结构的微观和宏观的导航信 息，而不需要使显微镜脱离或移开外科手术区。
在本发明的示例性实施例中，例如，摄像机可刚性附着于显微镜 上。计算机可例如存储具有与相应的实际摄像机相同的成像属性和位 姿(位置和朝向)的虚拟显微摄像机模型，所述的成像属性包括焦距、
视场和失真参数、变焦及对焦。在本发明的示例性实施例中，可以提 供装置按如下方式来产生用于显微导航的增强视图响应来自跟l宗设 备的显微镜的位置和朝向数据以及例如利用集成传感器从显微镜本身 得到的放大倍率和焦距数据，利用依照相应虚拟显微摄像机模型的病 人3D解剖结构的虚拟绘制图来覆盖来自显微镜上的视情况而定单个摄 像机或者多个摄像机的视频图像。
在本发明的示例性实施例中，还可有与探测器集成在一起的摄f象 机，例如，在Camera國probe Application中所描述的。如在Camera-probe Application中所述，可提供具有与实际摄像机相同的成像属性和位姿 (位置和朝向)的摄像机的虚拟模型，所述的成像属性包括焦距、年见 场以及失真参数。此外，可以提供装置按如下方式来产生用于宏X见导 航的增强视图响应来自跟踪设备的探测器的位置和朝向数据，》过 利用病人3D解剖结构的绘制图来覆盖来自探测器中的摄像机的视z频图
像，其中，绘制图由计算机根据虚拟摄像机模型产生。
在本发明的示例性实施例中，可对增强的显微视图进行数字变焦， 因此不需要改变显微镜的位置和设置(放大倍率和焦距)就可得至U显 微导航的放大视图。在当前设置下的显微镜的光学视场之外的解咅IJ结 构可因此以这种推远縮小显示的方式显示只在显示中心部分地由来 自显微镜的摄像机的实时视频图像覆盖。此外，在本发明的示例'性实 施例中，用户为得到宏观的导航视图不需要改变显微镜的设置或将其 移开。用户只需要移动探测器，该探测器可从任意视点对外科手;^:区 成像。
如上所述，显微图像可被数字变焦。这在下面描述。放大f咅率的 改变或者AR图像的拉近放大通过改变虚拟摄像机的视场(也就是其丰见 锥形状)连同真实图像以及确保视频图像平面沿着虚拟摄像机的,见锥 对齐来实现。参考图1A-1C，说明了这种构思。注意，原图是彩色的， 而且下面的描述指涉这些颜色。然而，即使在灰度图像中所指涉对象 能够被容易地区分。
图1A示出了虚拟摄像机(左图中左侧的红色轴线)；及虚拟摄 像机的视锥，由连接到远平面(深灰色；左图的右边)的近平面(深 蓝色；左图的左侧)表示；连同虚拟对象。
视频图像(粉红色的矩形)的图像中心与视锥的中心对齐。在这 种设置中，例如，视频图像的尺寸设置成与近平面尺寸相同。因此， 整个视频图像覆盖了屏幕视窗(或者视口)，从而没有縮放效果。
在图1B中，视锥已改变，使得虚拟对象被以放大或拉近的效果来 投影。视锥中的这种改变导致了视频图像在屏幕空间中可见的部分的 改变。由于现在只有视频图像的一些部分在投影平面(近平面)内并 且覆盖屏幕视窗，所以在视频图像中也有拉近放大的效果。
在图1C中，视锥被改变，使得虚拟对象被以推远縮小的效果(看 起来更小)来投影。视锥的这种改变导致了在投影平面(近平面)内 的整个视频图像只覆盖了屏幕视窗的一部分，因此在屏幕视窗中视频 图像看起来更小。
在本发明的示例性实施例中，可通过改变产生透视投影的虚拟摄 像机的透视矩阵的参数来实现视锥的改变。特别，在OpenGL环境中定 义的4X4矩阵的透视投影矩阵，例如，可采用如下参数来定义
ProjMat
= 2 * Near / (Right - Lest) * zoomFa"or
ProjMat [2] = (Right + Left) / (Right - Left)
ProjMat [5] = 2 * Near / (Top — Bottom) * zoomFactor
ProjMat [6] = (Top + Bottom) / (Top — Bottom)
ProjMat [10] = - (Far + Near) / (Far - Near)
ProjMat [11] = -2 * Far * Near / (Far _ Near)
ProjMat [14] = -1
ProjMat [15] = 0
其中，元素1、 3、 4、 7、 8、 9、 12及13的值为0 (按照从左到 右、从上到下的规则读取)。
参数Left、 Right、 Top、 Bottom是基于固有相机校准参数的显微 镜模型连同显微镜的对焦和变焦设置的函数。参数Near及Far可以例 如设置为常数值。
参数zoom/"ctor是决定拉近放大或推远缩小效果的系数。当其值 小于1时，效果为推远縮小，而当其值大于1时，效果是拉近放大。 当其值等于l时，没有縮放效果。
在本发明的示例性实施例中，视频图像可被显示为带有正交投影 的纹理图。在拉近放大或推远縮小的过程中，为了使得能够进行视频 图像中的虚拟对象的正确且一致的覆盖，可采用如下参数来调节 OpenGL视口
Glfloat cx = fabs (Left) / (Right — Left)
Glfloat cy = fabs (Bottom) / (Top - Bottom)
gl Viewport ( (1 - zoo附7^c/or) * screen Width * cx + originX， (1 一zoowi^"or) * screenHeight * cy + originY， screen Width * zoomFac o厂, screenHeight * zoomFa"o厂》
基本上，利用zoomFa"or调整视窗的尺寸，并且根据mow/^"w、 视频图像的中心(cx和cy)以及OpenGL窗口的原点来移动视口的原 点，从而可见的视频图像被虚拟图像正确地覆盖。
在本发明的示例性实施例中，在显微外科手术中，探测器可被用 来从变化的朝向和位置获得导航图像。可以从探测器照相机的视点来
显示外科手术区周围的解剖结构连同显微镜的焦点和光轴。因此，来 自不同观察点的外科手术区周围的解剖结构可例如呈现给外科医生而 不需要改变显微镜。
参考图1D，显示了根据本发明的示例性实施例的在执行神经外科 手术程序中使用的外科手术导航系统。在该图中，外科手术是微观模
式。手术显微镜115包括相机105，该相机可例如为彩色照相机，安装 在显微镜的成像端口上并且基准标记110可安装到该相机上。显微镜 115例如可包括内置的传感器以检测作为显微镜调节的结果而发生的 显微镜的成像参数的变化，其中，所述的成像参数包括显微镜放大倍 率和焦距。这种传感器例如可以是编码器。对焦和变焦的调节包括镜 头的机械移动，并且这种编码器例如可以测量这种移动。可从显微镜
的串行端口获得参数。数据格式例如可为这样的形式变焦+120;
对焦362。显微镜还可包括光轴111以及焦点112，该焦点112被定
义为显微镜的光轴与聚焦平面的交点。聚焦平面与光轴是垂直的。在 聚焦平面上得到最清晰的图像。聚焦平面随焦距的调节而改变。在本 发明的示例性实施例中，可以在显微镜聚焦的全范围中校准焦点相对
于基准标记110的位置，因此该位置可根据跟踪数据来描述。
在图1D中，外科医生正通过显微镜观察，并且沿显微镜的光路有 病人的头部152。示例病人有肿瘤155 (为手术的目标对象)和在肿瘤 155附近的血管结构150 (应该在手术中避开)。位置跟踪系统100 (例 如，NDI Polaris)可接收命令并且能够通过无线方式或通过与计算机相 连的电缆将跟踪数据发送给计算机120。
计算机120可在导航前，例如，在术前扫描以及将这种扫描数据 处理为包括多个分割及规划数据的体数据集之后，将肿瘤155及血管 结构120的3D模型125存储在计算机的存储器中。探测器140例如可 包括摄像机135，并且前端可附着有带有末端136的指示器。探测器 140可放置在外科医生容易拿到的位置，以方便在外科手术中的使用。
探测器例如可以是Camera-probe Application所公开的类型。位置跟踪 系统100可为计算机提供显微镜115的连续实时跟踪数据。当探测器 140被引入外科手术区时，位置跟踪系统100还可为计算机提供探测器 140的连续实时跟踪数据。计算机可连接到(i)显示器130， (ii)显微镜 115的相机和传感器，以及(iii)探测器的微型摄像机。系统可进一步包 括软件以根据跟踪数据检测显微镜及探测器的位置和朝向数据，以及 从这些位置数据自动地选择一个(探测器或者显微镜)作为用于导航 和/或可视化的图像的基础。这种自动选择可依照定义的优先规则或者 可能适用于给定应用以及给定用户偏好的各种算法。
例如，给定的用户可能偏爱通过宏观视图来弄清他的大体方位， 然后当他接近精细的结构时使用显微图像。如果手术包括多个阶段， 可以容易的看出，这样的外科医生将通过使用探测器然后是显微镜再 然后是探测器再然后是显微镜来进行循环。对于这样的外科医生，系 统能够实现在手术的初始期，主要工具是探测器，然后一旦使用了 显微镜则显微镜是主要的工具，直到选择了新的显微镜位置，此时在 另外一个阶段的开始再次使用探测器。因此，系统能够在显示器上产 生合成图像，该合成图像与来自此时按优先顺序的工具的视图相对应。 可实现许多替代的规则，并且外科医生总是通过起动开关或语音控制 接口来覆盖(override)这种优先级设置。
再参考图1D，计算机120能够接收通过显微摄像机105获得的外 科手术现场的实时视频图像。显微摄像机105例如可具有显微虚拟摄 像机模型，可提供该模型并存储在计算机120中。
在本发明的示例性实施例中，显微虚拟摄像机模型可包括一组内 参数和外参数，其中，所述内参数可包括例如焦距、图像中心及失真， 而所述外参数可包括例如虚拟显微摄像机模型相对于参考坐标系的位 置和朝向。
在本发明的示例性实施例中，参考坐标系例如可以是刚性连接在
显微镜115上的标记110的坐标系。
在本发明的示例性实施例中，显微摄像机模型的内参数和外参数 可根据显微镜的放大倍率和焦距的改变而改变。
在根据本发明的示例性实施例中，显微摄像机模型的内参数和外
参数可被描述为显微镜放大倍率和焦距的双变量多项式函数。例如，
参数P ( P表示内参数和外参数之一)可被建模为显微镜的焦距值(f)
和变焦值(z)的q阶双变量多项式函数，如下 / (z,/)=》m zm/" (m,n>0; ra+n《q)
为了解出系数am，n，显微镜可被校准为跨显微镜对焦和变焦全范围 的若干固定摄像机(具有固定焦距)。在足够多的固定摄像机校准之 后，在不同的变焦和对焦设置下，可得到一组校准数据。然后可例如 通过双变量多项式的拟合来求解多项式函数的系数am,n。
在增强现实显微镜系统中的示例型显微镜的示例型显微摄像机模 型可如下表示 内参数
图像尺寸Nx = 768,Ny= 576 图像中心Cx = 384， Cy = 288
焦距
fx = -0.000000008*F*ZA3 + (-0.000004613)*F*ZA2 + (-0.001289058)*F*Z + (-0.022283345)*F + 0.000039765*ZA3 + 0.042230380*ZA2 + 21.010557606*Z + 4970.548674307
fy = -0.000000010*F*ZA3 + (>0.000001564)*F*ZA2 + (-0.001287695)*F*Z + (-0.020680795)*F + 0.000034475*ZA3 + 0.040391899*ZA2 + 20.227847227S + 4767.03789957
外参数Owcx = 0.000008797*F + (-0.058476064) Owcy = -0.000016119*F + (-0.781894036) Owcz = -0.000004200*F + (-0.078145268)
Twcx = 0.000000000*FA2*Z + (-0.000000747)*FA2 + (-0.000002558)*F*Z + (-0.006475870)*F + 0.000141871*Z + 0.271534556
Twcy = -0.000000001*FA2*Z + (-0.000001826)*FA2 + (0.000002707)*F*Z + (-0.004741056)*F + (-0.003616348)*Z + 5.606256436
Twcz = 0.000000302*FA2*Z + 0.000014187*FA2 + (-0.000088499)*F*Z + (-0.018100412)*F + 0.061825291*Z + 422.480480324
其中，Owcx、 Owcy、 Owcz是旋转向量，通过该旋转向量可计算 从显微摄像机到参考坐标系的旋转矩阵，而Twcx、 Twcy、 Twcz是在 x、 y及z上的变换，并且由其可构建到参考坐标系的变换矩阵。
因此，对显微镜的任何给出的变焦值和对焦值，可创建相应的虚 拟显微摄像机并可用来产生虚拟对象的虚拟图像。
如图1D所示，计算机120接收显微镜当前的放大倍率及对焦值。 因此可根据存储的显微摄像机模型来计算虚拟显微摄像机的内外参 数。可采用显微镜上标记的跟踪数据来表示虚拟显微摄像机的在位置 跟踪系统中的位置和朝向。
如图1D所示，显微镜具有光轴111和焦点112。在根据本发明的 示例性实施例中，焦点位置根据显微镜对焦的改变相对于参考标记而 改变。
在根据本发明的示例性实施例中，可在导航之前校准显微镜焦点
相对于基准标记的位置。下面给出来自增强现实显微镜系统的示例性 显微镜的焦点的示例性校准结果。
FocusPoint(x， y， z) = (Fpx， Fpy， Fpz),其中 Fpx = -0.000001113*FA2 + 0.001109120*F + 116.090108990; Fpy = 0.000002183*FA2 + (-0.000711078)*F + (-27.066366422); Fpz = -0.000073468*FA2 + (-0.154217215)*F + (-369.813473763);
以及
F表示对焦。
焦点的校准结果可存储在计算机中。因此，对于显微镜的任何给 定的对焦值，可由基准标记的跟踪数据来表示焦点的位置。
在根据本发明的示例性实施例中，光轴例如可以为连接具有不同 显微镜对焦值(focal value)的焦点的连线。
在本发明的示例性实施例中，可使用公知的图像配准技术将病人 的图像数据映射到病人。例如， 一种这样的图像配准技术:使用病人身 体表面上的若干解剖特征(至少3个)，通过把在扫描图像中识别和 定位的这些解剖特征的位置与使用跟踪探测器确定的在病人身上的这 些解剖特征的相应位置进行匹配，从而将病人的图像数据映射到病人。 通过把由成像数据生成的病人的身体部分的表面映射到在手术台上产 生的相应身体部分的表面数据，可以进一步提高图像配准的准确度。 例如，这种方法在2005年7月20日提交的名为"Systems and Methods For Mapping A Virtual Model Of An Object To The Object ("Multipoint Registration")"的国际申请PCT/SG2005/00224中进行了详细的描述。 在该PCT申请中描述的图像配准方法可以被直接应用于这里的示例性 实施例中的显微导航中。图像配准的目的是使得病人的成像数据与病 人匹配，而且它可以例如可在显微镜未介入之前的宏观阶段完成，使 得可在显微导航中使用图像配准的结果。图像配准之后，病人的图像
数据，包括所有分割的对象及在外科手术规划时产生的与成像数据相
关联的其他对象，被配准到实际的病人。例如，在图1D中，存储在计 算机120中的肿瘤和血管的模型与病人头部中的实际的肿瘤155和血 管150配准。
病人头部152的位置和朝向以及显微摄像机105的位置和朝向可 被变换到共同的坐标系，例如位置跟踪系统的坐标系。头部152和显 微摄像机105之间的相对位置及朝向因此可使用位置跟踪系统100来 动态地确定。
如图2所示，在本发明的示例性实施例中，显微摄像机可捕捉病 人头部152的视频图像。肿瘤155和血管150在视频图像中可能是不 可见的(由于头部中尚封闭的部分可能在视觉上阻碍了它们)。
如图3所示，在本发明的示例性实施例中，计算机能够基于虚拟 显微摄像机的内外参数以及所存储的肿瘤和血管模型产生肿瘤155和 血管150的虚拟图像。
如图4所示，在本发明的示例性实施例中，可以将真实图像201 和虚拟图像301组合在一起来产生增强现实图像。增强现实图像然后 可以例如被显示在显示设备130上。显示器130可以是监视器、HMD、 为了 "图像注入"而安装在显微镜内部的显示器等。
肿瘤和血管的3D模型可由病人的三维(3D)图像产生。例如， 来自病人头部的MRI或CT图像。在根据本发明的示例性实施例中， 可采用由Volume Interaction Pte公司提供的硬件和软件例如运行 RadioDexter软件的Dextroscope系统来产生这样的数据。
在根据本发明的示例性实施例中，增强现实图像可采用多种方式 显示。真实图像可以被覆盖在虚拟图像上(真实图像在虚拟图像之上)，
或者被虚拟图像所覆盖(虚拟图像在真实图像之上)。可改变覆盖图 像的透明度，这样能够以多种方式显示增强现实图像只显示虚拟图 像、只显示真实图像、或者显示合成图像。与此同时，例如，根据焦 点位置改变的3D模型的轴面、冠状面及矢状面可被显示在三个单独的 窗口中。
在根据本发明的示例性实施例中，在显微导航中的增强现实可以 采用在整个放大倍率和对焦全范围内的多种显微镜设置。
图5显示了采用不同(相对于图3和图4更大的)放大倍率设置 的病人头部的示例性增强现实视图。
在根据本发明的示例性实施例中，可采用数字变焦来实际改变增 强现实图像的放大倍率。变焦比率可以是用户的输入。默认变焦的视 场可以例如居中于窗口中心处。
图6显示了通过按更高放大倍率的显微镜所产生的只包括外科手 术区的导航图的示例性虚拟图像。外科医生正在肿瘤上进行手术，所 以在显微镜的光学图像中，肿瘤的一部分是可见的。然而，大部分肿 瘤和全部血管被隐藏在暴露的表面下或者不在显微镜的视场之内，所 以外科医生不能直接地看到。由计算机产生的肿瘤和血管的绘制图可 被显示给外科医生，但是由于放大的缘故，只能显示肿瘤和血管的一 小部分。
在不改变显微镜放大倍率和位置的情况下了解在显微镜视场之外 的肿瘤和血管的精确的3D结构及位置是至关紧要的。因此，图7显示 了显微镜的实际放大的图像，其中肿瘤和血管的整个结构是可见的。 在本发明的示例性实施例中，这可通过数字变焦来实现。数字变焦实 际上改变虚拟显微摄像机模型的视场，使得可以从相同的视点但是不 同的视场对虚拟摄像机视场内的3D模型进行绘制。数字变焦使得外科
医生能够不改变显微镜的实际设置就能够观察显微镜的视场之外。在 本发明的示例性实施例中，视频信号也可被变焦，因此，被变焦的图 像可具有视频(真实)图像、虚拟图像或者二者的具有不同透明度的
合并。图7是相对于图6的视图的推远缩小，但相对于图5当然还有 图3是明显更大的放大(拉近放大)。因此，用户可在给出的程序或 者手术过程中频繁地改变变焦值，重复地放大和縮小。
在神经外科手术实施情况中，外科医生可能例如使用探测器140 来进行图像配准并通过利用探测器进行导航来选择进入点。然后引进 显微镜用于进行精细的导航和引导。在外科手术过程中，由于通过移 动探测器140进行导航比移动显微镜进行导航更容易操纵，外科医生 可能不时需要使用探测器140进行导航。在这种示例性应用情况中， 系统支持在两种导航方法之间进行快速且平稳的切换。
图8从探测器内部的微型摄像机的视点示出了图7的示例性情景。 显微镜的焦点及光路可与肿瘤及血管一起显示，表明显微镜、外科手 术区以及虚拟对象(血管和肿瘤)的3D关系。
图9-11是本发明的示例性实施例的实际屏幕截图。图9显示了根 据本发明的示例性实施例的来自外科手术显微镜的示例性导航视图。
图10显示了根据本发明的示例性实施例采用与图7有关的上述技 术进行数字推远縮小后图9的示例图。
图11显示了根据本发明的示例性实施例的来自示例性探测器的 示例性增强现实导航图像，有些与图8中所示一致，没有显微镜的光 路和焦点。
在根据本发明的示例性实施例中，可自动执行在显微镜与探测器 之间的选择。自动选择可基于跟踪数据(也就是，是跟踪数据的函数)。
在根据本发明的示例性实施例中，可通过对探测器设置较高的优先级 来实现自动选择。如果只有显微镜的跟踪数据是可利用的，那么显微
镜将被选择作为导航工具并且其AR图像将被显示。如果显微镜和探测 器都被跟踪，那么探测器将被选择并且其AR图像将被显示。在这种情 况下，例如，显微镜可被忽略。当探测器不被跟踪时，显微镜可例如 被自动地选择用来导航。由此视频图像也可被自动地改变。
本发明的系统、方法和装置因此使得用户能够在宏观外科手术和 显微外科手术中观察"正常视场之外"。这让用户总是知道他或她距 离高度敏感或重要的隐藏结构究竟有多近。
权利要求
1.一种集成化外科手术导航及可视化系统，包括显微镜；附着于所述显微镜的至少一个摄像机；计算机；安装在所述计算机中的显微摄像机模型；探测器；附着于所述探测器的摄像机；存储在所述计算机中的探测器摄像机模型；用于确定所述探测器及所述显微镜的位姿(位置和朝向)的跟踪设备；预存在所述计算机中的三维病人图像数据；以及显示器；其中，所述计算机自动选择与所述探测器或所述显微镜相关联的位姿数据及视频图像用于外科手术导航。
2. 如权利要求l所述的系统，其中，所述的自动选择基于跟踪数 据和定义的探测器视图和显微镜视图的相关优先算法。
3. 如权利要求3所述的系统，其中，所述显微镜的放大倍率及对 焦是可调节的，而且其中传感器检测放大倍率值和对焦的值并将该数 据传递给所述计算机。
4. 如权利要求l所述的系统，其中，具有与附着于所述显微镜的 摄像机相匹配的成像属性、位置及朝向的虚拟显微摄像机可根据所述 显微摄像机模型、显微镜跟踪数据及显微镜的变焦值和对焦值产生。
5. 如权利要求l所述的系统，其中，所述显微镜具有焦点，焦点 相对于病人的位置可根据所述显微镜的对焦值和所述显微镜的跟踪数据来示出。
6. 如权利要求4所述的系统，其中，来自附着于所述显微镜的摄 像机的视频图像通过虚拟图像来增强，所述虚拟图像由所述计算机根 据所述虚拟显微摄像机从所述三维病人图像数据产生，并且在显示器 上显示合成图像。
7. 如权利要求l所述的系统，其中，具有与附着于所述探测器上 的摄像机相匹配的成像属性、位置和朝向的虚拟探测器摄像机可根据 探测器摄像机模型和探测器跟踪数据来产生。
8. 如权利要求4所述的系统，其中，来自附着于所述探测器上的 摄像机的视频图像通过所述虚拟图像来增强，所述虚拟图像由所述计 算机根据所述虚拟探测器摄像机从所述三维病人图像数据产生，并且 在所述显示器上显示合成图像。
9. 如权利要求2所述的系统，其中，用户可以通过起动物理的或 声音的接口来控制所述选择。
10. —种外科手术导航及可视化的方法，包括获取来自病人的 三维图像数据；将所述三维图像数据存储在数据处理器中；将所述三 维图像数据与所述病人配准；从附着于显微镜上的摄像机获取该病人 的实时视频图像；跟踪所述显微镜的位置和朝向；接收所述显微镜的 变焦值和对焦值；根据显微摄像机模型、跟踪数据、变焦值和对焦值 及所述显微镜来建造虚拟显微摄像机；产生所述病人的三维图像数据 的虚拟图像；通过在所述虚拟图像上叠加所述实时视频图像，来产生 增强现实图像；以及在一个或多个显示器上显示所述增强现实图像。
11. 如权利要求10所述的方法，其中，所述增强现实图像可被数 字变焦，而不需要改变所述显微镜的位置、变焦值或者对焦值。
12. 如权利要求ll所述的方法，其中，在所述数字变焦的增强现 实图像中，将真实图像和虚拟图像几何上相互对齐。
13. 如权利要求12所述的方法，其中，所述增强现实图像被推远， 产生并显示在所述真实图像的视场之外的病人的三维图像数据的虚拟 图像；部分覆盖在来自所述摄像机的所述真实图像上。
14. 如权利要求13所述的方法，包括为自动选择附着有摄像机的 探测器来代替用于外科手术导航的所述显微镜。
15. 如权利要求14所述的方法，包括从附着于所述探测器上的 摄像机获得病人的实时视频图像；跟踪所述探测器的位置和朝向；根 据探测器摄像机模型和跟踪数据来建造虚拟探测器摄像机；根据所述 虚拟探测器摄像机产生病人的三维图像数据的虚拟图像；通过在所述 虚拟图像上叠加所述实时视频图像，来产生增强现实图像。
16. 如权利要求15所述的方法，其中，可对所述增强现实图像进 行数字变焦，而不需要改变所述探测器的位置。
17. 如权利要求16所述的方法，包括从附着于所述探测器上的摄 像机获取病人的实时视频图像，同时所述显微镜保持在外科手术环境 中；根据所述虚拟探测器摄像机产生焦点、光轴及病人的三维图像数 据的虚拟图像；通过在所述虚拟图像上叠加所述实时视频图像，来产 生增强现实图像。
18. 如权利要求10所述的方法，包括在显微外科手术期间对所述 探测器进行定位从而根据变化的朝向和位置获得导航视图。
19. 如权利要求18所述的方法，其中，外科手术区周围的解剖结 构连同所述显微镜的焦点和光轴一起可从所述探测器摄像机的视点显不。
全文摘要
本发明涉及一种改进的用于宏观和微观外科手术导航及可视化的系统和方法。在本发明的示例性实施例中，集成化系统可包括存储病人内部解剖三维表示的计算机、显示器、探测器及手术显微镜。在本发明的示例性实施例中，可将基准标记附在探测器和显微镜上，而且系统还可包括能够跟踪探测器和显微镜的每个的3D位置及朝向的跟踪系统。在本发明的示例性实施例中，系统可包括用于检测显微镜的成像参数变化的装置，例如放大倍率和焦距，根据用户调节及显微镜运转而发生变化。显微镜可具有例如相对于附在显微镜上的标记的焦点位置，以及可例如在显微镜焦距的全范围内进行校准。在本发明的示例性实施例中，可从与显微镜有关的跟踪数据获得显微镜的位置，而且焦距可从例如与显微镜集成在一起的传感器获得。此外，也可从附在探测器上的基准标记的跟踪数据获得探测器末端的位置，并且提供用于将病人解剖数据的虚拟表示与来自于探测器和显微镜的一个或多个摄像机的真实图像进行配准的装置。在本发明的示例性实施例中，可视化及导航可由显微镜和探测器的每个提供，并且当二者都激活时，系统可根据定义的规则来智能显示微观的或宏观的(基于探测器的)增强图像。
文档编号A61B19/00GK101170961SQ200680014960
公开日2008年4月30日 申请日期2006年3月13日 优先权日2005年3月11日
发明者库苏马·阿古桑托, 朱传贵 申请人:布拉科成像S.P.A.公司