用于执行三维虚拟检查的系统和方法

专利名称：用于执行三维虚拟检查的系统和方法
技术领域：
本发明涉及运用计划和导航(planned and guided navigation)技术执行基于体积的三维虚拟检查用的系统和方法。这样一类应用的一种是作内窥镜。
背景技术：
在整个世界范围内，结肠癌一直是导致死亡的一个重要原因。在人体结肠内一开始表现为息肉的癌性肿瘤的早期检测可以大大提高病人康复的机会。当前，有两种常规的方法来检测生长在病人结肠内的息肉或其它物质(masses)。第一种方法是结肠镜检测法，它运用被称为结肠镜的柔性光纤管通过以该镜进入人体直肠来目检结肠。医生可以操纵管以搜索在结肠中的任何异常肿瘤。结肠镜虽然可靠，但是昂贵又很费时，而且对于病人而言是具有侵害性、不舒服的痛苦的过程。
第二种检测技术是运用钡餐(barium enema)和对结肠进行两维X光造影。用钡餐使结肠覆以钡，并摄下两维X光影象来获得结肠的图像。然而，钡餐总是不能提供整个结肠的图像、需要昂贵的预处理，而耐心的操作常常与执行该操作时的操作者有关、使病人暴露在过度的辐射中且不如结肠镜灵敏。由于上述常规实践中的不足，因而需要一种更加可靠、较少侵害和廉价的方法来检测结肠息肉。也需要一种检查其它人体器官(诸如，肺)中的一些物质的可靠、省钱且能减少病人痛苦的方法。
当前采用可获得医学造影的装置(诸如，经计算的断层摄影术(tomography)和MRI(磁谐振造影(resonance imaging))来进行对人体器官的两维(“2D”)观测已广泛用于病人的诊断。通过在由扫描器产生的两维图片之间的堆积和插入，可以形成三维图像。由于它对人体侵害少，而且易于进行数据操纵，故以三维空间造影器官和观测它的体积将是有利的。然而，必须适当地完成对三维体积图像的探测，以便充分利用事实上从内部观测器官的优点。
当观测环境的三维(“3D”)体积的虚拟图像时，必须用功能模型来探测虚拟空间。一种可行的模型是虚拟摄像机，对于观测者而言它可被看作是探测虚拟空间的参考点。以前研究了在一般3D虚拟环境范围内有关航行方面的摄像机控制。存在两种供虚拟空间航行用的传统摄像机控制。第一种使操作者完全控制摄像机，它允许操作者以不同的位置和取向来操纵摄像机以获得所需的视野。操作者将实际上领航摄像机。这允许操作者去探测感兴趣的特殊部分，而忽略其它部分。然而，在大的范围内完成对摄像机的控制将是冗长而又令人厌倦的，而且操作者将不可能看到在探测开始到结束期间所有重要的特征。摄像机也可能容易在遥远区域中“迷失”或者由于不注意的操作者或者许多不可预计的障碍物而碰壁失败。
摄像机控制的第二种技术是计划航行法，它指定摄像机沿着一预定路径摄像，而且不可由操作者改变它。这类似于具有一受聘的“自动导航员(autopilot)”。这允许操作者集中于正被观测中的虚拟空间，而不必去担心会驶入待查环境之壁。然而，这第二种技术不能使观测等灵活地改变航线或研究沿着航迹所观测到的感兴趣区域。
将需要运用上述两种导航行技术的组合以实现两种技术的优点，同时使它们各自的缺点减至最少。为了实现彻底无侵害、无痛苦的检查，应用灵活的航行技术于虚拟的3D空间中被表示为人体或动物器官的检查将是所希望的。所希航行技术还允许由操作者灵活地对在3D空间中的虚拟器官的进行全面检查，同时保证对整个器官和其周围进行通畅的航迹和全面的检查。此外，通过运用使观测器官所需的计算量减至最小的技术使实时显示对器官的探测成为可能也将是所希望的。所希望的技术应可同样适用于探测任何虚拟的物体。
发明概述本发明运用体积目视技术产生诸如人体器官一类物体的三维目视图像，并运用导航系统探测虚拟图像，其中所述导航系统允许操作者沿着预先定义的航迹行进并将位置和视角调节至预先定义航迹以外的图像中感兴趣的特定部分以便识别在器官中的息肉、囊肿或其它异常特征。
本发明对于物体进行三维虚拟检查的技术包括产生以体积元(in volumnelements)存在的物体的分离表示、限定待检查物体的部分、在虚拟物体中执行航行操作并在航行期间实时显示虚拟物体。
本发明作为应用于病人器官的三维虚拟检查的技术包括对扫描器官的准备，如果需要的话，扫描该器官并把数据转换成体积元、限定待查器官的部分、在虚拟器官中执行导航操作并在导航期间实时显示虚拟器官。
本发明的一个目的在于，利用系统和方法来对器官执行相对痛苦较少、廉价和不侵害的愉快检查(vivo examination)，其中能在病人不在场情况下可实行对被扫描结肠的实际分析。可以实时扫描和目视结肠，或者可在以后目视被存储的数据。
本发明的另一个目的在于生成对诸如器官一类物体的3D体积表示，其中可以对物体的区域逐层剥离(peek back)以提供对造影物体区域的次表面(sub-surface)分析。可使物体(诸如，器官)的表面变成透明的，或者半透明的，以便进一步观测物体壁(object wall)内部或后面的物体。可以把物体切下以便检查物体的特定剖面。
本发明的另一个目的在于，通过运用势场对诸如器官一类物体进行3D体积表示来提供导航系统和方法。
本发明的又一个目的在于为了虚拟的飞过(virtual fly-through)，运用这里所述的剥层(peel-layer)技术来计算物体(诸如，器官)的中心线。
本发明的又一个目的在于运用经更新的Z缓冲器技术来使生成观测屏幕所需的计算量减至最小。
本发明的再一个目的在于，将不透明系数赋予该表示中的每一个体积元，以便使特定的体积元透明或半透明的程度发生改变以适应对正被观测物体部分的常规目视。运用不透明系数，也可以合成物体的一部分。


从下面结合表示本发明优先实施例的附图作出的详细描述中，本发明的进一步目的、特性和优点将显而易见，其中图1是根据本发明对物体(特别是，结肠)执行虚拟检查步骤的流程图；图2示出在虚拟器官中执行导航的“水下(submarine)”摄像机模型。
图3示出用于“水下”摄像机的模型俯仰和滚动(model pitch and roll)的摆锤；图4示出识别两个划块壁的立体形结肠(volumetric colon)的两维剖面图；图5示出其上选择有起始和结束体积元的立体形结肠的两维剖面图；图6示出表示由划块壁和结肠表面包围的分立子体积(sub-volumn)的立体形结肠的两维剖面图；图7示出具有被剥离了多层的立体形结肠的两维剖面图；图8示出包括剩余航迹的立体形结肠的两维剖面图；图9是产生被扫描器官体积目视步骤的流程图；图10示出已被细分成单元的虚拟结肠；图11A是实际正被检查的器官的图解描述；图11B是当画出图11A中的器官时所生成叉树(stab tree)的图解描述；图11C是当画出图11A中器官时所生成叉树的另一个图解描述；图12A是对所提供的情景的图解描述，其中物体在该情景的某些单元内；图12B是当画出图12A场景时所生成叉树的图解描述；图12C-12E是当画出图12A场景时所生成叉树的又一个图解描述；图13是包括息肉在内的虚拟结肠的两维表示，其中可以除去息肉的诸层；和图14是根据本发明对人体器官执行虚拟检查用系统的示图。
详细描述虽然可将在本发明中所述的方法和系统用于任何待检查的物体，但是将要描述的较佳实施例是检查在人体内的器官，特别是结肠。结肠很长，而且是弯曲的，这特别适于虚拟检查，既节省病人的费用，又无不适感觉和体检的危险。可以检查的其它器官的例子包括肺、胃和肠胃系统的部分、心脏和血管。
图1示出运用体积目视技术执行虚拟结肠镜所需的步骤。如果医生或特定扫描设备需要的话，步骤101准备待扫描的结肠以便在检查期间观看。这种准备可包括用“复合剂(cocktail)”或液体清洗结肠，它们在从口腔咽下并通过胃之后进入结肠。复合剂迫使病人排泄掉残留在结肠中的废物。所用物质的一个例子是Golytely。此外，在结肠的情况下，可迫使空气和CO2进入结肠以使之膨胀，从而使结肠易于扫描和检查。这用设置在直肠中的小管就加以实现，其中大约注入1,000cc空气以使结肠扩大。根据所用扫描器的类型，可能需要病人喝下诸如，钡餐一类反差物质以覆盖任何未排泄的大便，从而将结肠中的废物与结肠壁本身区分开来。另一方面，用于实际检查结肠的方法可以在虚拟检查之前或期间去除虚拟废物(如本说明书下面所述)。正如图1中虚线所示，步骤101并非在所有检查中都需要执行。
步骤103扫描待查的器官。扫描器可以是现有技术中已知的装置，诸如，扫描结肠的螺旋(spiral)CT扫描器，或者是扫描肺(例如用氙作过标记)的Zenita MRI机器。扫描器必须能够在屏住呼吸期间，在围绕身体的不同位置上拍下多个图像，以产生体积目视用的所需的数据。单个CT图像的例子将运用5mm宽的X光束，斜度1∶1或2∶1，以40cm的视野对从结肠的脾脏弯曲部分的顶部到直肠执行观测。
可用除了扫描之外的其它方法产生对所述物体的诸分离数据表示。用在由Kaufman申请的美国专利第5,038,302号(发明名称为“在三维基于体素系统(Voxel-Based System)中将连续三维几何表示转换成分离三维基于体素表示方法”，1988年7月26日申请，并于1991年8月8日授权)中所述的技术，可从几何模型中得出表示物体的体素数据。此外，根据本发明可由图像的计算机模型产生数据，该图象可被转换成三维体素，并加以探测。这种数据的一个例子是空间往返飞船(space shuttle craft)周围湍流的计算机模拟。
步骤104把经扫描的图像转换成三维体积元(体素)。在检查结肠的较佳实施例中，将扫描数据重格式化成5mm厚的薄片并以1mm或2.5mm递增，每片薄片用512×512象素的矩阵加以表示。于是，依赖于扫描的长度，产生大量2D薄片。于是，把2D薄片重构成3D体素。用在现有技术中已知的技术(例如，参见由Kaufman等人申请的美国专利第4,985,856号(发明名称为“供存储、访问和处理基于体素的数据用方法和装置”，1998年11月11日，并于1991年6月15日授权，并作为参考资料在此引入)，通过扫描器本身或通过分开的机器(诸如，计算机)执行将来自扫描器的2D图像转换成3D体素的转换过程。
步骤105允许操作者限定待查所选器官的部分。医师会对结肠中有可能生长息肉的的特定部分感兴趣。医师可以观察两维薄片的概观图以指明待查的部分。可由医师/操作者指定观察的路径的起始点和结束点。可用传统的计算机和计算机接口(例如，键盘、鼠标或空间球)来指定要检查的结肠部分。带有坐标的格子系统(grid system)可用于键盘输入或者医师/操作者可以在所需点上“单击”。也可以观察结肠的整个图像，如果需要的话。
步骤107对要检查的虚拟器官执行计划或导航操作。可将执行导航操作定义成沿着可由操作者在任何时刻手工调节的预先定义或自动预定的航迹，在整个环境中航行。在已将扫描数据转换成3D体素之后，必须从所选起点到所选结束点横穿过器官的内部。一旦微小摄像机行进穿过虚拟空间同时透镜指向结束点时，就建立虚拟检查的模型。导航技术提供与摄像机某种程度的交互作用，俾使摄像机可以在没有操作者交互作用的情况下自动地航行通过虚拟环境，且与此同时允许操作者在任何需要的时候操纵摄像机。获得导航的较佳实施例是运用基于身体的摄像机模型，它采用势场以控制摄像机的运动，并在图2和3中详细描述。
可与步骤107同时进行的步骤109沿着导航操纵的所选路径，从摄像机模型的观察点出发显示出器官的内部。运用现有技术中已知的技术(诸如，行进立方体(march cube)技术)，可以生成三维显示。然而，为了产生对结肠的实时显示，需要使显示虚拟结肠所需的大量数据计算量减少的技术。图9更为详细地描述了这种显示步骤。
如图1所示的方法还可用于同时扫描体内多个器官。例如，可检查病人的结肠或肺内是否有癌性肿瘤。变更图1的方法以便在步骤103中扫描感兴趣的所有区域，而在步骤105中选择要检查的当前器官。例如，医师/操作者最初可以选择实际探测的结肠，而后探测肺。作为替代，不同专长的两个不同的医生实际上可以探测与他们各自专长相关的不同的被扫描器官。步骤109之后，选择下一个待查的器官，将定义并探测它的部分。继续该过程直至已处理完所有待查的器官。
结合图1所述的诸步骤还可用于探测可用体积元表示的任何物体。例如，可以相同的方式表示并探测建筑结构或非生命物体。
图2示出在步骤107中执行导航技术的“水下”摄像机控制模型。当在导航期间不存在操作者控制时，不负责任的(default)航行与自动沿着从结肠的一个所选端到另一个所选端的航迹引导摄像机的计划航行相类似。在计划航行期间，摄像机停在结肠的中央以获得对结肠表面的更佳观察。当遇到感兴趣的区域，运用导航的虚拟摄像机的操作者可以交互地使摄像机靠近特定区域并调整摄像机的运动和角度来详细研究感兴趣的区域，而不会与结肠壁碰撞。操作者可以标准接口装置(诸如，键盘、鼠标)或非标准装置(诸如，空间球)控制摄像机。为了充分地操作处在虚拟环境中的摄像机，摄像机需要六个自由度。摄像机必须能够沿着水平、垂直和Z方向(轴217)运动，同样能够沿着另外三个自由度(轴219)旋转。以允许摄像机运动并扫描虚拟环境的所有面和角度。对于导航的摄像机模型包括与两个微粒x1203和x2205相连的不能伸展的、无重量杆201，其中上述两个微粒正经受着场215的作用。限定势场在器官壁处最高以使摄像机离开该壁。
用x1和x2表示微粒的位置，并假设它们具有相同质量m。摄像机附在水下x1203的顶部，它的观察方向与x2→x1相一致。当两个微粒受到下面定义的势场V(x)力、任何摩擦力和任何模拟外力的影响时，水下可以围绕模型的质心x进行平移的旋转。x1、x2和x之间关系如下x=(x,y,z)r=(rsinθcosφ,r sinθsinφ,r cosθ),x1=x+r,x2=x-r,(1)其中，r、θ和φ是矢量x2→x1的极坐标。将模型的动能T定义为x1和x2移动的动能的总和T=m2(x·12+x·22)]]>=mx.2+mr.2]]>=m(x.2+y.2+z.2)+mr2(θ2+φ2sinθ2)(2)]]>然后，运用LaGrange’s等式获得对于水下模型移动的等式ddt(∂T∂q.j)-∂T∂qj=Σi=12(Fi·∂xi∂qi),(3)]]>其中，qjs是模型的广义坐标，并可将其认为是时间变量t如下(q1,q2,q3,q4,q5,q6)=(x,y,z,θ,φ,ψ)=q(t),(4)其中，ψ表示下面将要描述的我们摄像机系统的滚动角。将Fis称为广义力。通过施加模拟外力于x1，进行对水下的控制，Fext=(Fx,Fy,Fz)，而且假设x1和x2两者都受到势场力以及来自每个微粒速度的反方向的摩擦力的影响。结果，用下式表示广义力F1=-m▿v(x1)-kx.1+Fczt,]]>F2=-m▿V(x2)-kx.2,-------(5)]]>其中，k表示系统的摩擦系数。正如图2所示那样，只不过在生成的图像中，沿着所需方向207单击鼠标一下，便由操作者施加上外部力Fext。m然后，就可沿着那个方向运动这个摄像机模型。这允许操作者只单击一下鼠标就能至少控制摄像机的5个自由度。从等式(2)、(3)和(5)，可得出我们的水下模型的五个参数的加速度如下x··=-12(∂V(x1)∂x+∂V(x2)∂x)-kx.m+F22m,]]>y··=-12(∂V(x1)∂y+∂V(x2)∂y)-ky.m+FV2m,]]>z··=-12(∂V(x1)∂z+∂V(x2)∂z)-kz.m+F22m,]]>θ··=φ·2sinθcosθ]]>-12r[cosθ{cosφ(∂V(x1)∂x-∂V(x2)∂x)+sinφ(∂V(x1)∂y-∂V(x2)∂y)}]]>-sinθ(∂V(x1)∂z-∂V(x2)∂z)]]>-kmθ.+12mr(Fxcosθcosφ+Fycosθφcos-Fzsinθ),]]>φ··=1sinθ[-2θ.φ.cosθ]]>-12r{-sinφ(∂V(x1)∂x-∂V(x2)∂x)+cosφ(∂V(x1)∂y-∂V(x2)∂y)}]]>-kmφ.sinθ+12mr(Fxsinφ+Fycosφ).],(6)]]>其中，

和

分别表示x的一次和二次导数，而

则表示在点x处的电势梯度。项

的φ2sinθcosθ和

的

分别被称为是离心力和向心力(coriolis force)，而且它们与水下角速度的交换相关。由于模型不具有为水下杆所定义的转动惯量，故这些项倾向于导致对

的数字计算的溢出。幸运的是，这些项只有当水下模型的角速度明显时，才变得重要起来，角速度明显实质上意味着摄像机运动太快。由于允许摄像机如此快地运动没有意义，因不能适当地观察器官，所以在我们的实施中这些项被减至最小以避免溢出问题。
从等式(6)的头三项公式可知，如果满足下列等式，那么水下不能由外力加以推进|▿V(x1)+▿V(x2)|>|Fczt|m]]>
由于在我们的实施中水下和外力Fext的速度具有上限，所以通过指定物体边界足够高的电势值，便可以保证水下永不撞击环境中的物体或壁。
如前所述，需要考虑到摄像机系统的滚动角ψ。一个可能的选择是允许操作者完全控制角度ψ。然而，虽然操作者可以使摄像机围绕模型的杆自由地旋转，但是他或她可以容易地迷失方向。较佳的技术假设摄像机的上部方向与具有质量m2301的摆锤相连，而所述摆锤可围绕水下的杆自由地旋转(如图3所示)。摆锤的方向r2表示如下r2=r2(cosθcosφsinψ+sinφcosψ,cosθsinφsinψ-cosφcosψ,-sinφsinψ)虽然有可能计算出这个摆锤的精确运动以及水下的运动，但是这使得系统方程过于复杂。因此，假设除了滚动角ψ之外的所有广义坐标都是常数，并如此定义摆锤系统的独立动能为Tp=m22r·22=m2r222ψ·2]]>这简化了滚动角的模型。由于在该模型中假设重力Fg=m2g=(m2gx,m2gy,m2gz)在质量点m2处起作用，所以运用LaGrange’s等式可以得出4的加速度如下ψ-=1r2{gz(cosθcosφcosψ-sinφsinψ)]]>+gy(cosθsinφcosψ+cosφsinψ)]]>+gz(-sinθψcos)}-k2m2ψ..(7)]]>从等式(6)和(7)，运用泰勒级数渐近地计算出广义坐标q(t)和它们的导数

为q(t+h)=q(t)+hq.(t)+h22q-(t)+O(h3),]]>q.(t+h)=q.(t)+hq-(t)+O(h2),]]>以使水下自由运动。为使水下的运动流畅地进行，选择时间梯量(time step)h在以下两个值之间取得平衡，即尽可能小，使这流畅地进行，但又要按需要大到使计算成本降低。势场的定义在图2水下模型中的势场通过把高的电势分配给边界限定了虚拟器官的边界(壁或其它因素)，以保证水下摄像机不会与壁或其它边界碰撞。如果操作者试图使摄像机模型移入高电势区，那么除非操作者例如希望检查边界后面的器官或息肉内部，否则摄像机模型将被阻止这样做。在进行虚拟结肠镜的情况下，将势场值分配给每个体积结肠数据(体积元)。当在图1的步骤105中以起点和结束点指定感兴趣的特定区域时，运用传统的划块(blocking)操作鉴别出被扫描结肠的所选区域以内的体素。接着，根据下面三个距离值离开结束点的距离dt(x)、离开结肠表面的距离ds(x)和离开结肠空间中心线的距离dc(x)，将电势值分配给所选体积的每个体素x。通过运用传统的生长策略(growing strategy)计算dt(x)。运用从表面体素向内生长的传统技术计算离开结肠表面的距离ds(x)。为了确定dc(x)，首先从体素提取结肠的中心线，然后运用传统生长策略计算离开结肠的中心线的距离dc(x)。
为了计算由用户特定的起点和用户特定的结束点所限定的被选结肠区的中心线，设定ds(x)的最大值并将其表示为dmax。于是，对于感兴趣区域内的每个体素，分配以dmax-ds(x)的价值值。这样，靠近结肠表面的体素具有高的价值值，而靠近中心线的体素具有相对低的价值值。于是，根据价值分配，采用在现有技术中已知的单源最短路径(single source shortest path)技术，来有效地计算从源点到结束点的最小价值路径。该低价值线表示所希望探测结肠部分的中心线或轮壳。用于确定中心线的这种技术是本发明的优先技术。
为了计算出感兴趣区域内体素x的电势值V(x)，采用以下公式V(x)=C1dt(x)μ+C2(d0(x)dc(x)+ds(x))-v(8)]]>其中，C1、C2、μ和v是为该检查所选的常数。为了避免在虚拟摄像机和虚拟结肠表面之间的任何碰撞，对于在结肠外的所有点均分配以足够大的电势值。因此，当运行时势场的梯度将变如此之大，以致水下模型摄像机将永不剥与结肠壁相碰撞。
确定在结肠中的肠道中心线的另一种技术被称为“剥层(peel-layer)”技术，并在图4至图8中示出。
图4示出立体形结肠的2D剖面，并示出有结肠的两侧壁401和403。由操作者选择两划块壁以限定要检查的感兴趣的结肠部分。在划块壁之外不能观察到任何东西。当显示虚拟表示的时，这有助于减小计算量。划块壁联同侧壁一起确定了要探测的结肠的中所包含立体形的形状。
图5示出虚拟检查的航迹的两个端点，起始体积元501和结束体积元503。由操作者在图1的步骤105中选择起点和结束点。识别在起点和结束点之间的体素并做上记号，如由图6中标有“x”的区域所示。体素是图片元的三维表示。
于是，将剥层技术施于图6中经识别和做上标记的体素。逐步将所有体素的最外层(最靠近结肠壁)剥去，直至只剩下体素的一个内层。换言之，如果去除并没有导致在起始体素和结束体素之间路径的断开，那么去除离中心点最远的每个体素。图7示出在完成对虚拟结肠中的体素所进行的许多次重复剥层之后的中间结果。已除去最靠近结肠壁的体素。图8示出在完成所有重复剥层之后对于在结肠中心以下摄像机模型的最后航迹。这本质上产生一轮壳于并对摄像机模型而言变成为所需的航迹。增加可见性的Z-缓冲器图9描述实时可见性技术，以显示通过摄像机模型在器官的虚拟三维体积表示中所看到的虚拟图象。图9示出运用与图1中步骤109相对应的经更新过的Z缓冲器的显示技术。能从摄像机模型可看到的体素数量极其大。除非从被扫描环境中的全部体组素中减小必须加以计算并观测的元(或多边形)的总数，否则计算的总量将使观测显示处理对于大的内部区域而言变得非常之慢。然而，在本发明中，只需计算以显示在结肠表面上可见的那些图象。可将扫描环境细分成较小部分或单元。于是，Z缓冲器技术只提供给通过摄像机可看到的一部分单元。Z缓冲器技术也用于三维体素表示。对更新的Z缓冲器的使用减小了要计算的可见体素的数量并允许由医师或医技对虚拟结肠进行实时检查。
在采用显示技术之前，将从中在步骤107中已计算出中心线的感兴趣区域细分成诸单元。单元是变成可见单元的集体体素组。每个单元内的体素将作为组加以显示。每个单元包括多个入口，通过该入口可看见其它单元。通过在所选起点开始并沿着中心线1001朝着结束点移动，来细分结肠。于是，当沿着中心路径达到预定义阈值距离时，将结肠分割成单元(例如，图10中的单元1003、1005和1007)。阈值距离是以在其上完成观测技术的平台规格和它的存储和处理能力为依据的。单元大小与可由平台存储和处理的体素数量直接相关。阈值距离的一个例子是5cm，虽然该距离可以有较大变化。如图10所示，每个单元具有两个交叉部分，作为该单元向外观察的入口。
图9中步骤901识别现包括摄像机在内的所选器官中的单元。将显示现有的单元以及所有其它单元，后者可见并指出摄像机的取向。将如下面进一步详述那样，步骤903建立通过摄像机(经过规定的入口)可能看见的诸单元的分级数据的叉树(树图表)。叉树包括对于摄像机可看见的每个单元的节点。一些单元可能是透明的，没有任何的划块体存在，从而沿着单向将可以看到更多个单元。步骤905存储一单元中诸体素的次族，该单元包括邻接单元边缘的交叉点并把它们存储在叉树的外侧边缘以更加有效地确定哪些单元是可见的。
步骤907检测在叉树中是否存在任何环路节点。当单个单元的两个或多个边缘与相同邻近单元接壤时会发生环路节点。当另一个单元围绕单个单元时也会发生这种情况。如果在叉树中识别出了环路节点，那么方法以步骤909继续进行。如果不存在任何环路节点，那么处理进入步骤911。
步骤909叠并(collapse)两个单元从而使环路节点变成一个大节点。于是，相应校正叉树。这消除了由于环路节点而观察相同单元两次的问题。对于所有被识别的环路节点都执行该步骤。然后，处理继续进行步骤911。
于是，步骤911开始以最大Z值启动Z缓冲器。Z值限定沿着轮廓路径，离开摄像机的距离。然后，横穿该树以首先检测在每个节点上的相交值。如果覆盖节点交叉，这意味着当前入口序列被封闭(这由Z缓冲器检查确定)，于是停止树中当前分支的横穿。步骤913横穿过每个分支以检测是否覆盖节点，而且如果没有覆盖就显示它们。
于是，步骤915通过运用在现有技术中已知的一种技术(诸如通过合成取得的体积描绘(rendering))，根据在步骤913中所识别可见单元内的体积元，建立要在操作者的屏幕上显示的图象。唯一被显示的单元乃为被鉴别为可能见到的那些。这种技术限制了需要计算的单元数量以使获得实时显示并为了获得更佳性能相应地增加了显示的速度。这种技术是对现有技术的改进，后者无论事实上是否看到它们，所有可能见到的数据点都要计算。
图11A是通过导航探测到并需要向操作者显示的一器官的两维图面表示。器官1101示出两侧壁1102和在路径的中心处的物体1105。将该器官细分成四个单元A1151、B1153、C1155和D1157。摄像机1103面对单元D1157并具有由可识别为锥形区域的视觉矢量1107、1108所限定的视野。可能被看到的单元是单元B1153、C1155和D1157。单元C1155完全被单元B所围绕并从而构成的节点循环。
图11B是根据图11A中的单元建立的叉树表示。包括摄像机的节点A1109处在树根处。瞄准线或瞄准锥(它是未被阻塞的可见路径)连到节点B1110。节点B具有直接到节点C112和节点B1110的可见瞄准线，而且由连接箭头示出。节点C1112的瞄准线在观察摄像机的方向上与节点B1110组合。这样节点C1112和节点B1110将叠并成一个大节点B’1122(如图11C所示)。
图11C示出节点A1109，它包含与节点B’1122(包含节点B和节点C)相近的摄象机以及节点D1114。至少向操作者部分显示节点A、B’和D。
图12A-12E说明对经更新的Z缓冲器的运用，其中所述Z缓冲器带有包含阻碍观看物体的单元。该物体可能是一部分虚拟结肠中的一些废物。图12A示出一虚拟空间，它带有10个潜在单元A1251、B1253、C1255、D1257、E1259、F1261、G1263、H1265、I1267和J1269。一些单元包含物体。如果将摄像机1201定位在单元I1267并面对着单元F1261(如视觉矢量1203所示)，那么由图9中的流程图所示的技术便生成叉树。图12B示出生成的叉树，它带有如图12A所示为虚拟表示而显示出的诸交叉点。图12B示出作为树的根节点的单元I1267，因为它包含摄像机1201。节点I1211指向节点F1213(如箭头所示)，因为单元F直接与摄像机的瞄准线相连。节点F1213指向节点B1215和节点E1219。节点1215指向节点A1217。节点C1202被完全遮挡在摄像机1201的视线以外，因此它不包括在叉树中。
图12C示出对于操作者在显示器上显示节点I1211之后的叉树。于是从叉树中除去节点I1211，因为已显示它而节点F1213就变成为根。图12D示出节点F1213现被与节点I1211相连接。于是，检测在由箭头连接的树中的下一个节点以看它们是否已被覆盖(已处理)。在这个例子中，来自位于单元I1267中的摄像机的所有交叉节点均被覆盖过，以致于不需要在显示器上显示节点B515。
图12E示出正被检验的节点E515以确定它的交叉点是否已被覆盖。由于它已被覆盖，所以在图12A-12E的这个例子中，唯一提供的节点是节点I和F，而节点A、B和E是不可见的，而且不需要准备显示它们的单元。
如图9所示的经更新的Z缓冲器技术允许运用较少的计算量，而且可被应用于由体素或其它数据元(诸如，多边形)所表示的物体。
图13示出结肠的两维虚拟示图，在沿着它的一个壁上长着一块大的息肉。图13示出要进一步检查的病人的结肠的所选部分。该图示出带有由1305所示的肿瘤的两个结肠壁1301和1303。层1307、1309和1311示出肿瘤的内层。对于医师而言，能够剥去息肉或肿块的层，以查看该物质内侧是否生长任何癌性或其它有害东西，乃是所希望的。这种处理过程在对物质进行虚拟的活器官检查时很有效，而无需实际切开该物质。一旦事实上由体素表示结肠，则用结合附图4至8所述的类似方法容易地完成对物体的剥层。还可以将该物质切成薄片，从而可以检查特定的剖面。在图13中，可以进行平面切割1313，从而可以检查肿瘤的特定部分。此外，可由用户以任何方法在肿瘤中限定一块切片1319。可以剥去体素1319或如下述加以更改。
在感兴趣的区域中可以对每个体素执行转移功能，从而通过改变表示每个体素的透明度的系数，可使物体透明、半透明或不透明。根据它的密度，将不透明系数分配给每个体素。于是变换函数转换此密度为代表其半透明度的系数。高密度扫描体素将表示成诸壁或者除了简单敞开空间之外的其它稠密物质。于是，操作者或程序规程可以改变体素或者体素组的不透明系数，以使它们对水下摄像机模型而言表现为透明或半透明。例如，操作者可以观测在整个肿瘤内部或外侧的肿块。或者将被做成呈现为透明的体素，就好象它在图9的显示步骤中没有出现一样。运用在该部分中体素的不透明系数的加权平均，可以产生一部分物体的合成物。
如果医师希望观看息肉的各个层以查找癌性区域，那么这可通过移开息肉1305的外层，得到第一层1307加以完成。此外，可以剥去第一内层1307以查看第二内层1309。可以剥去第二内层以查看第三内层，等等。医师还可以对息肉1305切片，并只查看在所需部分以内的那些体素。可以完全由用户限定切片区域。
还可以用其它方法来附加不透明系数以有助于对虚拟系统的探测。如果存在废物并具有如在某一已知范围内的其它性能的密度，那么通过在检查期间改变它的不透明系数，可以使该废物对虚拟摄像机而言是透明的。这允许病人避免在检查之前，咽下内脏清洁剂，并使检查更快更容易。相似地也可使其它物体消失，视实际应用而定。此外，借助反差剂，接着用一合适的转移函数可使一些物体(例如息肉)在电子学成象方面更加明显。
图14示出用于运用在该说明书中所述的技术对物体(诸如，人体器官)进行虚拟检查的系统。病人1401躺在平台1402上，同时扫描装置1405扫描包含器官或要检查器官的区域。扫描装置1405包含实际对病人拍摄图象的扫描部分1403和电子部分1406。电子学部分1406包括接口1407、中央处理单元1409、用于临时储存扫描数据的存储器1411和把数据送到虚拟航行平台的第二接口1413。接口1407和1413可以包含在单个接口部件中或者可以是相同的元件。在部分1406中的诸元件用常规接头加以相连。
在系统1400中，将从装置1403的扫描部分提供的数据传递到用于处理的部分1405并将它存储在存储器1411中。中央处理单元1409将经扫描的2D数据转换成3D体素数据并将结果存储在存储器1411的另一部分中。作为替代，可以直接把经转换的数据送到接口单元1413以便待传递到虚拟的航行终端1416。2D数据的转换也能从接口1413正被发送之后，于虚拟的航行终端1416处进行。在较佳实施例中，通过载体1414将经转换的数据发送到虚拟航行终端1416，以便使操作者执行虚拟检查。也可以其它传统方法(诸如，将数据存储在存储媒体上并将它物理传输到终端1416或者通过运用卫星传送)传送数据。
在目视提供引擎(visualization rendering engine)需要它成为3D形式之前不可将扫描数据转换成3D表示。这节省了计算步骤以及存储器的存储空间。
虚拟航行终端1416包括供观察虚拟器官以及其它扫描图象用的屏幕、电子学部分1415和接口控制1419(诸如，键盘、鼠标或空间球)。电子学部分1415包括接口端口1421、中央处理单元1423、运行终端所需的其它元件1427和存储器1425。在终端1416中的诸元件以常规接头加以相连。在接口端口1421中接收到转换的体素数据并存储在存储器1425。然后，中央处理单元1423把3D体素集合成虚拟表示并如图2和3所示运行水下摄像机模型以执行虚拟检查。当水下摄像机进行通过虚拟器官时，将如图9所示的可见性技术用于只计算可从虚拟摄像机看到的那些区域并将它们显示在屏幕1417上。还可将制图加速器用于正在生成的表示。操作者可以使用接口装置1419来指出希望被扫描人体的哪部分要加以探测。还可以将接口装置1419用于控制和移动如图2以及它的附加描述中所述的水下摄像机。终端部分1415可以是立方体-4专用系统盒(Cube-4dedicated system box)，一般可从the Department of Computer Science at the StateUniversity of New York at Stony Brook购得。
扫描装置1405和终端1416或者它的部分可以是相同单元的部分。将用单个平台来接收扫描图象数据、如果需要的话把它连到3D体素并执行导航。
在系统1400中的重要特征是可在以后不存在病人的情况下检查虚拟器官。此外，可在病人被扫描的同时进行虚拟检查。还可把扫描数据送到多个终端，这将允许多个医生同时查看器官内部。这样，在纽约的医生可与加州的医生在相同的时间，查看病人的器官的相同部分，同时讨论情况。作为替代，可以在不同的时刻查看数据。在困难情况下两个或多个医生可以执行其对相同数据的各自检查。可将多个虚拟航行终端用于查看相同的扫描数据。通过重现器官作为带有分离数据组的虚拟器官，在以下几方面可以有多种好处，诸如，精确度、成本以及可能的数据操作。
上述说明仅仅描述了本发明的原理。应理解，熟悉该技术领域的人员可以设计多个系统、装置和方法，这些虽然这里没有加以明确描述，但也包括在本发明的原理中，因而落在如其权利要求书所限定的本发明的精神和范围之中。
例如，可将这里所述的方法和系统用于虚拟检查动物、鱼类或非生命物体。除了在医学领域中所提到的用途，还可将该技术的应用用于检测未被打开的密封物体的内容。也可应用此技术于建筑结构(诸如，建筑物或洞穴)内部，并使操作者航行通过这种结构。
权利要求
1．一种用于对至少一个物体执行三维虚拟检查的方法，其特征在于，包括产生所述物体的分离数据表示；从所述数据产生所述物体的包含体积元的三维体积表示；从所述三维体积表示中选择起始体积元和结束体积元；沿着所述起始和结束体积元之间的路径执行所述三维表示的航行；在所述航行期间，显示响应于所述路径的所述体积元。
2．如权利要求1所述的方法，其特征在于，所述执行航行步骤包括将电势值分配给每个所述的体积元。
3．如权利要求2所述的方法，其特征在于，分配所述电势值以使它在所述器官壁附近最大。
4．如权利要求1所述的方法，其特征在于，所述路径是预先选定的。
5．如权利要求4所述的方法，其特征在于，沿着所述物体的中心并在所述起始和结束体积元之间设置所述预先选定的路径。
6．如权利要求3所述的方法，其特征在于，将带有低电势值的所述体积元设置在所述物体的中心。
7．如权利要求1所述的方法，其特征在于，所述物体是器官。
8．如权利要求7所述的方法，其特征在于，所述器官是结肠。
9．如权利要求7所述的方法，其特征在于，所述器官是肺。
10．如权利要求7所述的方法，其特征在于，所述器官至少是一根血管。
11．如权利要求1所述的方法，其特征在于，所述显示步骤包括识别沿着所述路径上可见的每个所述的体积元。
12．如权利要求11所述的方法，其特征在于，运用包含观察数据的分级数据结构执行所述识别。
13．如权利要求1所述的方法，其特征在于，执行的所述航行是导航。
14．如权利要求13所述的方法，其特征在于，所述导航运用摄像机模型来沿着所述路径模拟行程。
15．如权利要求14所述的方法，其特征在于，可以六个自由度改变所述摄像机模型的位置。
16．如权利要求1所述的方法，其特征在于，预先选定所述路径，而且还允许根据来自操作者的输入改变所述摄像机的取向。
17．如权利要求16所述的方法，其特征在于，所述虚拟检查只显示在所述摄像机模型的瞄准锥中的所述体积元。
18．如权利要求1所述的方法，其特征在于，所述航行步骤包括通过去除最靠近所述物体壁的体积元直至只剩下一个路径来选择中心线。
19．如权利要求1所述的方法，其特征在于，所述虚拟检查还包括把不透明系数分配给每个所述体积元。
20．如权利要求19所述的方法，其特征在于，响应于来自操作者的输入，改变所选体积元的所述不透明系数。
21．如权利要求20所述的方法，其特征在于，不在所述显示步骤期间显示出带有低电势系数的所述体积元。
22．如权利要求21所述的方法，其特征在于，改变至少一个所述体积元的不透明系数，从而不在所述显示步骤期间显示出所述经改变的体积元。
23．如权利要求20所述的方法，其特征在于，所述体积元作为半透明物加以显示，其程序响应于所述体积元的所述不透明系数。
24．如权利要求1所述的方法，其特征在于，改变至少一个体积元的相关数据，从而不在所述显示步骤中显示所述经改变的体积元。
25．如权利要求1所述的方法，其特征在于，还包括准备物体以供扫描用的的步骤。
26．如权利要求25所述的方法，其特征在于，所述准备步骤包括用物质覆盖所述物体以提高用于扫描的所述物体的反差度。
27．如权利要求1所述的方法，其特征在于，所述产生这样一种物体的分离数据表示的步骤包括扫描所述物体。
28．如权利要求1所述的方法，其特征在于，所述产生这样一种物体的分离数据表示的步骤包括从几何模型产生体素图象。
29．如权利要求1所述的方法，其特征在于，所述产生这样一种物体的分离数据表示的步骤包括计算机模拟所述物体。
30．一种用于对至少一个器官执行三维虚拟检查的方法，其特征在于，包括；用放射线扫描装置扫描器官并产生所述器官的扫描数据表示；根据所述扫描数据，产生所述器官的包含体积元的三维体积表示；从所述三维体积表示中选择起始体积元和结束体积元；沿着所述起始和结束体积元之间的路径执行所述三维表示的导航；在所述导航期间，显示响应于路径的所述体积元。
31．如权利要求30所述的方法，其特征在于，所述执行导航步骤包括把电势值分配给每个所述的体积元。
32．如权利要求31所述的方法，其特征在于，分配所述电势值以使它在所述器官壁附近最大。
33．如权利要求30所述的方法，其特征在于，所述路径是预先选定的。
34．如权利要求33所述的方法，其特征在于，沿着所述器官中心以及所述起始和结束体积元之间设置所述预先选定的路径。
35．如权利要求32所述的方法，其特征在于，将带有低电势值的所述体积元设置在所述器官的中心。
36．如权利要求30所述的方法，其特征在于，所述器官是结肠。
37．如权利要求30所述的方法，其特征在于，所述器官是肺。
38．如权利要求30所述的方法，其特征在于，所述器官至少是一根血管。
39．如权利要求30所述的方法，其特征在于，所述显示步骤包括识别沿着所述路径上可见的每个所述体积元。
40．如权利要求39所述的方法，其特征在于，运用包含观察数据的分级数据结构执行所述识别。
41．如权利要求30所述的方法，其特征在于，所述导航运用摄像机模型来沿着所述路径模拟行程。
42．如权利要求41所述的方法，其特征在于，可以六个自由度改变所述摄像机模型的位置。
43．如权利要求30所述的方法，其特征在于，预先选定所述路径，而且还允许根据来自操作者的输入改变所述摄像机的取向。
44．如权利要求43所述的方法，其特征在于，所述虚拟检查只显示在所述摄像机模型的瞄准锥中的所述体积元。
45．如权利要求30所述的方法，其特征在于，所述航行步骤包括通过去除最靠近所述器官壁的体积元直至只剩下一个路径来选择中心线。
46．如权利要求30所述的方法，其特征在于，所述虚拟检查还包括把不透明系数分配给每个所述体积元的步骤。
47．如权利要求30所述的方法，其特征在于，响应于来自操作者的输入，改变所选体积元的所述不透明系数。
48．如权利要求47所述的方法，其特征在于，不在所述显示步骤期间显示出带有低电势系数的所述体积元。
49．如权利要求48所述的方法，其特征在于，改变至少一个所述体积元的不透明系数，从而不在所述显示步骤中显示出所述经改变的体积元。
50．如权利要求47所述的方法，其特征在于，响应于所述体积元的所述不透明系数，将所述体积元作为半透明物加以显示。
51．如权利要求30所述的方法，其特征在于，改变至少一个体积元，从而不在所述显示步骤中显示所述经改变的体积元。
52．如权利要求30所述的方法，其特征在于，还包括准备器官以供扫描用的步骤。
53．如权利要求52所述的方法，其特征在于，所述准备步骤包括清洁可移动物体的所述器官。
54．如权利要求52所述的方法，其特征在于，所述准备步骤包括用物质覆盖所述器官以提高用于扫描的所述器官的反差度。
55．一种用于对物体执行虚拟三维检查的系统，其特征在于，包括用于对所述物体产生分离表示的装置；用于把所述分离表示转换成三维体积数据元的装置；用于从所述三维体积数据元中选出要目视的区域的装置；用于沿着所述所选的三维体积数据元的路径执行航行的装置；和用于沿着所述路径附近显示所述体积元的装置。
56．如权利要求55所述的系统，其特征在于，所述三维数据元包括不透明系数。
57．如权利要求56所述的系统，其特征在于，所述显示装置响应于所述不透明系数，
58．如权利要求57所述的系统，其特征在于，所述显示装置能够响应于所述不透明系数，半透明地显示体积元。
59．如权利要求55所述的系统，其特征在于，所述转换装置和所述执行装置包括在单个部件中。
60．如权利要求55所述的系统，其特征在于，与所述转换装置分开存储所述扫描数据。
61．如权利要求55所述的系统，其特征在于，与所述选择装置分开存储所述扫描数据。
62．如权利要求55所述的系统，还包括至少一个附加选择装置、执行装置和显示装置，用于对所述物体执行附加虚拟三维检查。
63．一种用于对器官执行虚拟三维检查的系统，其特征在于，包括用于扫描所述器官并产生表示所述器官的扫描数据的装置；用于把所述扫描数据转换成三维体积数据元的装置；用于从所述三维体积数据元中选出要观测的区域的装置；用于沿着所述选择的三维体积数据元执行导航的装置；和用于沿着所述路径显示所述体积元的装置。
64．如权利要求63所述的系统，其特征在于，三维数据元包括不透明系数。
65．如权利要求64所述的系统，其特征在于，所述显示装置响应于所述不透明系数。
66．如权利要求65所述的系统，其特征在于，所述显示装置能够半透明地显示体积元。
67．如权利要求63所述的系统，其特征在于，所述转换装置和所述执行装置包括在单个部件中。
68．如权利要求63所述的系统，其特征在于，与所述转换装置分开地存储所述扫描数据。
69．如权利要求63所述的系统，其特征在于，与所述选择装置分开地存储所述扫描数据。
70．如权利要求63所述的系统，其特征在于，还包括至少一个附加选择装置、执行装置和显示装置，用于对所述器官执行附加的虚拟三维检查。
全文摘要
本发明揭示一种系统和方法,它用于通过运用体积目视技术来产生物体(诸如,器官(1301,1303)的三维观测图象,并通过运用允许操作者沿着航迹航行和将视野调节到感兴趣的图象的特定部分,以便例如,识别被观测器官中的息肉(1305)、囊肿或其它异常特性的导航系统来探测图象。还可对被观测物体中经识别的肿瘤或物质执行电子学活检。
文档编号A61B1/00GK1230271SQ9719795
公开日1999年9月29日 申请日期1997年9月10日 优先权日1996年9月16日
发明者A·E·考夫曼, 洪礼灿, 梁正荣, M·R·韦克斯, A·维斯瓦巴拉恩 申请人:纽约州立大学研究基金会