专利名称：基于砖的融合绘制器的利记博彩app
技术领域：
本发明大体上涉及成像领域，并且更具体地涉及用在这种成像领 域中的基于砖的融合绘制器.
背景技术：
如在本领域中已知的，现代医学技术提供用于采集3D数据的不同 模态、例如计算机断层摄影("CT")、磁共振成像("MRI")、正 电子发射断层摄影("PBT")和超声.从不同模态获得的信息通常是 互补的；例如，CT提供结构信息而PET提供功能信息.因而，通常希 望融合多个体积数据集.
图l呈现一个样本融合图像，其中来自PET的功能数据与来自CT 的结构信息相关.图l显示样本融合绘制.左边的图像(图l(a))显 示从512x512x512x12比特CT数据集导出的结构信息，而中间的困像 (图l(b))显示从256x256x256x16比特PET数据集导出的功能信息. 右边的图像(图l(c))是使结构和功能信息相关的CT和PET数据集 的简单融合.每个图像的"负片"被显示以促进打印复制.
大多数现有的融合绘制器需要所有体积被对准并且具有相同的分 辨率，由此除了一个被看作是参考体积的体积之外所有体积都必须被 再采样。参考体积通常指的是分辨率最精细以避免丢失信息的体积， 其它体积根据参考体积的网格被再采样.参考体积可能需要被扩张以 填充包围所有体积的边界框.当 一个体积的方向碰巧位于另 一个体积 的对角线附近时，4积集合的总边界框可以明显大于各个边界框.再
采样之后体素的数目与总边界框的体积成比例.因此，再采样可以显 著增加处理时间(最初和每次绘制时)以及所需的存储器的数量.
由于不同扫描器(就原点和方向而言)可以具有不同的坐标系， 因此体积通常需要进行配准.在配准期间除了参考体积之外的所有体 积被称为浮动体积.各种变换、例如旋转、平移、缩放、和剪切被应 用于浮动体积，以便它们的特征匹配于参考体积中的那些特征.此外， 在这样的变换之后必须再次执行再采样.配准典型地需要具有视觉反 馈的用户交互，所述用户交互重复地被应用以改进配准.对于这样的 需要来说，基于再采样的融合绘制不能足够快速地响应.
在基于紋理的体绘制中砌砖法(bricking)是一项重要技术.原 则上，砌砖法将体积数据集分成多个子体积，每个子体积被称为砖. 砌砖法的目的主要有两个.1)仅仅包含不可见体素的砖被跳过以获得 加速；2)大于图形存储器的体积可以通过在每遍绘制时将所有砖的子 集下栽ij图形存储器来进行绘制.利用多遍绘制，所有可见体素被处 理.在每个砖内，体素可以进一步被细分为块，并且不可见块被跳过. 因此，绘制的最小粒度是块，而紋理下栽的最小粒度是砖.显然，块 必须完全被封闭在相应的砖中.参见WeiLi的于2006年7月27日公 开的、公开号为2006/0164410的美国专利申请"Invisible Space Skipping with Adaptive Granularity for Texture—based Volume Rendering (基于紋理的体绘制的具有自适应粒度的不可见空间跳 过)"，该专利申请被转让给与本发明相同的受让人，为了关于砌砖 法的更多细节，全部主题于此被引入作为参考.
融合绘制器处理通常在3D空间中重叠的多个体积.如在于2005 年9月26日提交的、序列号为11/235, 410的、被转让给与本发明相 同的受让人的共同未决美国专利申请中所论述的，其主題于此被引入 作为参考.在序列号为11/235， 410的美国专利申请中所述的基本思想 是通过所有块来绘制完整切片，因而按逐切片而不是逐块的顺序执行 绘制。简要地说，所述方法包括以下步猓(a)为多个体积中的每一 个建立分级结构；(b)在每个分级结构中找到与切片平面相交的所有 块；(c)将多个体积中的每一个分成平行切片的堆栈并且根据可见度 顺序将平行切片排序；(d)在被排序的平行切片中选择下一个切片， 该下一个切片属于当前体积；(e)如果当前体积不同于在步骤(d) 的前一迭代中的前一体积，则改变绘制参数；(f)基于所述绘制参数 通过使切片平面与对应于当前体积的块相交来绘制下一切片；以及 (g)重复步骤(d) - (f),直到所有被排序的平行切片都被绘制. 理想的是保持每个体积独立，而不是将它们再采样为相同的分辨率. 每个体积保持其自身的空间跳过结构。这在绘制速度、存储器消耗和 灵活性方面具有优点.
当数据集被分成砖时，在一遍绘制期间并非所有体素都是可访问 的.罔此，组合砌砖和融合的算法必须保证那些不可访问的体素在当 前遍不被绘制，并且任何可见体素正好被绘制一次.这是具有挑战性 的任务，尤其是当不可见砖和块被跳过时.为了简单起见，先前的序 列号为'11/235, 410的共同未决美国专利申请仅仅处理简化的砌砖方 案，也就是说，体积仅仅沿着Z轴被砌砖.换句话说，每个砖至多具 有两个相邻砖.
仅仅沿Z方向砌砖导致厚片形砖，其不幸地在性能方面不太有效. 除了由于图形硬件限制之外，X和Y尺寸超过某个数字(当前为512 ) 的数据集不能被绘制.图形存储器是系统中的宝责资源.
发明内容
根据本发明，提供了一种用于组合至少两个三维图像数据集以根 据所述数据集生成合成图像的方法.所述方法包括沿着三个相互正交 的轴将所述数据集中的每个数据集分成多个砖.使用这样的方法，在 选择砖的形状/尺寸方面有更大的灵活性，从而导致更好的性能.
在一个实施例中，提供了一种用于组合至少两个三维图像数据集 以根据所述数据集生成合成困像的方法，所述方法包括(a)为至少 两个数据集中的每个数据集建立分级结构，每个分级结构包括其数据 集的体素的较高级块和其数据集的体素的较低级块，较高级块具有比 较低级块更大数目的体素，其中一个或多个块占据多个初始处理砖中 的一个砖；(b)将所述结构中的每个结构的边界扩张成相应的扩张分 级结构，这样的边界扩张包括将附加的虚拟处理砖添加到初始处)理砖 中，这样的虚拟处理砖包括半无界块以提供扩张分级结构的扩张边 界；以及(c)将所述扩张分级结构中的每个扩张分级结构中的每个砖 绘制成二维图像，例如透视图。
使用这样的方法，每个体积(即数据集)被扩张成具有扩张节点
的块树，使得所迷树覆盖整个3D空间，而不受体积的边界框限制.使 用扩张树的绘制保证绘制不会丢失任何体积的任何部分.所述扩张节 点仅仅是不包含任何体素数据的虚拟节点.
在一个实施例中，所述绘制包括(i)按照相对可见度的顺序处 理每个扩张分级结构的砖，这样的可见度顺序与离观察照相机的距离 有关，包括为初始处理砖中的不可见砖以及为虚拟处理砖设置标记， 而可见砖保持未被标记，并且其中在绘制当前砖的任何时候，限定当 前砖的边界的切平面被插入，并且其中当不再绘制当前砖时去除所述 切平面i ( ii)沿着所述切平面将具有当前未被标记的砖的每个扩张 分级结构分成平行切片的堆栈，其中被标记的砖从所述平行切片中被 排除，并且根据可见度顺序将所述平行切片排序；(iii)在被排序的 平行切片中选择下一个切片，该下一个切片属于砖中的当前被绘制的 砖；(iv)找到每个当前砖中与在(iii)中所选择的所述下一个切片 的平面相交的所有块；(v)从所找到的块中提取体素；(vi)将所提 取的体素绘制成二维图像；(vi)重复(iii) - (v)直到被排序的 平行切片都被绘制为止；以及(vii)重置当前砖.
与切平面组合，所述方法保证任何体积的任何可见部分正好被绘 制一次。
'在一个实施例中，独立地为每个扩张分级结构选择平行切片以绘 制交错的切片.
在一个实施例中，属于扩张分级结构的平行切片被选择成共享平 行切片的公共集合以生成融合切片；将不可见标记传递到绘制函数， 以便避免从不可见砖提取并且将0指定为体素样本的值.从不同数据 集提取的样本根据可定制的融合方程进行组合，即，所述方程取决于 实际应用，例如，它可以仅仅是平均值、和、差或组合从不同体积的
相同3D位置提取的体素值的任何其它方式.
根据本发明，通用图形存储器管理器和高速緩冲存储器在多个基
于GPU的绘制器之间被共享，如在2007年2月28日提交的序列号为 11/679， 990的共同未决的美国专利申请中所述，所述专利申请被转让 给与本发明相同的受让人，其主题在此被引入作为参考.为了避免存 储器分割的问题，有利的是每个绘制器使用相同的砖尺寸.因此，沿
所有三个轴的砌砖是必要的.
尽管在上面所引用的序列号为11/235, 410的专利申请中总是独 立地处理不同体积(即，并不在相同3D位置对不同体积进行采样并且 来自不同体积的体素样本在湩染器程序内并不同时可用)，在一些情 形中，该特征是需要的.在这样的模式中，基于砖的绘制器必须保证 对于当前这遍绘制来说可从所有体积访问所需体素，并且在绘制完整 困像桢期间3D空间中的每个采样位置仅仅被使用一次.
在本发明中，由交错的切片的融合绘制器展开的扩张树被使用； 在这里泫染器(shader)程序可以访问砖可见度标记. 一种方式是将 砖可见度标记作为自变量传递到渲染器.如果体积的当前砖是不可见 的，則渲染器简单地遊免对该体积进行采样，并且将0分配给拥有采 样值的变量，并且继续融合计算。这需要漥染器程序内的分支，并且 可能在一些GPU上不是高效的.另一种方式是生成多个版本的泫染器 程序，每个版本对应于不可见体积的不同子集.然后根据砖可见度标 记选择正确的泫染器程序.
用于融合切片的砖内不可见空间跳过不同于交错的切片的绘制. 对于交错的切片来说，绘制器采用代表采样位置的多个多边形集.每 个多边形集袭盖体积的所有可见体素.对于融合切片来说，仅有一个 多边形集，其应当復盖来自所有体积的所有可见体素，使用扩张节点 保证对任何体积外部的空间的復盖.在体积之内，如果砖不可见，它 不是仅仅被跳过，而是引入必要的切平面，并且针对相关体积将砖可 见度标记设置成假.为了绘制融合切片，类似地通过插入切平面并设 置砖可见度标记来处理砖内的不可见块.
在附困和下面的描述中阐述了本发明的一个或多个实施例的细 节.根据该描述和附困以及根据权利要求，本发明的其它特征、目标 和优点将是显而易见的.
附困说明
困1A至困1C描绘了根据现有技术的典型融合闺像； 困2显示了用于三个困像数据集体积的三个边界框； 图3显示了融合两个体积的例子，每个体积具有四个砖，虚线代 表切平面；
图4示出了当一些砖完全落在视区外部时的情况，于是可见和不 可见砖之间的切平面也被忽略，这样的困示显示在堆栈的中间也有一 个空砖，并且因此在空砖和其相邻非空砖之间的一个切平面被去除 (即，当砌砖仅仅沿着一个轴时，边界砖或沿着可见边界的砖被扩张， 以便整个空间被体积的砖集的并集覆盖)；
图5显示了 2D例子，其中初始根节点填充有四个扩张节点以覆盖 整个空间，虚线指示位于无穷远处的边界，左边显示填充，而右边显 示包含扩张节点和根的树，在这里使用二叉树来进行图解说明；
图6是总过程的流程图；和
图7是在图6的流程图中更详细显示的过程的绘制部分的流程图.
各个图中相似的参考符号指示相似的元件.
具体实施例方式
基于砖的单体积的绘制器的概述
在研究根据本发明的融合绘制器的细节之前，进行基于砖的单体 积的绘制器的简要概述；更多细节可以在上面引用的于2006年7月27 曰公开的公开号为2006/0164410的美国专利申请中找到.体积数据集 被分成均匀尺寸的块.在这里，在该例子中，块尺寸被选择成 32*32*32.然后在被称为树的分级结构中合并和组织所述块，其中每 个原始块是叶节点，树的根是对应于整个体积的所有块的并集.在根 和叶之间， 一些合并块被看作砖.砖也被均匀地确定尺寸，并且典型 的砖尺寸为64*64*64.在绘制期间，从根自顶向下遍历该树.完全不 可见的节点被跳过.当遍历到砖时，如果相应子体积在砖高速緩冲存 储器中不存在，则将该子体积下栽到图形存储器.当封闭砖驻留于图 形存储器中时，绘制器从砖的子节点中进行选择以根据由子节点封闭 的可见森素的百分比进行绘制.在每个砖内，绘制可以逐块或逐切片 地进行，如在上面所引用的序列号为11/235， 410的专利申请中所述.
基于砖的融合绘制器的原理
在融合时，体积可以具有不同尺寸并且具有独立的旋转和平移. 因此，它们在3D中褒盖的域通常是不同的.如困2中所示，三个边界 框10、 11和12显示三个体积所占据的区域.如在上面所引用的序列
号为11/235， 410的专利申请中所述，每个体积被独立地处理.也就是 说，每个体积以其自身的直线网格、可能以其自身的分辨率被存储， 换句话说，不将任何体积再采样为全局网格.
不同体积的网格通常不彼此对准，因而独立地被砌砖.为了简单 起见和性能考虑以及遵守硬件限制，在任何时间仅仅允许每个体积的 一个砖的紋理是有效的.因此，绘制应当被限制在当前有效砖的共同 区域内。由于来自不同体积的砖通常未被对准，因此这通过在砖的表 面上插入切平面来完成.图3显示融合两个体积的例子，每个体积具 有四个砖.虚线代表切平面，用不同数字指示的区域各自说明共同区 域。应当注意，切平面的目的是将空间分成区域.由体积的切平面的 集合所限定的任何区域至多包含一个相同体积的砖.在图3的仅仅在 一个方向上应用砌砖法的情况下，与体积边界对准的切平面被忽略. 例如，红色的顶砖对应于由砖的下边界上的切平面限定的半个空间. 由切平面限定的共同区域总是凸的.重要的是一个体积的所有砖区域
的并集覆盖整个空间或者至少包含所有其它体积的空间.另外，仅仅 不同体积之间的共同区域被绘制.
利用其它体积的所有砖来测试一个体积的每个砖区域是否重叠. 如果存在共同区域，则执行绘制.当然，砖以嵌套循环被遍历 针对体积0的每个砖M)( 根据AO插入切平面 针对体积j的每个砖(
根据6/插入切平面 如果存在共同区域
绘制；
有可能一些砖完全落在视区的外部，如图4中所示，于是可见和 不可见，之间的切平面也被忽略.在堆栈的中间也有空砖，因此，空 砖和其^目邻非空砖之间的一个切平面被去除。换句话说，当砌砖仅仅
沿着一个方向时，边界砖或沿着可见边界的砖被扩张，以便整个空间 被体积的砖集的并集覆盖. 扩张树
如在上面所引用的序列号为11/235, 410的专利申请中所述，仅仅 考虑砌砖的简化情况，也就是说，仅仅沿着Z轴对体积进行砌砖.当 允许沿着所有三个主要轴砌砖时，每个砖具有多达六个相邻砖，因而 需要多达六个切平面来限定由一个砖所占据的空间.在这样的情形 下，通常难以扩张可见砖区域以便尤其是当砖的可见度动态变化时它 们的并集覆盖整个空间而扩张区域不彼此重叠.
如前面所述，体积的块以树结构被组织.树的根节点正好是体积 的边界框.建议扩张该树以便覆盖整个空间.该过程增加覆盖整个空 间的扩张根以及内部扩张节点，以完成树结构，所有这些扩张节点都 具有其在无穷远处被限定的一个或多个边界面.图5显示了一个例子， 其中原始根节点填充有四个扩张节点以覆盖整个空间.虚线指示位于 无穷远处的边界.左边显示填充，而右边显示包含扩张节点和根的树. 使用二叉树来进行图解说明.原理类似于其它树.但是内部节点的数 目可以是不同的.
然后，对于基于砖的融合来说，起始节点是扩张根.显然，扩张 根都是不可见的，周而不涉及紋理装栽和绘制.它们仅仅被用于施加 切平面。无疑位于无穷远处的切平面被忽略，对于不是由于扩张而可 见的真矣节点来说，处理类似于扩张节点.也就是说，它们仅仅被用 于施加切平面，但是实际上并不绘制节点本身.
在如上面所引用的序列号为11/235, 410的专利申请中所述的那 样通过将每个体积看作切片堆栈来进行绘制时，使用扩张树的绘制步 骤类似于根据仅Z方向的砖的绘制.唯一的例外是每个体积都具有砖 可见度标记.如果该标记指示体积的当前砖是不可见的，则该体积不 被切片，在绘制循环内，在切片堆栈中寻找下一个切片的函数将简单 地忽略具有不可见砖的体积.如果所有体积的可见砖标记为假，则不 需要对砖的当前共同区域进行任何处理.
如本面所引用的序列号为11/235, 410的专利申请中所述，逐切片 地绘制被包含在当前砖中的块.也就是说，在移动到下一个切片之前， 橫穿所有与砖相交的块的整个切片被绘制.不可见空间跳过通过挑过 不可见块而为逐切片绘制所固有.
应当注意，仅Z方向砌砖仅仅是一般砌砖方法的特殊情况.因此， 使用扩张树的方法也可应用于仅z方向的砖，只要沿X和Y方向的砖
尺寸被指定为延伸通过整个体积. 融合切片的绘制
当在合成之前将多个体积看作融合切片时， 一个体积的切片堆栈 应当与其它体积的切片堆栈对准.也就是说，渲染器程序在相同位置 对多个体积进行采样，而不允许来自不同体积的切片交错.如上面所
引用的序列号为li/235，410的专利申请中所述， 一种方法被用于分解 融合规则，所述融合规则定义来自不同体积的体素样本怎样被组合. 然而这对于实施来说是不灵活的.另外，当融合规则改变时，分解以 及支持它的源代码很可能改变.因此，在上面所引用的序列号为 11/235, 410的专利申请中所述的方法并不支持实时地(on the fly) 改变融合规则. 块树的遍历
由于不可见砖和块不能正好被跳过，因此用于融合绘制器的块树 的遍历过滤器也被调整.当不可见块可以被跳过时，遍历寻找满足绘 图标准的最大节点，典型地，所述标准是节点未完全被切平面夹住并 且其可见体素的百分比大于某个数，如果这样的节点被找到或者节点
是完全壸的或完全被夹住，则该节点的所有子节点被跳过，针对融合， 遍历也寻找完全不可见的节点.不可见节点作为好的节点由遍历迭代 器返回(参见上面所引用的公开号为2006/0164410的美国专利申 请)，但是具有特定空区域标记集，指示这是不可见块.
在图6中显示了总过程的流程图并且在图7的流程图中更详细地 显示了所述过程的绘制部分.
因而，参考困6和图7，所述方法包括(a)为至少两个数据集中 的每」个建立分级结构，每个结构包括体素的较高级块和体素的较低 级块，较高级块具有比较低级块更大数目的体素；(b)将所述结构中 的每一个结构的边界扩张成相应的扩张分级结构，这样的边界扩张包 括将附i的虚拟处理砖添加到初始处理砖中，这样的虚拟处理砖包括 半无界块以提供扩张分级结构的扩张边界；以及(c)将所述扩张分级 结构中的每一个扩张分级结构的每个砖绘制成二維图像.所述绘制包
括-.(i)按照相对可见度的顺序处理每个扩张分级结构的砖，这样的 可见度顺序与离观察照相机的距离有关，包括为初始处理砖中的不可 见砖以及为虚拟处理砖设置标记，而可见砖保持未被标记，并且其中
在绘制当前砖的任何时候，限定当前砖的边界的切平面被插入，并且
其中当不再绘制当前砖时去除所述切平面；(ii)沿着所述切平面将
具有当前未被标记的砖的每个扩张分级结构分成平行切片的堆栈，其 中被标记的砖从所述平行切片中被排除，并且根据可见度顺序将所述
平行切片排序；(iii)在被排序的平行切片中选择下一个切片，该下 一个切片属于砖中的当前被绘制的砖；(iv)找到每个当前砖中与在
(iii )中所选择的下一个切片的平面相交的所有块；(v)从找到的 块中提取体素；(vi )将所提取的体素绘制成二维图像；(vi)重复
(iii) - (v)，直到所有被排序的平行切片都被绘制为止；以及(vii) 重置当前砖。
重复步骤(i) 一 (vii),直到所有砖组合都被绘制为止. 应当注意可以独立地为每个扩张分级结构选择平行切片以绘制 交错的切片.
已描述了本发明的多个实施例.然而，应当理解可以在不脱离本 发明的精神和范围的情况下进行各种修改.因此，其它实施例在以下 权利要求的范围内.
权利要求
1.一种用于组合至少两个三维图像数据集以根据所述数据集生成合成图像的方法，包括沿着三个相互正交的轴将所述数据集中的每个数据集分成多个砖。
2. —种用于组合图像数据集以生成合成图像的方法，包括(a) 为至少两个数据集中的每个数据集建立分级结构，每个结构包括体素 的较高级块和体素的较低级块，较高级块具有比较低级块更大数目的 体素；(b)将所述结构中的每个结构的边界扩张成相应的扩张分级结 构，这样的边界扩张包括将附加的虚拟处理砖添加到初始处理砖中， 这样的虚拟处理砖包括半无界块以提供扩张分级结构的扩张边界；以 及(c)将所述扩张分级结构中的每个扩张分级结构中的每个砖绘制成 二维图像。
3. 根据权利要求2所述的方法，其中所述绘制包括(i) 按照相对可见度的顺序处理所述扩张分级结构中的每个扩张 分级结构的砖，这样的可见度顺序与离观察照相机的距离有关，包括 为初始处理砖中的不可见砖以及为虚拟处理砖设置标记，而可见砖保 持未被;fe记，并且其中在绘制当前砖的任何时候，限定当前砖的边界 的切平面被插入，并且其中当不再绘制当前砖时去除所述切平面；(ii) 沿着所述切平面将具有当前未被标记的砖的每个扩张分级 结构分成平行切片的堆栈，其中被标记的砖从所述平行切片中被排 除，并且根据可见度顺序将所述平行切片排序；(iii) 在被排序的平行切片中选择下一个切片，该下一个切片属 于砖中的当前被绘制的砖；(iv) 找到每个当前砖中与在(iii)中所选择的所述下一个切片 的平面相交的所有块；(v) 从所找到的块中提取体素；(vi) 将所提取的体素绘制成二维图像；(vi) 重复(iii) - (v)，直到所有被排序的平行切片都被绘 制为止；以及(vii) 重置当前砖.
4. 根据权利要求3所述的方法，包括重复(i) - (vii)直到所 有砖组合都被绘制为止.
5. 根据权利要求4所述的方法，其中独立地为每个扩张分级结构 选择平行切片以绘制交错的切片.
6. 根据权利要求3所述的方法，其中属于扩张分级结构的平行切 片被选择成共享平行切片的公共集合以生成融合切片；将不可见标记 传递到绘制函数，以便避免从不可见砖提取并且将0指定为体素样本 的值。
7. 根据权利要求4所述的方法，其中属于扩张分级结构的平行切 片被选择成共享平行切片的公共集合以生成融合切片；将不可见标记 传递到绘制函数，以便避免从不可见砖提取并且将0指定为体素样本 的值.
全文摘要
本发明涉及基于砖的融合绘制器。提供一种用于组合图像数据集以生成合成图像的方法。该方法沿着三个相互正交的轴将每个数据集分成多个砖。该方法包括(a)为至少两个数据集中的每个数据集建立分级结构，每个结构包括体素的较高级块和体素的较低级块，较高级块具有比较低级块更大数目的体素；(b)将所述结构中的每个结构的边界扩张成相应的扩张分级结构，这样的边界扩张包括将附加的虚拟处理砖添加到初始处理砖中，这样的虚拟处理砖包括半无界块以提供扩张分级结构的扩张边界；以及(c)将所述扩张分级结构中的每个扩张分级结构中的每个砖绘制成二维图像。
文档编号G06T15/00GK101169870SQ20071018167
公开日2008年4月30日 申请日期2007年10月24日 优先权日2006年10月24日
发明者W·李 申请人:美国西门子医疗解决公司