基于图像的跟踪的利记博彩app

基于图像的跟踪的利记博彩app
【专利摘要】本发明描述了便于图像运动分析的系统和方法。根据第一图像运动分析技术，根据局部仿射模型来变形第一图像。比较变形后的第一图像和第二图像，寻找变形后的第一图像与第二图像之间匹配的图案。根据所述图案估计运动参数的值。根据第二图像运动分析技术，把图像序列转换成输入矩阵。输入矩阵的列对应于与图像序列相关的向量化的图像。利用低秩矩阵逼近输入矩阵，低秩矩阵的秩小于输入矩阵。检测低秩矩阵的一个或者多个离异值。
【专利说明】基于图像的跟踪
[0001]相关申请的交叉引用
[0002]本申请要求于2011年6月9日提交的题为“An Affine Warping Method to Solvethe Feature Motion Decorrelation Problem in Ultrasound Image Based Tracking，，的美国临时专利申请编号61/457，813的优先权。本申请还要求于2012年I月12日提交的题为“Method of Image Analysis Based on an Ultrasound Image Sequence for AutomaticMitral Leaflet Tracking”的美国临时专利申请编号61/631，815的优先权。
【技术领域】
[0003]本公开主要涉及到图像分析，更具体地涉及图像运动分析的简易化。
【背景技术】
[0004]软组织的力学性质与各种病症相关。例如，癌组织往往比非癌组织更硬，肝硬化的肝组织比正常肝组织更硬，缺血性心脏往往表现出心肌组织的异常收缩/松弛。力学性质和病症之间的相关性，可以帮助病症诊断。
[0005]弹性成像是一种无创性的方法，用于测量软组织的力学性质，该方法有利于各种病症的诊断。在对软组织施加机械力的之前和之后的图像被采集。这些图像有相关性，组织的运动或变形可以通过运动跟踪算法进行推算。
[0006]一个可用于弹性成像的运动跟踪算法的例子是散斑跟踪。在成像模式为超声成像时，当发射的超声波被组织反射并相互干涉时形成散斑。散斑追踪是基于散斑图案在组织运动前后保持不变的假设。散斑图案保持不变的假设被用作运动跟踪算法的基础，但是，散斑图案在组织变形后是会发生变化的。由于组织变形后散斑图案的变化(“特征运动去相关”)，散斑跟踪算法不能揭示真正的组织运动。因此，散斑跟踪算法不能准确估计组织的运动以及不能正确地推断出力学性质。
[0007]运动跟踪与几何形状也可用于各种病症的诊断。例如，二尖瓣是位于心脏的左心房和左心室之间的薄瓣膜结构，用于控制血流方向。二尖瓣相关的疾病，如二尖瓣反流，是最常见的心脏瓣膜病。对心脏进行成像并且获取患者的具体二尖瓣几何特征，以及跟踪二尖瓣的运动，可以便于诊断心脏瓣膜病和/或协助瓣膜修复的手术治疗。
[0008]在各种成像模式中，实时三维超声心动图提供了一种无创性的方法来模拟二尖瓣的三维几何和捕捉它的快速运动。为了生成一个完整的二尖瓣模型，需要在整个超声心动图序列中跟踪二尖瓣瓣叶。为了跟踪诸如二尖瓣瓣叶之类的对象，在整个图像序列中该对象被定位并分割。二尖瓣瓣叶的定位和分割可以手动完成，但手动划分是劳动密集的，并且容易产生很大的方差。尤其对于三维图像方差很大，因为操作者每次仅可以显示和处理体数据的二维投影或截面。跟踪算法能够在自然图像分析中跟踪一定物体。然而，跟踪二尖瓣瓣叶是非常困难的，并且现在没有方法用于这样的跟踪。因为缺乏可靠的特征以及瓣膜快速且不规则的运动，很难跟踪二尖瓣。
[0009]以上背景描述仅仅是为了提供关于运动跟踪算法的背景信息的概述，并非是详尽的。其他的背景在回顾以下详细描述的非限制性实施例的一个或多个后有可能进一步被显现。

【发明内容】

[0010]下面提供了说明书的简化总结，以便提供对说明书的某些方面的基本了解。本概要并非说明书的广泛概述。它的目的既不是确定说明书的主要或关键要素，也不是划定说明书的具体实施例的任何范围，或者权利要求的任何范围。其唯一目的是以简化的形式提供说明书的一些构思，作为稍后提出的更详细说明的开头。
[0011]根据一个或多个实施例和对应的公开，与图像运动分析技术的简易化相关地描述了各种非限制性方面。非限制性实施例通过特征运动去相关来便于确定力学性质。另外的非限制性实施例通过不依赖于用户交互和训练数据的分割来便于物体跟踪。
[0012]根据一个非限制性的方面，描述了便于通过弹性成像确定组织力学性质的系统和方法。根据非限制性实施例，描述了包括图像形变组件和估计组件的系统。图像形变组件配置成根据局部仿射模型来变换图像从而产生变换后的第一图像。估计组件配置成根据预设的匹配测度来寻找变换后的第一图像与第二图像之间匹配的图案。估计组件还配置成基于该图案估计运动参数。所述系统包括存储各种组件的存储器和执行一个或多个组件的处理器。
[0013]在另一非限制性实施例中，描述了一种方法，该方法包括通过包括处理器的系统根据局部仿射模型而变换图像来产生变换后的第一图像。所述方法还包括通过系统根据预设的匹配测度来寻找变换后的第一图像与第二图像之间匹配的图案，以及通过系统根据该图案估计运动参数。
[0014]在另一个非限制性实施例中，描述了一种计算机可读存储介质，其上存储了计算机可执行指令，计算机可执行命令响应于执行而使得包括处理器的设备进行操作。该操作至少包括:接收第一图像和第二图像；初始化运动参数；根据局部仿射模型来变换第一图像；根据预设的匹配测度来寻找变换后的第一图像与第二图像之间匹配的图案；以及根据该图案估计运动参数。
[0015]根据另一非限制性方面，描述了不依赖于另外的用户交互和训练数据的便于自动物体跟踪的系统和方法。根据非限制性实施例，描述了一种系统，其包括转换组件，转换组件便于把图像序列转换成输入矩阵，输入矩阵的列对应于图像序列中的向量化的图像。系统还包含近似组件，其配置成利用低秩矩阵逼近输入矩阵，低秩矩阵的秩小于输入矩阵的秩。系统还包含检测组件，其配置成检测低秩矩阵的一个或者多个离异值。所述系统包含存储各种组件的存储器和便于执行一个或多个组件的处理器。
[0016]在另一非限制性实施例中，描述了一种方法，该方法包括通过包括处理器的系统把图像序列转换成输入矩阵。输入矩阵的列对应于图像序列中的向量化的图像。该方法还包括通过系统利用一个低秩矩阵逼近输入矩阵，低秩矩阵的秩小于输入矩阵的秩。该方法还包括通过系统检测低秩矩阵的一个或者多个离异值。
[0017]在另一非限制性实施例中，描述了一种计算机可读存储介质，其上存储了计算机可执行指令，计算机可执行指令响应于执行而使得包括处理器的设备进行操作。操作至少包括:把图像序列转换成输入矩阵，输入矩阵的列对应于图像序列中的向量化的图像；利用低秩矩阵逼近输入矩阵，低秩矩阵的秩小于输入矩阵的秩；以及检测低秩矩阵的一个或者多个离异值。
[0018]下面的描述和附图阐述了说明书的某些示例性方面。然而，这些方面表示可以采用说明书的各种实施例的各种方式的仅一些方式。说明书的其他方面在结合附图考虑时将从说明书的以下详细说明中变得显而易见。
【专利附图】

【附图说明】
[0019]以下将参照附图对各种方面和实施例作进一步说明，其中相同的参考标记始终指代相同部分，附图中:
[0020]图1示出了根据本公开的实施例的通过特征运动去相关来便于图像分析的示例非限制性系统；
[0021]图2示出了根据本公开的实施例的便于补偿特征运动去相关的示例非限制性系统；
[0022]图3示出了根据本公开的实施例的优化运动参数以便于补偿特征运动去相关的示例非限制性系统；
[0023]图4是根据本公开的实施例的通过特征运动去相关来图像分析的方法的示例非限制性处理流程图；
[0024]图5是根据本公开的实施例的便于补偿特征运动去相关的方法的示例非限制性处理流程图；
[0025]图6是根据本公开的实施例的优化运动参数以便于补偿特征运动去相关的方法的示例非限制性处理流程图；
[0026]图7是根据本公开的实施例的三维超声仿真实验中的示例非限制性输入图像；
[0027]图8至图10是根据本公开的实施例的三维超声仿真实验中平均相关系数关于运动的示例非限制性变化曲线；
[0028]图11至图13是根据本公开的实施例的三维超声仿真实验中均方误差关于运动的示例非限制性曲线；
[0029]图14是根据本公开的实施例的二维仿组织胶状模型的示例非限制性输入图像；
[0030]图15是根据本公开的实施例的二维仿组织胶状模型在2%压缩下耦合滤波方法得到的相关系数；
[0031]图16是根据本公开的实施例的二维仿组织胶状模型在2%压缩下仿射变形方法得到的相关系数；
[0032]图17是根据本公开的实施例的二维仿组织胶状模型在2%压缩下压扩方法得到的相关系数；
[0033]图18是根据本公开的实施例的二维仿组织胶状模型在2%压缩下耦合滤波方法估计的轴向应变；
[0034]图19是根据本公开的实施例的二维仿组织胶状模型在2%压缩下仿射变形方法估计的轴向应变；
[0035]图20是根据本公开的实施例的二维仿组织胶状模型在2%压缩下压扩方法估计的轴向应变；[0036]图21是根据本公开的实施例的二维仿组织胶状模型在5%压缩下耦合滤波方法得到的相关系数；
[0037]图22是根据本公开的实施例的二维仿组织胶状模型在5%压缩下仿射变形方法得到的相关系数；
[0038]图23是根据本公开的实施例的二维仿组织胶状模型在5%压缩下压扩方法得到的相关系数；
[0039]图24是根据本公开的实施例的二维仿组织胶状模型在5%压缩下耦合滤波方法估计的轴向应变；
[0040]图25是根据本公开的实施例的二维仿组织胶状模型在5%压缩下仿射变形方法估计的轴向应变；
[0041]图26是根据本公开的实施例的二维仿组织胶状模型在5%压缩下压扩方法估计的轴向应变；
[0042]图27至图29是根据本公开的实施例的三维超声仿真实验中平均相关系数关于运动的示例非限制性变化曲线；
[0043]图30是示出根据本公开的实施例的横向应变运动估计的均方误差的示例非限制性曲线；
[0044]图31是示出根据本公开的实施例的轴向-横向切应变运动估计的均方误差的示例非限制性曲线；
[0045]图32是示出根据本公开的实施例的横向旋转运动估计的均方误差的示例非限制性曲线；
[0046]图33是根据本公开的实施例的二维仿组织模型在2%压缩下仿射变形方法估计的相关系数；
[0047]图34是根据本公开的实施例的二维仿组织模型在2%压缩下仿射变形方法估计的轴向应变；
[0048]图35是根据本公开的实施例的二维仿组织模型在5%压缩下仿射变形方法估计的相关系数；
[0049]图36是根据本公开的实施例的二维仿组织模型在5%压缩下仿射变形方法估计的轴向应变；
[0050]图37示出了根据本公开的实施例的便于分割并跟踪图像序列内物体特征的示例非限制性系统；
[0051]图38示出了根据本公开的实施例的便于把图像序列转换成一个输入矩阵的示例非限制性系统；
[0052]图39示出了根据本公开的实施例的便于把输入矩阵建模成一个低秩矩阵和一组离异值的示例非限制系统；
[0053]图40是根据本公开的实施例的便于分析一系列图像的方法的示例非限制性处理流程图；
[0054]图41是根据本公开的实施例的便于检测对应于图像中某一特征的离异值的方法的示例非限制性处理流程图；
[0055]图42是根据本公开的实施例的通过迭代地使功函数最小化来便于分割并跟踪图像特征的方法的示例非限制性处理流程图；
[0056]图43是根据本公开的实施例的示出矩阵谱分析过程的可行性的示例非限制性示图；
[0057]图44是根据本公开的实施例的通过对二维超声心动图序列的矩阵谱分析来跟踪二尖瓣的示例非限制性结果；
[0058]图45是根据本公开的实施例的通过对三维超声心动图序列的矩阵谱分析来跟踪二尖瓣的示例非限制性结果；
[0059]图46示出了可以实现本文所述的各种实施例的示例计算环境；以及
[0060]图47示出了可以实现本文所述的各种实施例的计算机网络的示例。
【具体实施方式】
[0061]参考附图来描述本公开的各个方面或特征，附图中相同的参考编号始终用来指代相同元件。在本说明书中，为了提供对本公开的全面理解，阐述了各种具体细节。然而，应当理解的是，在没有这些具体细节的情况下，或者利用其他方法、组件、材料等，也可以实施本发明的某些方面。另外，以框图形式示出了公知结构和装置，以便于描述和说明各种实施例。
[0062]根据本公开中描述的一个或多个实施例，结合图像运动分析技术描述了各种非限制性方面。非限制性实施例便于通过特征运动去相关来确定力学性质。另外的非限制性实施例便于通过无需用户交互或训练数据的分割来物体跟踪。
[0063]特征运动去相关
[0064]根据本公开中描述的一个或多个实施例，与通过特征运动去相关来确定物体力学性质相关地描述了各种非限制性方面。特征运动去相关是通过仿射变形处理(affinewarping process)而解决的。根据局部仿射模型来变形物体的第一图像。将变形后的图像和物体的第二图像进行比较，从而得到在变形图像与第二图像之间匹配的图案。基于所述图案，估计运动参数的值。运动参数可以用来确定力学性质。
[0065]现参考附图，首先图1示出了根据本公开的实施例的通过特征运动去相关来便于图像分析的示例非限制性系统100。系统100可以便于通过弹性成像来确定物体的力学性质。弹性成像便于基于对物体施加机械力之前和之后获得的物体图像来确定力学性质。这些图像可以是超声图像、计算机断层扫描图像、磁共振成像的图像、或任何其他类型的图像或系列的图像。这些图像可以是二维图像或者三维图像。
[0066]系统100包括图像变形组件102和估计组件104。该系统还包括存储这些组件的存储器和便于执行一个或多个组件的处理器。
[0067]系统100通过图像变形组件102和估计组件104来解决特征运动去相关问题。在实施例中，特征运动去相关问题存在于利用超声的散斑跟踪来便于确定物体的运动(例如组织运动)的特性。为了解决特征运动去相关的问题，不同的模型可以用于模拟斑点变化的原因。
[0068]这样的变化可能是由于组织及其运动的复杂性而导致的。组织可能有不同的形状和力学性质(例如，通常癌组织比正常组织更硬，而来自不同器官的组织也具有不同力学性质)。因此，机械力下的各组织之间的相互作用是非常复杂的。超声图像特性也可能会引起图像变化。超声图像是当超声波反射后互相干涉时形成的。因此，当组织经历复杂的运动时，超声波会引起不同的干涉，产生了更多的变种散斑图案。
[0069]一个可以用来解决特征运动去相关问题的模型是利用压扩方法的模型。压扩方法试图将由于组织形变引起的图像变化建模成图像的压缩和平移。这种方法提供了组织形变的很好的近似，而且是描述并补偿由于组织形变引起图像变化的最好的方法之一，但是在组织形变很大时图像变化的补偿将失效。
[0070]另一个建模技术是耦合滤波方法。在耦合滤波方法中，复杂的组织运动和超声图像特性都被建模。局部仿射运动模型用来建模复杂组织运动，线性卷积模型用来描述超声波在成像过程中的干涉。
[0071]局部仿射模型用于模拟复杂的组织运动。例如，将组织的刚性/非刚性运动近似为局部区域中的仿射运动(例如，压缩或扩大)，而局部区域是在运动估计之前被预定义或者在运动估计期间被适应性调整。可以在时域或者频域内估计这样的局部运动。假设组织运动在局部区域中是仿射的，则复杂的组织运动问题可以通过以下局部仿射模型来排除:
[0072]xn = MXn+T
[0073]这里Xn和Xn分别是第η个组织散射点(根据实施例，是超声波反射组织单元)在组织运动前后的位置。M是用于仿射运动的矩阵，T是用于组织平移的矢量。在这个局部仿射模型中，可以建模各种组织运动，比如平移、压缩、扩大、剪切和旋转。
[0074]局部仿射模型中的局部区域可以被预设为足够小，使得复杂的组织运动在该区域内可以被近似成仿射运动，同时这个区域应该足够大，使得足够的散斑图案存在以识别匹配的图案。可替代地，可 以在最优运动参数(在该情况下，最优的M和Τ)的估计期间适当调节局部区域。例如，局部区域起初可以是大的，使得产生最优M和T的粗略估计。然后，可以减小该局部区域，并产生精细估计。
[0075]基于局部仿射模型，组织的位移也为仿射的:
[0076]dn = Xn-Xn = (M-1) Xn+T,
[0077]这里dn是第η个组织散射点的位移，I是单位矩阵，其大小与M相等。如果最优的运动参数M和T被准确估计，局部区域中的组织运动就可以被揭示。传统上，如果对<关于Xn求导，应变值(例如，正应变和切应变)和旋转也可以被估计。可替代地，因为 <是乂11的仿射函数，应变值和旋转就是矩阵M的各项的组合，如无穷小应变理论中所述。以这样的方式，可以从最优运动参数中直接推理出应变和旋转。
[0078]线性卷积模型用于描述成像过程中的超声波的干涉。下面的线性卷积模型可以很好的描述散斑图案的形成:
[0079]I=-X,,Y H(X)


?=1
[0080]这里Τη(Χ;Χη)是第η个组织散射点，H(X)表示超声系统的点扩散函数(PSF)，N是组织散射点总数，Ι(χ;χη)是射频超声图像。在原点处只有一个组织散射点存在时超声系统的点扩散函数可以被解释成线性系统响应函数。卷积模型假设每个组织散射点的贡献都是独立的，并且所有组织散射点加起来之后就产生最后的超声图像。
[0081]在如上所述的线性卷积模型中，每个组织散射点可以模拟成一个迪拉克(Dirac)函数:[0082]Tn(X;Xn) = an6 (X-Xn),
[0083]这里Xn是第n个组织散射点的位置，an是第n个组织散射点的反射系数，其表示有多少百分比的超声波被组织散射点反射。点扩散函数H(X)通常不具有解析表达式，其取决于超声探头(比如超声探头的形状和元件排列、发射的超声波的中心频率和带宽、组织的散射能力等等)。在一些文献中，点扩散函数被近似为Gabor函数。可替代地，通过基于不同成像设置求解声波方程来数值地计算出更准确的点扩散函数。
[0084]基于局部仿射运动模型和线性卷积模型，耦合滤波方法用如下公式描述组织运动读取前后的超声图像:
【权利要求】
1.一种系统，包括: 处理器，其通信地耦合至存储器，所述处理器便于计算机可执行组件的执行，所述计算机可执行组件包括: 图像变形组件，其配置成根据局部仿射模型来将图像变形，从而产生变形后的第一图像；以及 估计组件，其配置成根据预设的匹配测度来寻找所述变形后的第一图像与第二图像之间匹配的图案，然后根据所述图案估计运动参数。
2.根据权利要求1所述的系统，其中所述预设的匹配测度是相关系数、误差平方和、或绝对误差和。
3.根据权利要求1所述的系统，其中所述计算机可执行组件还包括限制组件，其配置成便于根据一个或者多个限制条件来进行运动参数估计。
4.根据权利要求3所述的系统，其中所述一个或者多个限制条件中的至少一个限制条件跟被成像物体的性质有关。
5.根据权利要求4所述的系统，其中: 所述被成像物体是生物组织；以及 所述至少一个限制条件与所述生物组织的不可压缩性相关。
6.根据权利要求1所述的系统，其中所述估计组件还配置成利用/不利用与运动参数的估计相关的多尺度框架来将优先级应用于候选的子集。
7.根据权利要求1所述的系统，其中所述第一图像或者所述第二图像包括二维超声图像或者三维超声图像。
8.根据权利要求1所述的系统，其中所述第一图像或者所述第二图像是射频超声图像或者B超图像。
9.一种方法，包括: 通过包括处理器的系统把图像序列转换成输入矩阵，其中所述输入矩阵的列对应于与所述图像序列相关的向量化后的图像； 通过所述系统利用低秩矩阵来逼近所述输入矩阵，所述低秩矩阵的秩小于所述输入矩阵的秩；以及 通过所述系统检测所述低秩矩阵的一个或多个离异值。
10.根据权利要求9所述的方法，还包括:通过所述系统把所述输入矩阵分解成所述低秩矩阵、由所述一个或多个离异值引起的强度变化、和随机噪声之和，其根据以下等式描述:
D = Β+Ε+ ε , 其中D是所述输入矩阵，B所述低秩矩阵，E是由所述一个或多个离异值引起的强度变化，ε是所述随机噪声。
11.根据权利要求10所述的方法，还包括:所述系统忽略所述随机噪声。
12.根据权利要求10所述的 方法，其中所述检测的步骤还包括:比较所述输入矩阵的元素值的强度和所述低秩矩阵的对应值。
13.根据权利要求12所述的方法，其中所述检测的步骤还包括:根据所述输入矩阵的元素值的强度和所述低秩矩阵的对应值之间的不同来识别所述一个或者多个离异值。
14.根据权利要求9所述的方法，还包括:通过所述系统使能量函数最小化以便于实现逼近的步骤和检测的步骤。
15.根据权利要求14所述的方法，其中所述最小化的步骤还包括:迭代地进行逼近步骤和检测步骤直到在逼近与检测之间达到收敛。
16.根据权利要求14所述的方法，其中所述最小化的步骤还包括:使具有第一项、第二项和第三项的能量函数最小化，所述第一项描述所述输入矩阵和所述低秩矩阵之间的差另IJ，所述第二项衡量所述低秩矩阵的特性，所述第三项衡量所述一个或多个离异值的绝对值特性。
17.根据权利要求16所述的方法，其中所述最小化的步骤还包括:使具有第四项的能量函数最小化，所述第四项假设彼此相邻的像素具有同一类别。
18.根据权利要求17所述的方法，其中所述同一类别是指离异值或者非离异值中的一个。
19.根据权利要求9所述的方中，其中所述转换步骤还包括:将超声图像序列、计算机断层扫描图像序列、或磁共振成像序列转换成所述输入矩阵。
20.一种计算机可读介质，其上存储了计算机可执行指令，所述计算机可执行指令响应于执行而使得包括处理器的设备进行操作，所述操作包括: 接收第一图像和第二图像； 初始化运动参数； 根据局部仿射模型来将所述第一图像变形； 根据预设的匹配测度来寻找所述变形后的第一图像与所述第二图像之间匹配的图案； 根据所述图案估计所述运动参数的值。
【文档编号】G06K9/64GK103814384SQ201280028147
【公开日】2014年5月21日 申请日期:2012年6月7日 优先权日:2011年6月9日
【发明者】余维川, 梁天柱, 周晓巍 申请人:香港科技大学