生物标志表达的选择和显示的利记博彩app
【专利说明】生物标志表达的选择和显示
[0001]本申请在35 U.S.119(e)之下要求于2013年10月11日提交的美国临时专利申请序号61/889，820、于2013年5月30日提交的61/828，890以及于2012年12月6日提交的61/734，032的优先权，这些申请的全部内容在此通过引用明确并入本文。
【背景技术】
[0002]被处理以揭示生物标志的表达的组织样本的检查是用于生物学调研和诊疗研宄的已知工具。一种这样的处理牵涉到使用感兴趣的抗体或抗体替代品，诸如抗体碎片，其对于生物标志、常见蛋白是特定的。这样的抗体或抗体替代品可以利用能够在适当条件下生成信号的一部分来直接或间接标记。例如，荧光部分可以附接到抗体以针对荧光询问所处理的组织。所获得的信号通常指示所存在的生物标志的存在和量二者。
【发明内容】
[0003]依照一个示例性实施例，提供一种计算机实现的方法以用于显示生物样本的视场(field of view)中的一个或多个生物标志的表达水平。该方法包括将图形用户界面再现在视觉显示设备上。图形用户界面包括主图像面板和生物标志面板。该方法包括接收选择对应于所选生物样本的视场的用户输入，以及在主图像面板上再现对应于生物样本的所选视场的第一图像。该方法包括覆盖在主图像面板中的第一图像上而再现使得用户能够选择第一图像内的第一区的感兴趣区选择组件。该方法还包括在生物标志面板上再现对应于第一图像中的第一区的缩略图像的第一集合，缩略图像的第一集合表示生物标志的集合的表达水平。该方法还包括在主图像面板上接收选择第一图像中的第二区的用户输入，并且基于选择第一图像中的第二区的用户输入来更新生物标志面板，以利用对应于第一图像中的第二区并表示生物标志的集合的表达水平的缩略图像的第二集合来替换缩略图像的第一
口 O
[0004]依照另一示例性实施例，提供一种计算机系统以用于显示生物样本的视场中的一个或多个生物标志的表达水平。该计算机系统包括用于显示图形用户界面的视觉显示设备，以及耦合到视觉显示设备的计算机处理器。计算机处理器被编程或配置为在视觉显示设备上再现图形用户界面，图形用户界面包括主图像面板和生物标志面板。计算机处理器被编程或配置为接收选择对应于所选生物样本的视场的用户输入，并且在主图像面板上再现对应于生物样本的所选视场的第一图像。计算机处理器被编程或配置为覆盖在主图像面板中的第一图像上而再现使得用户能够选择第一图像内的第一区的感兴趣区选择组件。计算机处理器还被编程或配置为在生物标志面板上再现对应于第一图像中的第一区的缩略图像的第一集合，缩略图像的第一集合表示生物标志的集合的表达水平。计算机处理器还被编程或配置为在主图像面板上接收选择第一图像中的第二区的用户输入，并且基于选择第一图像中的第二区的用户输入来更新生物标志面板，以利用对应于第一图像中的第二区并表示生物标志的集合的表达水平的缩略图像的第二集合来替换缩略图像的第一集合。
[0005]依照另一示例性实施例，提供一个或多个非暂时性计算机可读介质。非暂时性计算机可读介质具有编码在其上的一个或多个计算机可执行指令，所述指令当在计算设备上被执行时执行一种用于显示生物样本的视场中的一个或多个生物标志的表达水平的方法。该方法包括在视觉显示设备上再现图形用户界面。图形用户界面包括主图像面板和生物标志面板。该方法包括接收选择对应于所选生物样本的视场的用户输入，并且在主图像面板上再现对应于生物样本的所选视场的第一图像。该方法包括覆盖在主图像面板中的第一图像上而再现使得用户能够选择第一图像内的第一区的感兴趣区选择组件。该方法还包括在生物标志面板上再现对应于第一图像中的第一区的缩略图像的第一集合，缩略图像的第一集合表示生物标志的集合的表达水平。该方法还包括在主图像面板上接收选择第一图像中的第二区的用户输入，并且基于选择第一图像中的第二区的用户输入来更新生物标志面板，以利用对应于第一图像中的第二区并表示生物标志的集合的表达水平的缩略图像的第二集合来替换缩略图像的第一集合。
[0006]依照另一示例性实施例，所显示的图像可以被捕获和更新到可检索的记录中。
【附图说明】
[0007]通过参考结合附图考虑的以下描述，示例性实施例的前述和其它目标、方面、特征和优点将变得更明显并且可以更好地理解，其中:
图1A-1C图示了用于存储生物标志表达数据的示例性数据结构。
[0008]图2图示了用于显示生物样本的一个或多个视场的示例性用户界面。
[0009]图3图示了图2的用户界面，其在主图像面板中显示视场中的生物标志的表达水平。
[0010]图4图示了图3的用户界面，其显示被分为相对于彼此水平布置的两个图像子面板的主图像面板。
[0011]图5图不了图3的用户界面，其显不被分为相对于彼此竖直布置的两个图像子面板的主图像面板。
[0012]图6图示了图4的用户界面，其显示其中左子面板示出视场的左部中的生物标志的表达水平并且右子面板示出视场的右部中的形态学特征的图像。
[0013]图7图示了图6的用户界面，其显示可以被用于调整两个或更多图像子面板的大小的滑块(slider)组件。
[0014]图8是用于提供生物样本的视场的分屏显示的示例性计算机实现的方法的流程图。
[0015]图9A和9B图示了用于存储显示图4的图像子面板所需的图像数据的示例性数据结构。
[0016]图10图示了用于显示主图像面板和包括生物标志表达数据的一个或多个缩略图像的生物标志面板的用户界面。
[0017]图11图示了图10的用户界面，其以不同变焦(zoom)水平在主图像面板中显示不同视场。
[0018]图12图示了图10的用户界面，其中感兴趣的形态学特征在主图像面板中落在感兴趣区选择组件的边界之外。
[0019]图13图示了图12的用户界面，其中感兴趣的形态学特征在主图像面板中落在感兴趣区选择组件的边界之内。
[0020]图14图示了用于显示主图像面板和包括生物标志表达数据的一个或多个缩略图像的生物标志面板的用户界面。
[0021]图15是用于显示生物样本的视场中的一个或多个生物标志的表达水平的示例性计算机实现的方法的流程图。
[0022]图16图示了用于显示生物样本的视场的分屏视图以及包括对应于视场的区的生物标志表达数据的一个或多个缩略图像的生物标志面板的用户界面。
[0023]图17是在示例性实施例中可使用的示例性网络环境的框图。
[0024]图18示出图示了被编程为执行本文所描述的用户界面的任何一个的客户端计算设备与拼块(tile)图像数据服务器之间的交互的示例性流程图。
[0025]图19示出了可以由客户端计算设备生成的图像度量请求的示例。
[0026]图20示出了针对图19的图像度量请求的基于XML的响应的示例。
[0027]图21示出了可以由客户端计算设备生成的拼块图像请求的示例。
[0028]图22是图示了被编程为执行本文所描述的用户界面的任何一个的客户端计算设备与拼块图像数据服务器之间的交互的流程图。
[0029]图23是在示例性实施例中可使用的示例性计算设备的框图。
[0030]图24描绘了本发明的交替查看器。
[0031]图25描绘了图24的查看器的部分图像上的以10倍放大率取得的玻片(slide)上的样品的分子H&E图像。
[0032]图26描绘了图24的查看器上的⑶30的mDAB图像的10倍显示。
[0033]图27示出了在查看面板中呈现缩略图像的该功能。
[0034]图28描绘了以40倍分辨率获得的多个单色图像的混色。
[0035]图29还描绘了由本发明提供在图28的查看面板的部分视图上的混合界面。
[0036]图30描绘了本发明的数字棱镜的交替实施例。
[0037]图31描绘了选择一个面板上的mDAB⑶30图像，以及图28的查看面板的部分视图上的相邻面板中的mDAB Pax5图像。
[0038]图32描绘了图31的两个图像的可选择取向。
[0039]图33描绘了针对区分被选择用于在图28的查看面板的部分视图上查看的两个图像的条(bar)的一个可选择位置。
[0040]图34示出了使用本发明的快照(snapshot)捕获特征所捕获的感兴趣的两个不同区，如在主显示上的两个框中所概述的。
[0041]图35描绘了本发明允许使用本发明的快照特征捕获所有缩略图像。
[0042]图36描绘了本发明允许使用本发明的快照特征捕获整个场。
[0043]图37描绘了使用本发明的标注标签的所捕获的缩略图像的显示。
[0044]图38描绘了以列表格式的所捕获的图像的显示。
[0045]图39描绘了病理学者能够将所有捕获的图像上载到病例报告中。
【具体实施方式】
[0046]本文所公开的实施例包括用于选择性地可视化生物样本以及对应于生物样本的组织和数据(例如一个或多个生物标志的表达水平、一个或多个形态学特征、一个或多个图像分析方法的结果等)的方法、系统和设备。示例性实施例使得能够实现生物样本的结构化、又快速、灵活且用户友好的显示，其促进生物研宄应用并且允许病理学者实现客观且可重复的诊断以及疾病或状况模型。
[0047]某些示例性实施例提供用于同时查看生物样本的所选视场的不同部分的分屏显示。取决于所显示的视场的分辨率，本发明预期到视场可以示出生物样本的图像的一部分或全部。预期到，在本发明的大多数应用中，将合期望的是，选择仅是生物样本图像的感兴趣的部分或较小区的视场，以便允许在图像面板中的生物样本图像的该部分的较高放大率显示。因而，当视场被表述为“对应于生物样本”时，本发明意指视场表示生物样本的图像、或图像的部分。分屏显示中的图像面板可以包括或被分成用于显示视场的两个或更多连续部分的两个或更多非重叠图像子面板，使得子面板针对视场的单个部分显示并且使得两个或更多子面板的联合协同地显示整个视场。视场的部分在子面板的边界处精确地且无缝地对准。不同显示类型可以被用于显示子面板中的视场的部分。不同显示类型可以包括但不限于一个或多个生物标志的表达、一个或多个形态学特征的显示、一个或多个分析结果的显示、以及作为一个或多个可视化类型的显示。
[0048]某些示例性实施例提供用户界面，其包括用于显示生物样本的视场的图像面板、以及用于显示用于同时查看视场内的区的不同方面(例如该区中的不同生物标志的表达水平)的缩略图像的生物标志面板。当选择或更新视场的所选区后，缩略图像可以相应地自动更新以显示新选择的区。图像面板可以包括感兴趣区选择组件以用于对视场内的区进行描画(delineate)。感兴趣区选择组件可以覆盖在主图像面板中所显示的视场的部分之上，并且可以被用户用来选择或更新显示在生物标志面板中的视场内的区。
[0049]示例件组织成像枝术
本文所教导的实施例使用对应于可以通过已知技术(诸如着色-漂白-重新着色)生成的复用生物标志图像的生物图像数据。一般地，该技术牵涉到利用荧光标记探针对生物样本着色以生成用于一个或多个探针限度(bound)生物标志的信号，在化学上对这些信号进行漂白，以及对样本重新着色以生成用于一些附加生物标志的信号。化学漂白步骤是方便的，这是因为仅存在有限数目的信号，其可以容易彼此区分，因此可以在特定步骤中检查仅有限数目的生物标志。利用漂白，组织样品可以针对多个步骤被重新探测和重新评价。该循环方法可以在福尔马林固定的石蜡嵌入式组织(FFPE)样品和细胞上使用。样本的数字图像在每一个着色步骤之后被收集。样本的连续图像可以使用诸如DAPI着色的细胞核之类的形态学特征方便地保持在寄存器中，其信号不被化学漂白方法所修改。前述的是复用技术的一个示例，并且用来着色、漂白以及对样品成像的系统是复用平台的示例。
[0050]另一方案包括通过对冻结的生物样本迭代地着色并且在应用下一着色集合之前对来自之前的着色步骤的标记进行光子漂白来对所述冻结的生物样本进行检查。然后从适当的图像提取与所评价的每一个生物标志相关联的荧光信号的强度。
[0051]所生成的图像可以图示细胞的较大组织样品内的各个细胞对一个或多个生物标志的表达。组织样品可以是来自细胞培养的细胞分组或者器官、肿瘤或伤口的样品。组织样品还可以是已知为群组(cohort)的来自不同对象的类似组织的样本的分组的一部分。这些组织的分组可以表示一个或多个疾病或状况模型、疾病或状况模型内的不同阶段、或者针对疾病或状况的处理的一个或多个响应。
[0052]已经对组织处理和检查的技术进行细化，使得可以量化地确定特定细胞或甚至给定细胞的区室(诸如核、细胞质或膜)中的给定生物标识的表达水平。作为整体的细胞或这些区室的边界使用已知的组织学着色来定位。通常地，所处理的组织利用数字成像来检查，并且可以因此容易地量化源自不同生物标志的不同信号的水平。
[0053]生物样本的每一个着色的视场的图像使用已知的技术来生成，诸如利用耦合到适当的显微镜和适当的质量控制例程的数字摄像机。自动的图像配准和分析也可以被用来量化针对被描画的各个细胞、细胞的联合或者甚至子细胞区室(诸如核、细胞质和膜)的生物标志表达水平。由细胞或子细胞组成部分的复用化和图像分析产生的数据值可以单独地或与另外的分析(例如碎片分析)的结果结合地存储。数据库可以保存生物标志的表达水平(例如作为数据的不同通道)，包括源样本的标识以及样本从其脱出的组织内的位置的标识。所标识的位置可以指示从其导出特定测量的特定细胞和/或组织，并且还可以包括与测量相关联的区室、核、细胞质或膜的标识。与其相关联的数据值可以存储在数据库中，该数据库可以维持在存储设备中或在联网服务器中。
[0054]在下文参照附图来描述示例性实施例。本领域一般技术人员将认识到，示例性实施例不限于说明性实施例，并且示例性系统、设备和方法的组件不限于以下所描述的说明性实施例。
[0055]用于存储生物图像数据的示例性数据结构
示例性实施例可以以允许以不同分辨率生成图像以用于显示在图形用户界面上的方式来存储关于生物样本的图像数据。生物样本的复用图像可以由计算设备处理以隔离用来形成复用图像的不同标记所对应的数据的不同通道。这些标记可以是生物标志和/或着色，其表达生物样本中的形态学特征(例如核、膜、细胞质)。
[0056]在示例性实施例中，对应于复用图像中的每一个通道的像素级图像数据可以存储在适于流送数据的拼块多分辨率或拼块金字塔数据结构中。在该数据结构中，对应于图像数据的相同通道的不同分辨率的多个图像以金字塔格式按照分辨率增加或减小的次序进行存储。在每一个分辨率水平处，图像的像素级数据被分成多个块或拼块。拼块多分辨率格式最大化数据访问和传输的速度和效率。各个图像拼块可以以最小服务器开销以任何分辨率快速地访问和流送，其在访问高分辨率图像数据方面尤其重要。也就是说，对应于一个或多个拼块序列的数据可以从数据存储发送并且由数据请求实体接收。由于数据以不同分辨率可用，所以图像处理不必使图像数据与所请求的分辨率水平一致。
[0057]在创建拼块多分辨率数据结构时，对应于单个数据通道的图像(例如单个生物标志)可以由计算设备处理，以便以不同分辨率生成相同图像的两个或更多版本。可以使用用于生成图像的较低分辨率版本的任何常规技术。对应于单个数据通道的图像然后可以以金字塔格式按照分辨率增加或减小的次序进行存储。图1A图示了用于存储生物样本中的第一生物标志的表达数据的拼块金字塔数据结构102 ;图1B图示了用于存储生物样本中的第二生物标志的表达数据的拼块金字塔数据结构104 ;并且图1C图示了用于存储生物样本中的第三生物标志的表达数据的拼块金字塔数据结构106。图1A的示例性数据结构102包括以分辨率增加的次序的对应于以四个不同分辨率水平的相同生物样本中的相同标记表达或形态上的数据的四个图像108、110、112、114。
[0058]一旦针对单个数据通道生成金字塔数据结构，则不同分辨率层处的每一个图像上的像素级数据被分为块或拼块。图像可以被分为任何适当数目的拼块。例如，图像可以被分为512像素宽乘以512像素高的拼块。存储拼块多分辨率数据结构的存储设备可以唯一地标识每一个数据结构以及数据结构中的每一个拼块以用于基于请求而快速访问。例如，数据结构中的每一个拼块可以在金字塔中的每一个水平处被索引和/或二维坐标可以与金字塔中的每一个水平处的每一个拼块相关联。
[0059]尽管结合拼块多分辨率数据存储结构描述了示例性实施例，但是本领域一般技术人员将认识到，也可以或者作为替换地使用其它适当的存储结构。
[0060]在一个实施例中，提供如本文所描述的用户界面的任何一个的计算设备可以包括用于将关于生物样本的图像数据存储在拼块多分辨率数据结构中的存储设备。
[0061]在另一实施例中，提供如本文所描述的用户界面的任何一个的计算设备可以从存储拼块多分辨率数据结构的远程服务器访问图像数据。在该情形中，运行用户界面的计算设备可以确定针对其目的而选择性需要的数据的拼块，并且可以从服务器仅请求选择性拼块。也就是说，在一些实施例中，关于整个生物样本的图像数据可以不被请求或预加载到用户界面中；但是相反，可以从服务器请求在给定时间所需的仅那些集合的图像数据。这最小化提供请求服务时的服务器开销并且减小需要传递到计算设备以用于其用户界面的图像数据的量，由此使用户界面快速且高效并且高度响应于用户输入和请