使用热成像的婴儿监测系统及方法
【专利说明】使用热成像的婴>< L监测系统及方法
[0001]相关申请的交叉参考
[0002]本申请主张了 2012年7月12提出的且题名为“INFANT MONITORING SYSTEMS ANDMETHODS USING THERMAL IMAGING”的美国临时专利申请N0.61/670，842的权益，通过引用将其全文并入本文。
[0003]本申请主张了2012年 12月 31 提出的且题名为“COMPACT MULT1-SPECTUM IMAGINGWITH FUS1N”的美国临时专利申请N0.61/748，018的权益，通过引用将其全文并入本文。
[0004]本申请主张了 2013年3月15提出的且题名为“??ΜΕ SPACED INFRARED IMAGEENHANCEMENT”的美国临时专利申请N0.61/792，582的权益，通过引用将其全文并入本文。
[0005]本申请主张了 2013年3月15提出的且题名为“INFRARED IMAGING ENHANCEMENTWITH FUS1N”的美国临时专利申请N0.61/793，592的权益，通过引用将其全文并入本文。
[0006]本申请主张了 2012年12月26提出的且题名为“??ΜΕ SPACED INFRARED IMAGEENHANCEMENT”的美国临时专利申请N0.61/746，069的权益，通过引用将其全文并入本文。
[0007]本申请主张了 2012年12月26提出的且题名为“INFARED IMAGING ENHANCEMENTWITH FUS1N”的美国临时专利申请N0.61/746，074的权益，通过引用将其全文并入本文。
技术领域
[0008]本发明的一个或多个实施例大体上涉及热成像装置，并且具体地，例如涉及利用热图像对可能需要观测的婴儿、老人、病人或其他人提供监测。
【背景技术】
[0009]用于监测婴儿的装置是目前可用的。然而，最常规的婴儿监护仪不过是远程查看和/或收听装置，使用可见光图像传感器(例如，基于CMOS或基于CCD的传感器)和/或麦克风来被动地向看护人提供婴儿的图像和/或声音。同样地，这些常规的婴儿监护仪需要看护人持续地留意监护仪以获知婴儿的任何异常状态或活动，这实际上是不可能的。此夕卜，即使看护人恒定守夜地站在监护仪前(如果不是不可能的)，可能也十分难以检测可能导致婴儿死亡、伤害或其它严重损害的异常状态。例如，包括呼吸暂停的异常呼吸模式是婴儿猝死综合症(SIDS)的症状及原因，但是通过婴儿的视频图像难以识别异常呼吸模式。在另一个实例中，虽然异常体温可能是需要立即照料的严重疾病的信号，但通过常规视频图像不能得到温度读数。
[0010]尽管一些常规解决方案可以用于检测运动、心跳或温度的有限主动监测的，但这些常规的解决方案是基于需要接触的技术的。即，这些解决方案需要贴片和/或电极与婴儿的身体直接接触，贴片和/或电极在尿布或衣服中，传感器垫在床垫上或其它传感器直接或间接接触婴儿以检测温度、运动和心跳。因此，基于接触的解决方案不仅不方便而且还限制监控位置的选择(例如，仅在床上或在婴儿床中)。
[0011]常规婴儿监护仪的另一缺点是，为了在夜间或其它低光条件下观察需要有主动照明。如果婴儿接近光源则婴儿的主动照明的图像通常会褪色，且如果婴儿远离光源则会太昏暗。此外，光源会增加婴儿监护仪的摄像机模块的体积并会使电源(例如，电池)快速耗尽，因此限制了婴儿监护仪的便携性。
【发明内容】
[0012]公开了使用热成像监测可能需要被观测的婴儿或其他人的系统和方法的各种技术。例如，婴儿监测系统可以包括红外成像模块、可见光摄像机、处理器、显示器、通信模块和存储器。该监测系统使用为远程监测婴儿而配置的密封在便携式或可安装外壳中的红外成像模块，可以捕获包括婴儿的至少一部分视图的场景的热图像。可以对热图像执行各种热图像处理和分析操作以产生与婴儿有关的监测信息。该监测信息可以包括向看护人主动提供警告的各种警报和场景的用户可视图像。该监测信息可以呈现在使看护人方便观察的位于远程位置的外部装置或显示器上。
[0013]在一个实施例中，监测系统包括红外成像模块，其包括配置成在红外成像模块的视野(FOV)内捕获场景的热图像的焦平面阵列(FPA);基本上密封红外成像模块并且配置成使婴儿的至少部分位于FOV内的外壳；和与红外成像模块通信的处理器，该处理器被配置成分析热图像以产生与婴儿的有关的监测信息。
[0014]在另一实施例中，一种方法包括在红外成像模块的FPA处捕获红外成像模块的FOV内的场景的热图像，其中布置该红外成像模块以使婴儿的至少一部分处于红外成像模块的FOV内；和分析热图像以产生与婴儿有关的监测信息。
[0015]本发明的范围由通过引用并入该部分的权利要求来限定。通过考虑一个或多个实施例的下面的详细描述，将使该领域的那些技术人员更全面地理解本发明的实施例，以及认识其附加优势。将参考附图，首先简略描述附图。
【附图说明】
[0016]图1示例了根据本公开的实施例的被配置成在主机装置中实现的红外成像模块。
[0017]图2示例了根据本公开的实施例的装配好的红外成像模块。
[0018]图3示例了根据本公开的实施例的并置在插口内的红外成像模块的分解图。
[0019]图4示例了根据本公开的实施例的包括红外传感器阵列的红外传感器组件的方块图。
[0020]图5示例了根据本公开的实施例的确定NUC项的各种操作的流程图。
[0021]图6示例了根据本公开的实施例的邻近像素之间的差异。
[0022]图7示例了根据本公开的实施例的平场校正技术。
[0023]图8示例了根据本公开的实施例的图5的各种图像处理技术和图像处理流水线中应用的其它操作。
[0024]图9示例了根据本公开的实施例的时域降噪过程。
[0025]图10示例了根据本公开的实施例的图6的图像处理流水线的几个过程的具体实施细节。
[0026]图11示例了根据本公开的实施例的邻域像素的空间相关的FPN。
[0027]图12示例了根据本公开的实施例的具有红外成像模块的婴儿监测系统的方块图。
[0028]图13示例了根据本公开的实施例的可被红外成像模块捕获的且被处理器分析的婴儿的热图像实例。
[0029]图14示例了根据本公开的实施例的在两个分离外壳中提供的婴儿监测系统。
[0030]图15示例了根据本公开的实施例的使用热成像监测婴儿的过程。
[0031]图16示例了根据本公开的实施例的组合热图像和可见光图像的过程。
[0032]通过参考下面的【具体实施方式】，将更好地理解该发明的实施例和它们的优势。应该意识到，相似的附图标记用于标识在一个或多个图中示例的相似元件。
【具体实施方式】
[0033]图1示例了根据本公开的实施例的被配置成在主机装置102中实现的红外成像模块100 (例如，红外摄像机或红外成像装置)。用小形状因素和按照晶片级封装技术或其它封装技术，可以实现用于一个或多个实施例的红外成像模块100。
[0034]在一个实施例中，可以配置红外成像模块100以实现便携式主机装置102，诸如手机、平板电脑装置、膝上型电脑装置、个人数字助理、可见光摄像机、音乐播放机或者其它任何适当的移动装置。在这一点上，红外成像模块100可以用于为主机装置102提供红外成像特征。例如，可以配置红外成像模块100以捕获、处理和/或以其它方式管理红外图像并使用任何期望的方法(例如，为了进一步处理，存储在存储器中、显示、由运行于主机装置102的各种应用使用、输出到其它装置，或者其它用途)将这种红外图像提供给主机装置102。
[0035]在各种实施例中，可以配置红外成像模块100以在低电压电平和在宽温度范围内操作。例如，在一个实施例中，红外成像模块100可使用约2.4伏特、2.5伏特、2.8伏特或者更低电压的电源来操作，并在约_20°C至约+60°C的温度范围内(例如，在约80°C的环境温度范围内提供适当的动态范围和特性)操作。在一个实施例中，通过在低电压电平操作红外成像模块100，红外成像模块100可经受与其它类型的红外成像装置相比减少的自发热。结果，可以用更少的补偿这种自发热的措施来操作红外成像模块100。
[0036]如图1所示，主机装置102可以包括插口 104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其它部件198。可以配置插口 104以接收红外成像模块100，如由箭头101所示。在这一点上，图2示例了根据本公开的实施例的装配在插口 104中的红外成像模块100。
[0037]运动传感器194可以通过可用于检测主机装置102的运动的一个或多个加速度表、陀螺仪或其它适当的装置来实现。运动传感器194可以由处理模块160或者处理器195监控并且向处理模块160或者处理器195提供信息，以检测运动。在各种实施例中，运动传感器194可被实现为主机装置102 (如图1所示)、红外成像模块100、或附着到或以其它方式与主机装置102连接的其它装置的一部分。
[0038]处理器195可被实现为可由主机装置102用于执行适当的指令(诸如提供在存储器196中的软件指令)的任何适当的处理装置(例如，逻辑装置、微控制器、处理器、专用集成电路(ASIC)或其它装置)。显示器197可用于显示捕获的和/或处理的红外图像和/或其它图像、数据和信息。其它部件198可用于实现各种应用(例如，时钟、温度传感器、可见光摄像机或者其它部件)所期望的主机装置102的任何特征。另外，可以提供机器可读介质193以存储用于加载到存储器196中的并由处理器195执行的非暂时性指令。
[0039]在各种实施例中，红外成像模块100和插口 104可被实现为大规模生产以促进高容量应用，诸如实现为手机或其它装置(例如，需要小形状因素)。在一个实施例中，当将红外成像模块100安装在插口 104中时，红外成像模块100和插口 104的组合可展示出约8.5mm乘8.5mm乘5.9mm的总尺寸。
[0040]图3示例了根据本公开的实施例的并置在插口 104内的红外成像模块100的分解图。红外成像模块100可以包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。
[0041]透镜镜筒110可至少部分地封闭光学元件180 (例如，透镜)，其经由透镜镜筒110中的孔112在图3中部分可见。透镜镜筒110可以包括可用于使透镜镜筒110与外壳120中的孔122接合的基本上圆柱形的延伸部114。
[0042]红外传感器组件128可以例如用安装到基板140上的帽盖130 (例如，盖子)来实现。红外传感器组件128可以包括以阵列或其它方法在基板140上实现的并被帽盖130覆盖的多个红外传感器132(例如，红外探测器)。例如，在一个实施例中，红外传感器组件128可被实现为焦平面阵列(FPA)。这种焦平面阵列可被实现为例如真空封装组件(例如，被盖130和基板140密封)。在一个实施例中，红外传感器组件128可被实现为晶片级封装(例如，红外传感器组件128可由提供在晶片上的一组真空封装组件切单而成)。在一个实施例中，红外传感器组件128可以实现为使用约2.4伏特、2.5伏特、2.8伏特或者类似电压的电源操作。
[0043]可以配置红外传感器132以从目标场景检测红外辐射(例如，红外能量)，目标场景包括例如具体实现中所期望的中波红外波段(MWIR)、长波红外波段(LWIR)和/或其它热成像波段。在一个实施例中，红外传感器组件128可根据晶片级封装技术来提供。
[0044]红外传感器132可被实现为例如微测辐射热仪或以任何期望的阵列图案排列以提供多个像素的其它类型的热成像红外传感器。在一个实施例中，红外传感器132可被实现为具有17μπι像素间距的氧化钒(VOx)探测器。在各种实施例中，可以使用约32乘32红外传感器132阵列、约64乘64红外传感器132阵列、约80乘64红外传感器132阵列或其它阵列尺寸。
[0045]基板140可以包括例如在一个实施例中包括具有小于约5.5mm乘5.5mm尺寸的读出集成电路(ROIC)的各种电路。基板140还可以包括接合垫142，当如图5A、5B和5C所示装配红外成像模块100时，接合垫142可用于接触位于外壳120内表面上的补充连接。在一个实施例中，ROIC可以用执行电压调节的低压差调压器(LDO)来实现以减小引入到红外传感器组件128的电源噪声并因此提供改善的电源抑制比(PSRR)。另外，通过用ROIC实现LDO(例如，在晶片级封装范围内)，可以消耗较少的管芯面积且需要更小的分立管芯(或芯片)。
[0046]图4示例了根据本公开的实施例的包括红外传感器132阵列的红外传感器组件128的方块图。在示例的实施例中，将红外传感器132提供为ROIC 402的单位单元阵列的一部分。ROIC 402包括偏压产生和定时控制电路404、列放大器406、列多路复用器406、行多路复用器408和输出放大器410。通过输出放大器410可以将由红外传感器132捕获的图像帧(例如，热图像)提供到执行本文中描述的各种处理技术的处理模块160、处理器195和/或任何其它适当的部件。虽然图4中示出了 8乘8阵列，但是在其它实施例中可以使用任何期望的阵列配置。在2000年2月22日发布的美国专利N0.6，028, 309中可以找到ROIC和红外传感器(例如，微测辐射热仪)的进一步描述，并通过引用将其全文并入本文。
[0047]红外传感器组件128可以捕获图像(例如，图像帧)并从其ROIC以各种速率提供这种图像。处理模块160可被用于执行捕获的红外图像的适当的处理且可根据适当的架构来实现。在一个实施例中，处理模块160可被实现为ASIC。在这一点上，可以配置这种ASIC以用高性能和/或高效率执行图像处理。在另一实施例中，处理模块160可以用通用的中央处理单元(CPU)来实现，可以配置该中央处理单元(CPU)以实施执行图像处理的适当的软件指令、用各种图像处理块协调并执行图像处理、协调处理模块160和主机装置102之间的通讯和/或其它操作。在又一实施例中，处理模块160可以用现场可编程门阵列(FPGA)来实现。正如该领域的技术人员将理解的，在其它实施例中处理模块160可以用其它类型的处理和/或逻辑电路来实现。
[0048]在这些和其它实施例中，在适当时，处理模块160还可以用诸如易失存储器、非易失存储器和/或一个或多个接口(例如，红外探测器接口、内部集成电路(I2C)接口、移动产业处理器接口(MIPI)、联合检测活动小组(JTAG)接口(例如，IEEE 1149.1标准测试访问端口和边界扫描结构)、和/或其它接口)的其它部件来实现。
[0049]在一些实施例中，红外成像模块100还进一步包括可用于调整由红外传感器组件128捕获的红外图像帧的焦点的一个或多个执行机构199。例如，执行机构199可用于相对彼此移动光学元件180、红外传感器132和/或其它部件，以根据本文中描述的技术选择性地聚焦或散焦红外成像帧。执行机构199可以根据任何类型的运动感应设备或机构来实现，且可以位于适合不同应用的红外成像模块100的内部或外部的任何位置。
[0050]当装配红外成像模块100时，外壳120可以基本上封闭红外传感器组件128、基座150和处理模块160。外壳120可以有助于红外成像模块100的各种部件的连接。例如，在一个实施例中，外壳120可以提供电连接126以连接各个部件，如下所述。
[0051]当装配红外成像模块100时，电连接126(例如，导电路径、迹线或其它类型的连接)可以与接合垫142电连接。在各种实施例中，电连接126可嵌入在外壳120中，提供在外壳120的内表面上，和/或由外壳120以其它方式提供。电连接126可以以如图3所示的终止于从外壳120的底表面伸出的连接124。当装配红外成像模块100时(例如，在各种实施例中外壳120可以依托在电路板170的顶上)，连接124可以与电路板170连接。处理模块160可以经由适当的电连接与电路板170电连接。结果，红外传感器组件128可以经由例如由接合垫142、外壳120内表面上的补充连接、外壳120的电连接126、连接124和电路板170提供的导电路径与处理模块160电连接。有利地，这种布置可以在红外传感器组件128和处理模块160之间不需要提供引线接合的情况下来实现。
[0052]在各种实施例中，外壳120中的电连接126可以由任何期望的材料制成(例如，铜或任何其它适当的导电材料)。在一个实施例中，电连接126可以有助于红外成像模块100的散热。
[0053]在其它实施例中可以使用其它连接。例如，在一个实施例中，传感器组件128可以通过陶瓷板附接到处理模块160，该陶瓷板经由引线接合连接到传感器组件128并且通过球栅阵列(BGA)连接到处理模块160。在另一个实施例中，可以将传感器组件128直接安装在刚性柔性板上并用引线接合电连接，并且可以用引线接合或BGA将处理模块160安装并连接到刚性柔性板。
[0054]为了示例而不是限制的目的，提供了本文中阐述的红外成像模块100和主机装置102的各种实现。在这一点上，可以将本文中描述的各种技术的任何技术应用于执行红外/热成像的任何红外摄像机系统、红外成像器或其它装置。
[0055]红外传感器组件128的基板140可以安装到基座150上。在各种实施例中，基座150(例如，底座)可以由例如由金属注射成型(MIM)形成的铜制成并提供有黑色氧化物或镍涂层抛光。在各种实施例中，基座150可以由指定应用所期望的任何期望的材料，例如锌、铝或镁制成，并且可以用具体应用所期望的任何期望的可应用过程，例如铝铸造、MM或锌的快速铸造来形成。在各种实施例中，基座150可以实现为提供支撑结构、各种电路路径、热的散热特性和其它适当特性。在一个实施例中，基座150可以是至少部分使用陶瓷材料实现的多层结构。
[0056]在各种实施例中，电路板170可以接收外壳120并因此可以物理支撑红外成像模块100的各个部件。在各种实施例中，电路板170可以被实现为印刷电路板(例如，FR4电路板或其它类型的电路板)、刚性或柔性互连(例如，带或其它类型的互连)