内窥镜系统、内窥镜系统的操作方法及程序的利记博彩app
【专利摘要】本技术涉及一种内窥镜系统，在该内窥镜系统中，根据图像捕获条件，将分辨率与S/N比例调整为良好平衡，并且其中能够根据图像捕获条件改变处理负荷。本发明还涉及用于操作内窥镜系统的方法和程序。从体腔的图像信号提取包括低通分量的低通图像和包括高通分量的高通图像，由内窥镜装置捕获体腔的图像。当以预定缩小比例缩小低通图像并处理其以增强质量时，通过与缩小比例对应的放大比例放大图像。在这一点上，当基于指示图像捕获状态的条件信息在图像捕获期间的亮度足够并且高通分量不具有较高噪声分量含量时，低通图像和高通图像被加在一起并作为输出图像输出。当基于条件信息在图像捕获期间的亮度不足并且高通分量具有较高噪声分量含量时，仅输入低通图像作为输出图像。本技术可应用至内窥镜系统。
【专利说明】
内窥镜系统、内窥镜系统的操作方法及程序
技术领域
[0001]本技术涉及内窥镜系统、用于操作该内窥镜系统的方法以及程序，并且具体地，涉及根据由配置内窥镜系统的内窥镜装置成像的图像的图像质量增强处理中的成像条件能够将处理负荷的降低与分辨率的提高调整为良好平衡的内窥镜系统、用于操作内窥镜系统的方法以及程序。
【背景技术】
[0002]使用内窥镜系统成像包括:除了常见的白色光，利用诸如窄带光以及用于红外辐射(IR)观察和光动力学诊断(PDD)观察的近红外光的特殊光来成像。
[0003]对于使用这种特殊光的成像技术，例如，已经发明了使用通过利用特殊光来成像的输入图像的技术，其中，使用频率分离进行处理(参见专利文献I)。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:特开2012-075545号公报
【发明内容】
[0007]本发明要解决的问题
[0008]顺便提及，在内窥镜系统等中，当以成像的输入图像的尺寸执行所有图像处理时，需要能够进行实时处理的配置，使得处理成本(处理时间、用于执行处理的硬件的尺寸)增加。具体地，近几年，由于成像的图像尺寸的分辨率增加的事实，诸如高清晰度(HD)和4K(粗略地，水平4000 X垂直2000)，该趋势是显著的。
[0009]如上所述，内窥镜系统中的成像包括:使用白色光作为照明光的正常成像，以及使用诸如窄带光和近红外光的特殊光的特殊光成像。尽管由于光量不同，所以输入信号的性能不同，但是即使当使用照明光中的任一种时，图像处理也是相同的，使得可能不必要地适于每个图像信号的特性并且可能产生处理的浪费。
[0010]鉴于这种情况，已做出本技术，并且具体地，本技术允许根据依照亮度(诸如，照明光的类型和透镜孔径)的成像条件，调整为良好地平衡冲突的效果，诸如根据图像处理的处理负荷降低和图像质量增强。
[0011]问题的解决方案
[0012]本技术的一方面的内窥镜系统包括:内窥镜，该内窥镜在插入至体腔的插入部的顶端处设置有物镜；图像捕获单元，该图像捕获单元捕获从内窥镜输入并且由物镜压缩的光学图像、并且输出捕获的图像作为图像信号;低频分量提取单元，该低频分量提取单元提取具有低于图像信号的频率分量的低频图像;高频分量提取单元，该高频分量提取单元提取具有高于图像信号的频率分量的高频图像；图像质量增强处理器，该图像质量增强处理器向低频图像应用图像质量增强处理；以及输出单元，该输出单元至少输出其图像质量已被图像质量增强处理器增强的低频图像作为输出图像，并且根据由图像捕获单元执行图像捕获时的条件信息，可使得输出单元输出图像信号作为输出图像，该图像信号包括通过将高频图像的各个像素的像素值加到其图像质量已被增强的低频图像的各个像素的像素值而得到的像素值。
[0013]条件信息可以是表示是否满足如下条件的信息:在该条件下，由图像捕获单元捕获的图像信号具有更高比例的噪声分量。
[0014]在该条件信息中表示是否满足条件(在该条件下，可使得由图像捕获单元捕获的图像信号具有更高比例的噪声分量)的信息包括:表示由当图像捕获单元捕获图像时发射照明光的光源设备发射的光的类型的信息，以及关于内窥镜设备中的物镜的孔径以及位于图像捕获单元与物镜之间的中继透镜(relay lens)的孔径的信息。
[0015]可使得内窥镜系统进一步包括:尺寸缩小单元，该尺寸缩小单元以特定缩小比例缩小低频图像的尺寸；以及放大单元，该放大单元以对应于缩小比例的放大比例放大图像，并且可使得图像质量增强处理器向尺寸缩小的低频图像应用图像质量增强处理。
[0016]可使得尺寸缩小单元以根据条件信息的缩小比例缩小低频图像的尺寸，并且可使得放大单元以对应于根据条件信息的缩小比例的放大比例放大经历图像质量增强处理的尺寸缩小的低频图像。
[0017]可使得图像质量增强处理器包括空间方向噪声降低、时间方向噪声降低、颜色校正以及频带突出(frequency band emphasis)的处理。
[0018]根据由图像捕获单元执行图像捕获时的条件信息，当满足条件(在该条件下，由图像捕获单元捕获的图像信号具有更高比例的噪声分量)时，可使得高频分量提取单元停止从图像信号提取高频图像。
[0019]本技术的一方面的用于操作内窥镜系统的方法:
[0020]捕获从内窥镜输入的光学图像，该内窥镜在插入至体腔的插入部的顶端处设置有物镜，由物镜压缩该光学图像，并且输出捕获的图像作为图像信号;提取具有低于图像信号的频率分量的低频图像;提取具有高于图像信号的频率分量的高频图像;对低频图像应用图像质量增强处理;至少输出其图像质量已被图像质量增强处理器增强的低频图像作为输出图像；以及根据图像捕获时的条件信息，输出图像信号作为输出图像，该图像信号包括通过将高频图像的各个像素的像素值加到其图像质量已被增强的低频图像的单个像素的像素值而得到的像素值。
[0021]本技术的一方面的程序使得计算机用作如下部分:内窥镜，该内窥镜在插入至体腔的插入部的顶端处设置有物镜；图像捕获单元，该图像捕获单元捕获从内窥镜输入并且由物镜压缩的光学图像，并且输出捕获的图像作为图像信号;低频分量提取单元，该低频分量提取单元提取具有低于图像信号的频率分量的低频图像;高频分量提取单元，该高频分量提取单元提取具有高于图像信号的频率分量的高频图像；图像质量增强处理器，该图像质量增强处理器对低频图像应用图像质量增强处理；以及输出单元，该输出单元至少输出其图像质量已被图像质量增强处理器增强的低频图像作为输出图像，并且根据由图像捕获单元执行图像捕获时的条件信息，输出单元输出图像信号作为输出图像，该图像信号包括通过将高频图像的各个像素的像素值加到其图像质量已被增强的低频图像的各个像素的像素值而得到的像素值。
[0022]在本技术的一方面中，对从包括物镜(其设置在插入至体腔的刚性插入部的顶端处)的内窥镜装置输入并且被物镜聚焦的光学图像进行成像，并且输出该光学图像作为图像信号;低频图像是从图像信号提取的低频分量;高频图像是从图像信号提取的高频分量；对低频图像执行图像质量增强处理;并且至少其图像质量被增强的低频图像输出作为输出图像，并且根据成像时的条件信息，输出图像信号作为输出图像，该图像信号包括其中高频图像的各个像素的像素值加到图像质量已被增强的低频图像的单个像素的像素值的像素值。
[0023 ]本技术的一方面的内窥镜系统的配置中的每一个可以是独立的装置，并且可以是用作内窥镜系统的配置中的每一个的块。
[0024]本发明的效果
[0025]根据本技术的方面，根据依照内窥镜系统中的成像时的亮度的条件信息，冲突的效果可被调节为良好平衡，诸如，取决于图像的图像质量增强处理的处理负荷的降低以及分辨率提高。
【附图说明】
[0026]图1是示出了腹腔镜手术的概要的示图。
[0027]图2是示出了应用本技术的内窥镜系统的配置实例的框图。
[0028]图3是示出了图2的内窥镜装置的另一配置实例的框图。
[0029]图4是用于描述图2的图像处理装置的第一实施方式的配置实例的示图。
[0030]图5是用于描述通过图4的图像处理装置的图像处理的流程图。
[0031 ]图6是用于描述低频和高频合成单元的操作的示图。
[0032]图7是用于描述图2的图像处理装置中的图像处理的效果的示图。
[0033]图8是用于描述图2的图像处理装置中的图像处理的效果的示图。
[0034]图9是用于描述图2的图像处理装置的第二实施方式的配置实例的示图。
[0035]图10是用于描述通过图9的图像处理装置的图像处理的流程图。
[0036]图11是用于描述通用个人计算机的配置实例的示图。
【具体实施方式】
[0037]〈内窥镜系统的概要〉
[0038]图1是用于描述应用本技术的内窥镜系统的概要的示图。
[0039]近几年，在医疗场所中，内窥镜系统用在代替常规腹部手术执行的腹腔镜手术中。
[0040]就是说，如图1所示，在腹腔镜手术中，当执行腹部手术时，例如，代替常规执行的通过切割腹壁I来剖腹，被称为套管针2的开口仪器附接至若干位置中的腹壁I，并且腹腔镜(在下文中，被称为内窥镜装置或内窥镜)11以及处理工具3从设置至套管针2的孔插入身体。然后，当通过内窥镜装置11视频成像来实时观看患部(肿瘤等)4的图像时，由处理工具3执行诸如患部4的切除的处理。
[0041]在图1所示的线性棒状内窥镜装置11中，由外科医生、助理、内窥镜操作者、机器人等保持头部24。
[0042]〈内窥镜系统的配置实例〉
[0043]此处，参考图2，描述作为本技术的实施方式的内窥镜系统的配置实例。内窥镜系统10包括内窥镜装置11、图像处理装置12以及显示装置13。
[0044]除了经由线缆连接以外，内窥镜装置11与图像处理装置12可彼此无线连接。此外，图像处理装置12可布置在远离操作室的位置，并且可经由诸如内部LAN和因特网的网络来连接。对于图像处理装置12与显示装置13之间的连接，也是相同的。
[0045]内窥镜装置11包括线性棒状透镜镜筒部21和头部24。透镜镜筒部21被称为望远镜或刚性管，并且它的长度大约为几十厘米，并且插入身体的一侧的一端设置有物镜22，并且另一端连接至头部24。中继光学系统的光学透镜部23设置在透镜镜筒部21内部。顺便提及，透镜镜筒部21的形状不限于线性棒状形状。
[0046]粗略分类，透镜镜筒部21包括直视镜和斜视镜，在直视镜中，它的透镜镜筒轴线与图2的光轴相同，并且在斜视镜中，它的透镜镜筒轴线与光轴形成预定角度。图2的透镜镜筒部21是直视镜的实例。
[0047]成像单元25结合在头部24中。成像单元25具有诸如互补金属氧化物半导体(CMOS)图像传感器的成像元件，并且以预定帧速率将从透镜镜筒部21输入的患部的光学图像转换为图像信号。此外，内窥镜装置11连接至光源装置14，并且接收成像所需的光源的供应以照亮患部4。此时，光源装置14能够切换发射的各种波长的光，并且能够发射除了常规光以外的特殊光以特别地识别患部4。因此，对于由成像单元25成像的图像，除了通过常规光的图像信号以外，也可成像通过特殊光的图像信号。
[0048]在内窥镜装置11中，由物镜22聚焦的患部4的光学图像经由光学透镜部23进入头部24的成像单元25，并且在后续阶段中，该光学图像由成像单元25转换为预定帧速率的图像信号以输出至图像处理装置12。此外，头部24具有向图像处理装置12提供信息作为条件信息(诸如，由光源装置14发射的光的类型、物镜22的孔径以及光学透镜部23的孔径)的配置。通过为用户提供提前输入至头部24的未示出的一部分的配置，条件信息可提供至图像处理装置12作为来自该部分的条件信息。此外，它可被配置为使得图像处理装置12通过分析在图像处理装置12中成像的图像信号来自身识别条件信息。本文中，假定条件信息通过任意方法输入至图像处理装置12而进行描述。顺便提及，它可被配置为使得从光源装置14提供至图像处理装置12的光的类型的信息直接从光源装置14提供至图像处理装置12。
[0049]图3示出内窥镜装置11的另一配置实例。如图3所示，成像单元25可布置为紧接物镜22之后，并且透镜镜筒部21内部的光学透镜部23可省略。
[0050]〈图像处理装置的第一实施方式〉
[0051]接下来，参考图4的框图，描述图像处理装置12的第一实施方式的配置实例。
[0052]图像处理装置12包括:低频提取单元51、高频提取单元52、缩小单元53、噪声降低单元54、颜色校正单元55、放大单元56、低频与高频合成单元57、结构增强单元58以及电子缩放单元59。
[0053]低频提取单元51提取输入图像中的低频分量以便向高频提取单元52和缩小单元53输出该低频分量。更详细地，低频提取单元51包括，例如，低通滤波器(LPF)，并且提取输入图像中的低频分量以便向高频提取单元52和缩小单元53输出该低频分量作为低频图像。
[0054]高频提取单元52提取输入图像的每个像素的高频分量以便向低频与高频合成单元57输出该低频分量。更详细地，高频提取单元52例如，通过减去从输入图像的每个像素的低频提取单元51提供的低频分量，来提取输出至低频与高频合成单元57的高频分量。根据条件信息，当不需要高频分量时，高频提取单元52停止高频分量的提取，该条件信息包括光源装置14中发射的光源的类型以及物镜22和光学透镜部23的孔径。
[0055]缩小单元53将包括低频分量的图像信号缩小为低分辨率图像以便向噪声降低单元54输出该图像作为缩小图像。更详细地，缩小单元53通过例如以预定间隔细化来缩小像素分辨率以便缩小包括低频分量的图像信号的像素信号。
[°°56] 噪声降低单元54执行缩小图像的噪声降低处理。更具体地，噪声降低单元54例如，对缩小图像执行2维噪声降低(2D NR)处理(二维噪声降低处理)和3维噪声降低(3D NR)处理(三维噪声降低处理)以降低噪声，并且向放大单元56输出该处理的图像。本文中，二维噪声降低处理是所谓的使用缩小图像中的图像的信号的空间方向噪声降低处理，并且三维噪声降低处理是所谓的使用时间方向上的多个图像的时间方向噪声降低处理。
[0057]颜色校正单元55对执行过噪声降低处理的缩小图像执行颜色校正，以便向放大单兀56输出该缩小图像。
[0058]当由缩小单元53执行缩小处理时，放大单元56以对应于缩小比例的放大比例来放大对其执行频带增强的缩小图像，并且将该图像转换为与输入图像的尺寸相同的图像尺寸，以便向低频与高频合成单元57输出该图像作为包括低频分量的图像信号的低频图像。
[0059]基于根据成像识别亮度的条件信息(诸如，来自光源装置14的光源的类型、内窥镜装置11中的光学透镜部23以及光学透镜部23的孔径尺寸的)，低频与高频合成单元57控制加法单元57a(图6)，该加法单元结合为向结构增强单元58输出图像作为只提高低频分量的图像信号的图像质量的图像信号或者高频分量的图像信号与低频分量的图像信号被加到一起的图像信号。
[0060]就是说，当任意信息(诸如，表示通过光源装置14发射的光是特殊光的信息、表示物镜22的孔径尺寸小于预定尺寸的信息以及光学透镜部23的孔径尺寸小于预定尺寸的信息)作为条件信息被包括时，它导致该信息表示根据成像的亮度为相对黑暗的状态。在这种情况下，它导致噪声分量大量包括在高频分量中，尤其在输入图像的高频分量中。因此，对于这种条件信息的情况，低频与高频合成单元57停止加法单元57a (图6)的操作，并且输出只包括其图像质量增强的低频分量的低频图像作为图像质量增强处理结果。就是说，在特殊光成像的情况下，从噪声分量被大量包括在高频分量中的事实，通过只输出低频图像，变得可以输出S/N(信号与噪声比例)优良但分辨率低的图像。
[0061]另一方面，当所有信息(诸如，表示通过光源装置14发射的光是包括白色光的常规光的信息、物镜22的孔径尺寸大于预定尺寸的信息以及光学透镜部23的孔径尺寸大于预定尺寸的信息)作为条件信息被包括时，它导致该信息表示根据成像的亮度为相对亮的状态。在这种情况下，即使在高频分量中，噪声分量也相对小。因此，低频与高频合成单元57控制加法单元57a(图6)输出其中高频分量被加到其每个像素的图像质量被提高的低频分量的结果作为图像质量增强处理结果。以此方式，通过基于根据成像时的亮度的条件信息来切换处理，其图像质量被适当提高的图像以合适的分辨率输出至后续阶段。就是说，在常规光成像的情况下，由于在高频分量中噪声分量相对小，所以可以通过将高频图像与其图像质量增强的低频图像相加来输出高分辨率且高质量的图像。
[0062]结构增强单元58对图像质量被提高的图像信号执行结构增强处理，以便向电子缩放单元59输出该图像信号。
[0063]电子缩放单元59将从结构增强单元58提供的且对其执行结构增强处理的图像信号电子放大至用于显示装置13的合适尺寸以输出该图像信号，。
[0064]〈通过图4的图像处理装置的图像处理〉
[0065]接下来，参考图5的流程图，描述通过图4的图像处理装置12的图像处理。顺便提及，本文中，假定提供表示是处于发射白色光(该白色光为从光源装置14向图像处理装置12的常规光)的常规成像的状态还是处于发射特殊光的特殊光成像的状态。此外，假定内窥镜装置11中的物镜22的信息以及根据光学透镜部23的孔径的信息也作为条件信息提供至图像处理装置12。
[0066]在步骤Sll中，低频提取单元51利用LPF对输入图像的每个像素的低频分量执行提取处理，并且提取低频分量以输出至高频提取单元52和缩小单元53。
[0067]在步骤S12中，高频提取单元52确定来自光源装置14的条件信息是否是表示常规光成像或相对亮的常规光的成像状态(诸如，在使用其孔径大于预定尺寸的物镜22和光学透镜部23的情况)的条件信息。在步骤S12中，例如，当条件信息是表示它是相对明亮的状态的成像状态的一种时，处理进行至步骤S13。
[0068]在步骤S13中，通过减去输入图像的每个像素的低频分量，高频提取单元52提取高频分量并且向低频与高频合成单元57输出该高频分量。顺便提及，在步骤S12中，当条件信息表示相对黑暗状态的成像状态时，跳过步骤S13的处理。就是说，在该情况下，如随后描述的，在后续阶段中，不需要高频分量，使得不执行包括高频分量的图像信号的提取。因此，变得可以降低用于提取高频分量的处理负荷。
[0069]在步骤S14中，缩小单元53缩小包括输入图像的低频分量的图像信号的图像尺寸，以便向噪声降低单元54输出该图像信号作为包括低频分量的缩小图像。
[0070]在步骤S15中，噪声降低单元54对包括低频分量的缩小图像执行噪声降低处理，以便向颜色校正单元55输出缩小图像。
[0071]在步骤S16中，颜色校正单元55对执行过噪声降低处理且包括低频分量的缩小图像执行颜色校正，以便向放大单元56输出缩小图像。
[0072]在步骤S17中，当在缩小单元53中执行缩小时，放大单元56以对应于缩小比例的放大比例放大对其执行噪声降低的缩小图像，并且返回至与输入图像的图像尺寸相同的图像尺寸，以便向低频与高频合成单元57输出该图像。
[0073]在步骤S18中，基于条件信息，低频与高频合成单元57确定它是否处于相对明亮的状态的成像状态，并且当它表示它处于相对明亮的状态的成像状态时，处理进行至步骤S19。
[0074]在步骤S19中，低频与高频合成单元57将从放大单元56提供的且对其执行噪声降低处理的低频分量的图像信号(低频图像)与从高频提取单元52提供的高频分量的图像信号(高频图像)相加到一起以合成，并且向结构增强单元58输出该合成的图像信号作为其图像质量增强的图像(输出图像)。就是说，如图6的上部所示的，低频与高频合成单元57控制其内部的加法单元57a，以便将从放大单元56提供的且对其执行噪声降低处理的低频分量的图像信号(低频图像)与从高频提取单元52提供的高频分量的图像信号(高频图像)加到一起。然后，低频与高频合成单元57以高分辨率向结构增强单元58输出图像信号(其是加法结果)，并且作为其图像质量增强的图像信号(输出图像)。
[0075]另一方面，在步骤S18中，基于条件信息，当表示它是处于相对黑暗状态的成像状态时，处理进行至步骤S20。
[0076]在步骤S20中，低频与高频合成单元57只原样地输出包括从放大单元56提供至结构增强单元58的低频分量的图像信号(低频图像)作为对其执行噪声降低处理的图像信号(输出图像)。就是说，如图6的下部所示的，低频与高频合成单元57停止结合的加法单元57a中的操作，并且只向结构增强单元58输出从放大单元56提供的且对其执行噪声降低处理的低频分量的图像信号(低频图像)作为其图像质量增强的图像信号(输出图像)。
[0077]在步骤S21中，结构增强单元58对从低频与高频合成单元57提供的图像信号执行结构增强处理，以便向电子缩放单元59输出图像信号。
[0078]在步骤S22中，电子缩放单元59对执行过结构增强处理的图像信号执行转换处理，该转换处理将该图像信号转换为适于显示装置13的分辨率，并且将转换的图像信号输出至显示装置13以进行显示。
[0079]利用以上处理，基于条件信息，在包括白色光的常规光的成像或者亮度足够的常规成像(诸如，在包括大孔径的物镜22和光学透镜部23的条件下的成像(透镜镜筒部(光学范围)21的直径大且厚的情况))的情况下，由于成像的图像信号的高频分量中的噪声信号的比例低的事实，输出高频分量以及其图像质量增强的低频分量被加到一起的图像作为对其执行噪声降低处理的图像。
[0080]另一方面，在特殊光的成像或亮度不足的成像(诸如，小孔径的光学透镜部23(透镜镜筒部(光学范围)21的直径小且薄的情况))的情况下，由于图像信号的高频分量中的噪声信号的比例高的事实，在不将高频分量加到低频分量的情况下，输出其图像质量增强的低频分量的图像作为输出图像。
[0081]因此，如图7的左侧所示的，在白色光成像(常规成像)中，由于高频分量中的噪声分量小，所以与图的右侧所示的特殊光成像相比，变得可能输出高质量且高分辨率的图像。另一方面，如图的右侧所示的，在特殊光成像中，由于高频分量中的噪声分量大，所以与图的右侧所示的白色光成像(常规成像)相比，变得可以使得图像S/N比例状态高(由图中的箭头表示的量)但是分辨率低。
[0082]顺便提及，在图7中，在左边部分中，示出了高频分量被加至其的图像中的分辨率和S/N比例，并且在右边部分中，示出了高频分量未加至其的图像中的分辨率和S/N比例。
[0083]就是说，如图8的左上部的图像所示，对于高频分量中的噪声小的常规成像，可实现的分辨率比图8的右上部的图像的分辨率更高，并且可提供更清晰的图像。此外，如图8的右下部的图像所示，对于高频分量中的噪声大的特殊光成像，通过将S/N比例提高得优于图8的左下部的图像的S/N比例，变得可以提高灵敏度，并且提供更易识别的图像。
[0084]顺便提及，在图8中，在左边部分中，图像被示出为添加有高频分量，并且在右边部分中，图像被示出为未添加有高频分量。此外，在图8中，在上部示出常规成像中的图像，并且在下部示出特殊光成像的图像。
[0085]此外，对于低频分量，图像被缩小并且经历噪声降低和颜色校正，并且随后放大至返回至输入图像的尺寸，使得变得可以降低噪声降低和颜色校正的每个处理中的处理负荷。
[0086]因此，变得可以显示根据成像状态对其适当执行质量增强或S/N比例提高的图像。
[0087]此外，在上文中，已经描述在相对黑暗环境的成像情形(其中，成像条件包括大量噪声分量)的情况下，停止高频提取单元52中的操作的实例;然而，在低频与高频合成单元57中，高频分量不被加到低频分量，使得即使当高频提取单元52始终操作时，也能够实现相同效果。
[0088]〈图像处理装置的第二实施方式〉
[0089]在上文中，已经描述输入图像的低频分量被缩小至统一尺寸并且经历噪声降低和颜色校正并且随后被放大的实例。然而，当变黑暗时，包括在高频分量中的噪声分量的比例的水平(即，S/N比例)降低，并且噪声比例增加。因此，例如，缩小尺寸可根据诸如成像时的输入图像和亮度的成像条件而改变。
[0090]图9示出图像处理装置12的第二实施方式的配置实例，其中，使得缩小尺寸根据诸如成像时的输入图像和亮度的成像条件而改变。顺便提及，在图9的图像处理装置12中，与图4中的图像处理装置12的差异在于:提供缩小单元81和放大单元82而不是缩小单元53和放大单元56。
[0091]尽管缩小单元81与缩小单元53基本配置相同，但是缩小单元81进一步根据成像条件改变缩小比例并且缩小输入图像以进行输出。就是说，根据成像条件，对于更黑暗、噪声分量大且S/N比例低的图像，设定更高的缩小比例;并且，当条件更明亮且更接近常规成像时，使缩小比例更小。
[0092]根据成像条件，放大单元82以对应于缩小单元81的缩小比例的放大比例放大图像信号，以便向低频与高频合成单元57输出该图像信号。
[0093]就是说，利用这种配置，由于根据成像条件以缩小比例缩小的图像经历噪声降低和颜色校正并且随后放大以输出至低频与高频合成单元57，所以变得可以根据输入图像的噪声水平执行适当处理，并且变得可以适当降低处理负荷。
[0094]〈图9的图像处理装置中的图像处理〉
[0095]接下来，参考图10的流程图，描述图9的图像处理装置12中的图像处理。顺便提及，图10的流程图中的步骤341-343、345、346、348-352的处理与图5中的步骤311-313、315、S16、S18-S22相同，因此省略其描述。
[0096]就是说，在图10中的步骤S41-S43中，在提取低频分量和高频分量的图像信号之后，在步骤S44中，基于条件信息，随着条件更接近常规成像的条件，缩小单元81使得缩小比例更小并且缩小以将尺寸保留得更接近原始图像，并且高频分量包括大量噪声分量的图像(诸如，特殊成像)被缩小至更小尺寸。
[0097]当在步骤S45、S46中执行噪声降低和颜色校正时，在步骤S47中，基于条件信息，放大单元82以对应于缩小单元81中的缩小比例的放大比例来放大图像，以便向低频与高频合成单元57输出该图像。
[0098]然后，在步骤S48-S52中，执行高频与低频合成、结构增强以及电子缩放处理。
[0099]因此，与上述处理相同，根据成像条件，分辨率与S/N比例被调整为良好平衡，并且进一步地，变得可以根据成像条件适当降低处理负荷。
[0100]〈由软件执行的实例〉
[0101]顺便提交，上述一系列处理可由硬件执行；然而，它也可由软件执行。当由软件执行该系列处理时，配置软件的程序从记录介质安装至结合在专用硬件中的计算机，或者，例如，通过安装各种程序能够执行各种功能的通用个人计算机。
[0102]图11示出通用个人计算机的配置实例。个人计算机结合中央处理单元(CPU)lOOl。CPU 1001经由总线1004连接至输入/输出接口 1005。总线1004连接至只读存储器(ROM) 1002和随机存取存储器(RAM) 1003。
[0103]输入/输出接口 1005连接至:输入单元1006，该输入单元包括诸如键盘、用于用户输入操作命令的鼠标的输入设备;输出单元1007，该输出设备用于向显示设备输出处理操作屏幕并且输出处理结果的图像;存储单元1008，该存储单元包括用于存储程序和各种数据的硬盘驱动等；以及通信单元1009，该通信单元包括用于经由以因特网为代表的网络执行通信处理的局域网(LAN)适配器等。此外，连接驱动器1010以从可移除介质1011(诸如，磁盘(包括柔性磁盘)、光盘(包括光盘-只读存储器(CD-ROM)、数字通用磁盘(DVD)、磁光盘(包括迷你磁碟(MD))或半导体存储器)读取数据并且将数据写入至可移除介质1011。
[0104]CPU 1001根据存储在ROM 1002中的程序或者从可移除介质1011 (诸如，磁盘、光盘、磁光盘或半导体存储器)读取的安装至存储单元1008且从存储单元1008加载至RAM1003的程序来执行各类处理。在RAM 1003中，也适当存储CPU 1001执行各种处理所需的数据。
[0105]在如上所述配置的计算机中，例如，CPU1001经由输入/输出接口 1005以及总线1004将存储在存储单元1008中的程序加载至RAM 1003，以便执行上述一系列处理。
[0106]例如，通过记录在可移除介质1011中作为封装介质等，可提供由计算机(CPU1001)执行的程序。此外，经由有线或无线传输介质(例如，局域网、因特网或数字卫星广播)，可提供该程序。
[0107]在计算机中，通过将可移除介质1011安装至驱动器1010，程序可经由输入/输出接口 1005安装至存储单元1008。此外，通过经由有线或无线传输介质来接收通信单元1009，程序可安装至存储单元1008。此外，该程序可提前安装至ROM 1002或存储单元1008。
[0108]顺便提及，由计算机执行的程序可以是沿着本文描述的顺序以时间序列来执行处理的程序，也可以是并行地或在需要时(诸如，被调用时)执行处理的程序。
[0109]此外，本文中，系统意味着多个组成部分(装置、模块(部件)等)的聚合，并且与该组成部分是否处于相同机柜中无关。因此，容纳在单独机柜中并且经由网络彼此连接的多个装置与在一个机柜中容纳多个模块的一个装置都是系统。
[0110]顺便提及，本技术的实施方式并不局限于上述实施方式，并且在不背离本技术的范围的情况下，各种变形是可能的。
[0111]例如，本技术可采用云计算的配置，该云计算经由网络分享多个装置中的一个功能以协作地进行处理。
[0112]此外，在以上流程图中描述的每个步骤可通过在多个装置中共享而执行，而不是通过一个装置执行。
[0113]此外，当多个处理被包括在一个步骤中时，包括在一个步骤中的多个处理可通过在多个装置中共享而执行，而不是通过一个装置执行。
[0114]顺便提及，本技术还可采用以下配置。
[0115](I)—种内窥镜系统，包括:
[0116]内窥镜装置，该内窥镜装置包括设置在插入至体腔的刚性插入部的顶端处的物镜；
[0117]成像单元，该成像单元用于对从内窥镜装置输入并且由物镜聚焦的光学图像进行成像，并且输出该光学图像作为图像信号；
[0118]低频分量提取单元，该低频分量提取单元用于从图像信号提取作为频率分量的低频图像；
[0119]高频分量提取单元，该高频分量提取单元用于从图像信号提取作为高频分量的高频图像；
[0120]图像质量增强处理单元，该图像质量增强处理单元用于对低频图像执行图像质量增强处理；以及
[0121]输出单元，该输出单元用于至少输出其图像质量已被图像质量增强处理单元增强的低频图像作为输出图像，其中，
[0122]根据在成像单元中成像时的条件信息，输出单元输出如下图像信号作为输出图像:该图像信号包括其中高频图像的每个像素的像素值被加到图像质量已被增强的低频图像的每个像素的像素值的像素值。
[0123](2)根据项(I)所述的内窥镜系统，其中，
[0124]条件信息是表示是否处于增加在成像单元中成像的图像信号的噪声分量的比例的条件的信息。
[0125](3)根据项(2)所述的内窥镜系统，其中，
[0126]在条件信息中表示是否处于增加在成像单元中成像的图像信号的噪声分量的比例的条件的信息包括:表示由用于在成像单元执行成像时发射照明光的光源装置发射的光的类型的信息，以及内窥镜装置中的物镜的孔径和设置在成像单元与物镜之间的中继透镜的孔径的信息。
[0127](4)根据项(I)至项(3)中任一项所述的内窥镜系统，进一步包括:
[0128]缩小单元，该缩小单元用于以预定缩小比例缩小低频图像；以及
[0129]放大单元，该放大单元用于以对应于缩小比例的放大比例放大图像，其中，
[0130]图像质量增强处理单元对缩小的低频图像执行图像质量增强处理。
[0131](5)根据项(4)所述的内窥镜系统，其中，
[0132]缩小单元以根据条件信息的缩小比例缩小低频图像;并且
[0133]放大单元根据条件信息以对应于缩小比例的缩放比例放大已经对其执行图像质量增强处理的低频图像的缩小图像。
[0134](6)根据项(I)至项(5)中任一项所述的内窥镜系统，其中，
[0135]图像质量增强处理单元包括空间方向噪声降低、时间方向噪声降低、颜色校正以及频带增强的处理。
[0136](7)根据项(I)至项(6)中任一项所述的内窥镜系统，其中，
[0137]根据在成像单元中成像时的条件信息，当处于增加在成像单元中成像的图像信号的噪声分量的比例的条件时，高频分量提取单元停止从图像信号提取高频图像。
[0138](8)—种用于操作内窥镜系统的方法，包括:
[0139]对从内窥镜装置输入并且由物镜聚焦的光学图像进行成像，该内窥镜装置包括设置在插入至体腔的刚性插入部的顶端处的物镜，并且输出光学图像作为图像信号；
[0140]从图像信号提取作为低频分量的低频图像；
[0141]从图像信号提取作为高频分量的高频图像；
[0142]对低频图像执行图像质量增强处理；
[0143]至少输出其图像质量已被图像质量增强处理单元增强的低频图像作为输出图像；以及
[0144]根据成像时的条件信息，输出如下图像信号作为输出图像:该图像信号包括其中高频图像的每个像素的像素值被加到图像质量已被增强的低频图像的每个像素的像素值的像素值。
[0145](9) 一种用于使计算机用作如下部分的程序:
[0146]内窥镜装置，该内窥镜装置包括设置在插入至体腔的刚性插入部的顶端处的物镜；
[0147]成像单元，该成像单元用于对从内窥镜装置输入并且由物镜聚焦的光学图像进行成像、并且输出光学图像作为图像信号；
[0148]低频分量提取单元，该低频分量提取单元用于从图像信号提取作为低频分量的低频图像；
[0149]高频分量提取单元，该高频分量提取单元用于从图像信号提取作为高频分量的高频图像；
[0150]图像质量增强处理单元，该图像质量增强处理单元用于对低频图像执行图像质量增强处理；以及
[0151]输出单元，该输出单元用于至少输出其图像质量已被图像质量增强处理单元增强的低频图像作为输出图像，其中，
[0152]根据在成像单元中成像时的条件信息，输出单元输出如下图像信号作为输出图像:该图像信号包括其中高频图像的每个像素的像素值被加到图像质量已被提高的低频图像的每个像素的像素值的像素值。
[0153]符号说明
[0154]2 套管针
[0155]10内窥镜系统
[0156]11内窥镜装置
[0157]12图像处理装置
[0158]13显示装置
[0159]14光源装置
[0160]21透镜镜筒部
[0161]22 物镜
[0162]23光学透镜部
[0163]24 头部
[0164]25成像单元
[0165]51低频提取单元
[0166]52高频提取单元
[0167]53缩小单元
[0168]54噪声降低单元
[0169]55颜色校正单元
[0170]56放大单元
[0171]57低频与高频合成单元
[0172]58结构增强单元
[0173]59电子缩放
[0174]81缩小单元
[0175]82放大单元。
【主权项】
1.一种内窥镜系统，包括: 内窥镜，在将插入至体腔的插入部的顶端处设置有物镜； 图像捕获单元，捕获从所述内窥镜输入并且由所述物镜会聚的光学图像、并且输出所捕获的图像作为图像信号； 低频分量提取单元，提取频率分量低于所述图像信号的低频图像； 高频分量提取单元，提取频率分量高于所述图像信号的高频图像； 图像质量增强处理器，对所述低频图像应用图像质量增强处理；以及 输出单元，至少输出图像质量已被所述图像质量增强处理器增强的所述低频图像作为输出图像， 其中，根据由所述图像捕获单元执行图像捕获时的条件信息，所述输出单元输出如下图像信号作为所述输出图像:所述图像信号包括通过将所述高频图像的各个像素的像素值加到图像质量已被增强的所述低频图像的各个像素的像素值而得到的像素值。2.根据权利要求1所述的内窥镜系统， 其中，所述条件信息是表示是否满足如下条件的信息:在所述条件下，由所述图像捕获单元捕获的所述图像信号具有更高比例的噪声分量。3.根据权利要求2所述的内窥镜系统， 其中，在所述条件信息中表示是否满足所述条件的信息包括表示由在所述图像捕获单元捕获图像时发射照明光的光源设备发射的光的类型的信息、以及关于所述内窥镜设备中的所述物镜的孔径以及位于所述图像捕获单元与所述物镜之间的中继透镜的孔径的信息，在所述条件下，由所述图像捕获单元捕获的所述图像信号具有更高比例的噪声分量。4.根据权利要求1所述的内窥镜系统，进一步包括: 尺寸缩小单元，以特定缩小比例缩小所述低频图像的尺寸；以及 放大单元，以对应于所述缩小比例的放大比例放大图像， 其中，所述图像质量增强处理器对尺寸缩小的所述低频图像应用所述图像质量增强处理。5.根据权利要求4所述的内窥镜系统， 其中，所述尺寸缩小单元以根据所述条件信息的缩小比例缩小所述低频图像的尺寸，并且 所述放大单元以与根据所述条件信息的所述缩小比例对应的放大比例放大已经经历所述图像质量增强处理的尺寸缩小的所述低频图像。6.根据权利要求1所述的内窥镜系统， 其中，所述图像质量增强处理器包括空间方向噪声降低、时间方向噪声降低、颜色校正以及频带突出的处理。7.根据权利要求1所述的内窥镜系统， 其中，根据由所述图像捕获单元执行图像捕获时的所述条件信息，当满足如下条件时所述高频分量提取单元停止从所述图像信号提取所述高频图像:在所述条件下，由所述图像捕获单元捕获的所述图像信号具有更高比例的噪声分量。8.一种内窥镜系统的操作方法，所述方法包括: 捕获从内窥镜输入的光学图像，并且输出所捕获的图像作为图像信号，所述内窥镜在将插入至体腔的插入部的顶端处设置有物镜，所述光学图像由所述物镜会聚； 提取频率分量低于所述图像信号的低频图像； 提取频率分量高于所述图像信号的高频图像； 对所述低频图像应用图像质量增强处理； 至少输出图像质量已被图像质量增强处理器增强的所述低频图像作为输出图像；以及根据图像捕获时的条件信息，输出如下图像信号作为所述输出图像:所述图像信号包括通过将所述高频图像的各个像素的像素值加到图像质量已被增强的所述低频图像的各个像素的像素值而得到的像素值。9.一种用于使计算机用作如下部分的程序: 内窥镜，在将插入至体腔的插入部的顶端处设置有物镜； 图像捕获单元，捕获从所述内窥镜输入并且由所述物镜会聚的光学图像、并且输出所捕获的图像作为图像信号； 低频分量提取单元，提取频率分量低于所述图像信号的低频图像； 高频分量提取单元，提取频率分量高于所述图像信号的高频图像； 图像质量增强处理器，对所述低频图像应用图像质量增强处理；以及输出单元，至少输出图像质量已被所述图像质量增强处理器增强的所述低频图像作为输出图像， 其中，根据由所述图像捕获单元执行图像捕获时的条件信息，所述输出单元输出如下图像信号作为所述输出图像:所述图像信号包括通过将所述高频图像的各个像素的像素值加到图像质量已被增强的所述低频图像的各个像素的像素值而得到的像素值。
【文档编号】A61B1/04GK105916430SQ201580004855
【公开日】2016年8月31日
【申请日】2015年11月12日
【发明人】宫井岳志
【申请人】索尼公司