专利名称：医用图像处理方法
技术领域：
本发明涉及识别从食道到胃的边界附近的粘膜组织等的性状的医用图像处理方法。
背景技术：
近年来，使用内窥镜进行内窥镜检查等的内窥镜装置，在医疗用领域和工业用领域中被广泛采用。在医疗用领域中，例如将内窥镜的插入部插入体腔内，来观察检查对象部位，由此诊断检查对象部位属于正常状态还是性状已变化的性状变化状态。
在这种情况下，可以从内窥镜图像通过图像处理进行属于正常状态还是性状变化状态的判定，手术医生通过重点诊断该判定结果的部位，可以进行有效诊断。
例如，作为以往的示例，日本国特开2000-155840号公报记载了减小摄像条件的影响，根据性状变化部位和正常部位的边界形状的相关信息，来计算特征量。
但是，上述以往示例由于边界形状的相关信息是边界处的浓度梯度的方向变化，所以特别是在边界的形状自身具有特征的情况下，有可能不易检测成为检测对象的性状变化部。
巴瑞特(Barrett)粘膜是在食道和胃的接合部(粘膜边界)，由于倒流性食道炎等的影响，食道的扁平上皮被置换为胃的粘膜而形成的。在巴瑞特粘膜距正常的粘膜边界3cm以上、并且产生于整个食道管腔断面的情况下，被诊断为巴瑞特食道这样的疾病。
巴瑞特食道特别在欧美有所增加，并且以较高的概率产生腺癌，已成为重大问题，所以尽早发现巴瑞特粘膜非常重要。
巴瑞特粘膜不仅产生于整个食道，有时也局部发展并产生舌状或Z字状的粘膜边界像(也被称为Z形线)。
并且，在巴瑞特粘膜中残留有孤立成岛状的食道的扁平上皮，在不能发现舌状等的边界观察结果时，有时也可以诊断巴瑞特粘膜。而且，食道的扁平上皮相对呈现白色调，巴瑞特粘膜呈现红色调。
并且，在上述以往示例中，在图像中存在暗部时，有可能不易检测成为检测对象的性状变化部位。
在从食道到靠近胃的边界附近的内窥镜检查中，在从管腔形状的食道到其深处的胃的部分中，例如图像中存在暗部的情况较多，在以往示例中，由于这种暗部等，有可能不能进行更加合适的判定或检测。即，在反γ校正和黑斑校正等预处理中，通过使暗部的一部分变明亮等，有可能得到改善，但是可以说不能消除暗部。因此，由于暗部等区域，不能提高图像处理结果的精度。
发明内容
本发明就是鉴于上述情况而完成的，其目的在于，提供一种可以通过图像处理检测巴瑞特粘膜等成为检测对象的性状变化粘膜的医用图像处理方法。
本发明的第一方式的医用图像处理方法对拍摄了活体粘膜的医用图像进行图像处理，其特征在于，该方法包括边界信息检测步骤，其从所述医用图像中检测相当于所述活体粘膜的边界部分的边界信息；以及粘膜性状检测步骤，其根据在所述边界信息检测步骤中检测的边界信息，检测是否存在性状不同的活体粘膜。
根据上述结构，根据在边界信息检测步骤中检测的边界信息，检测是否存在性状不同的活体粘膜，由此可以检测有无食道粘膜已变性的巴瑞特粘膜等性状变化粘膜。
并且，本发明的第二方式的医用图像处理方法对与拍摄了活体粘膜的两种颜色以上的医用图像对应的图像信号进行图像处理，其特征在于，该方法包括第1步骤，其进行从所述医用图像的检测对象中去除不合适的像素，并设定处理对象区域的处理；第2步骤，其进行至少对所述处理对象区域的一个以上的每个像素数，计算色调特征量的处理；以及第3步骤，其进行根据所计算的所述色调特征量，来检测特定的活体粘膜的存在的处理。
根据上述结构，可以通过图像处理，从边界部分的形状、像素的色调等中检测巴瑞特粘膜等成为检测对象的性状变化粘膜，而且不受图像中的暗部等不合适部分的影响。
图1是表示具有本发明的实施例1的图像处理方法的功能的内窥镜系统的结构的方框图。
图2是表示按照处理程序由CPU生成边界坐标点列的处理功能的结构的方框图。
图3是表示按照处理程序由CPU生成粘膜边界检测结果的处理功能的结构的方框图。
图4是表示由CPU处理的处理步骤的流程图。
图5A是表示设定了从原图像抽取的边缘的图像示例的图。
图5B是表示设定了从原图像进行形状判定的控制点的图像示例的图。
图6是表示从边界坐标点列确定曲折点的处理步骤的流程图。
图7是图6的处理步骤中计算曲折点的顶点评价值的说明图。
图8是表示从曲折点的候选点确定曲折点的处理步骤的流程图。
图9是从曲折点的候选点列确定曲折点的说明图。
图10是基于移动平均的边界坐标点列的平滑化的说明图。
图11是表示本发明的实施例2的按照处理程序，由CPU生成粘膜边界检测结果的处理功能的结构的方框图。
图12是表示由CPU处理的处理步骤的流程图。
图13A是表示原图像的图像示例的图。
图13B是表示在图13A的原图像中设定有边界坐标点列的图像的图。
图14是表示本发明的实施例3的按照处理程序，由CPU生成粘膜边界检测结果的处理功能的结构的方框图。
图15是表示由CPU处理的处理步骤的流程图。
图16A是表示设定了从原图像抽取的边缘的图像的图。
图16B是表示在图16A的图像的边界坐标点列上设定的局部区域等的图。
图17是表示具有第1变形例的内窥镜系统的主要部分的图。
图18是表示具有第2变形例的胶囊型内窥镜系统的结构的方框图。
图19是表示具有本发明的实施例4的图像处理方法的功能的内窥镜系统的结构的方框图。
图20是表示用于实现实施例4的图像处理方法的处理功能和所使用图像等的图。
图21是表示删除不需要区域的不需要区域删除处理的处理内容的流程图。
图22A是表示原图像的示例的图。
图22B是表示从图22A的原图像生成的不需要区域删除图像的图。
图22C是表示从图22B的不需要区域删除图像通过色调特征量的计算处理所生成的色调处理图像的图。
图22D是表示从图22C的色调处理图像所生成的区域标示图像的图。
图23是表示区域标示的处理内容的流程图。
图24是表示粘膜特征量计算的处理内容的流程图。
图25是表示具有实施例4的第1变形例的内窥镜系统的结构的一部分的图。
图26是表示用于实现实施例4的第2变形例的图像处理方法的处理功能和所使用图像等的图。
图27是表示划分为矩形小区域的图像示例的图。
图28是表示第2变形例的粘膜特征量计算的处理内容的流程图。
图29是表示用于实现本发明的实施例5的图像处理方法的处理功能和所使用图像等的图。
图30是表示存储粘膜信息的环缓冲器的图。
图31是表示粘膜确定的处理的流程图。
图32A是表示用于实现本发明的实施例6的图像处理方法的处理功能和所使用图像的图。
图32B是表示用于实现在图32A的处理之后进行的图像处理方法的处理功能和所使用图像等的图。
图33是表示划分为矩形小区域图像组的图像的图。
图34是表示处理对象区域确定的处理内容的流程图。
图35是根据所检测的暗部区域确定处理对象区域的说明图。
图36是表示所检测的暗部的图像示例的图。
图37是表示实施例6的变形例的具有胶囊型内窥镜的胶囊型内窥镜系统的结构的方框图。
具体实施例方式
以下，参照
本发明的各个实施例。
(实施例1)参照图1～图10说明本发明的实施例1。
图1所示的内窥镜系统1由内窥镜观察装置2、图像处理装置3和显示监视器4构成，所述图像处理装置3由个人计算机等构成，对通过该内窥镜观察装置2得到的图像进行图像处理，所述显示监视器4显示通过该图像处理装置3进行图像处理后的图像。
内窥镜观察装置2具有插入体腔内的内窥镜6；对该内窥镜6提供照明光的光源装置7；对内窥镜6的摄像单元进行信号处理的摄像机控制单元(简称为CCU)8；监视器9，其被输入从该CCU 8输出的影像信号，由此显示通过摄像元件拍摄的内窥镜图像。
内窥镜6具有插入体腔内的插入部11、和设于该插入部11的后端的操作部12。并且，在插入部11内插通着传送照明光的光导管13。
该光导管13的后端连接光源装置7。并且，从该光源装置7提供的照明光通过光导管13被传送，从安装于照明窗上的前端面射出所传送的照明光，所述照明窗设在插入部11的前端部14上。患部等被摄体被该照明光照明。
摄像装置17由安装在与照明窗相邻的观察窗上的物镜15、和配置在该物镜15的成像位置上的作为固体摄像元件的例如电荷耦合元件(简称为CCD)16构成。并且，在该CCD 16的摄像面上成像的光学像通过该CCD16进行光电转换。
该CCD16通过信号线与CCU 8连接，并被施加来自该CCU 8的CCD驱动信号，由此CCD 16输出光电转换后的图像信号。该图像信号通过CCU 8内的影像处理电路进行信号处理，被转换为影像信号。该影像信号被输出给监视器9，在监视器9的显示面上显示对应影像信号的由CCD16拍摄的图像，作为内窥镜图像。该影像信号也被输入图像处理装置3。
在本实施例中，内窥镜6在进行下述内窥镜检查时使用，其插入部11的前端部14被从口部插入，从食道一直插入到胃的边界附近，检查在该边界附近是否存在巴瑞特粘膜，该巴瑞特粘膜是成为检测对象粘膜的食道正常粘膜(具体地讲是扁平上皮)由于变性而呈现出胃粘膜部分的性状的粘膜(在本说明书中也称为性状变化粘膜)。
该情况时，与拍摄了体内的活体粘膜表面的内窥镜图像对应的影像信号也被输入图像处理装置3，通过以下说明的图像处理方法，对该影像信号进行是否存在巴瑞特粘膜的检测(判定)处理。
该图像处理装置3具有图像输入部21，其输入与从内窥镜观察装置2输入的内窥镜图像对应的影像信号；中央运算处理装置(简称为CPU)22，其对从该图像输入部21输入的图像数据进行图像处理；以及处理程序存储部23，其存储使该CPU 22执行图像处理的处理程序(控制程序)。
并且，该图像处理装置3还具有图像存储部24，其存储从图像输入部21输入的图像数据等；分析信息存储部25，其存储通过CPU 22处理的分析信息等；作为存储装置的硬盘27，其通过存储装置接口26存储通过CPU 22处理后的图像数据和分析信息等；显示处理部28，其进行用于显示通过CPU 22处理后的图像数据等的显示处理；以及输入操作部29，其由用户进行图像处理的参数等数据的输入和指示操作的键盘等构成。
并且，通过该显示处理部28生成的影像信号被输出给显示监视器4，在该显示监视器4的显示面上显示图像处理后的处理图像。另外，图像输入部21、CPU 22、处理程序存储部23、图像存储部24、分析信息存储部25、存储装置接口26、显示处理部28、以及输入操作部29通过数据总线30相互连接。
在本实施例中，如图2和图3所示，通过存储在处理程序存储部23中的处理程序A和处理程序B的处理，CPU 22对于检测对象粘膜，进行检测(判定)性状与正常粘膜不同的作为性状变化粘膜的巴瑞特粘膜的图像处理。图2的处理程序A进行从原图像31生成边缘检测图像32，并生成边界坐标点列33的处理。并且，针对该边界坐标点列33，按照图3所示的处理程序B进行生成粘膜边界检测结果34的处理。
如图2所示，进行处理程序A的CPU 22具有轮廓抽出滤波部35的功能，对原图像31进行轮廓抽出滤波，并生成边缘检测图像32。即，在成为判定对象的部位，在正常粘膜和变性粘膜中，图像数据的R、G、B浓度值不同。因此，通过检测或抽出轮廓(边缘)，可以检测正常粘膜和变性粘膜的边界。该图像数据的RGB的浓度值为公知的反γ校正后的值。
轮廓抽出滤波部35通过应用公知的带通滤波器和公知的边缘检测滤波器(例如Prewitt操作器、Sobel操作器)，生成边缘检测图像32。作为该边缘检测滤波器，在田村秀行著、总研出版的文献1《コンピュ一 像 門》的第120～122页中有详细记述。
并且，进行处理程序A的CPU 22具有二值化处理部36，其对边缘检测图像32进行二值化处理；细线化处理部37，其在该二值化处理后进行细线化处理；端点抽出部38，其在该细线化处理后进行端点抽出；以及连接线段抽出部39，其在抽出该端点后，进行连接线段抽出，生成边界坐标点列33。
二值化处理部36对边缘检测图像32设定规定的阈值θ，通过把大于等于该阈值θ的像素设为1、把小于规定阈值的像素设为0，生成二值化图像。
并且，细线化处理部37针对二值化处理后的图像，生成把线的像素值设为1、把背景的像素值设为0的细线化图像。细线化处理部37可以使用公知方法作为Hildlich的细线化方法，在能够保持像素的连接性的情况下，进行把该像素的像素值设为0来减小线宽的处理。
关于Hildlich的细线化方法，在文献2“软件库刊C MAGAZINE2000年第9期的‘ 像処 理を極 めるアルゴリズムラボ’”的第123～129页中有详细记述。
并且，端点抽出部38针对通过细线化处理部37进行了细线化处理的图像，沿着画面的扫描方向以3×3图案依次获取像素的数据。在所获取的图案的中心像素值为“1”，而且周围上下左右倾斜的像素值＝“1”的像素只有一个时，把该中心点的像素判定为端点，换言之判定为边界点。
并且，连接线段抽出部39把一个端点(边界点)作为出发点，对细线化图像进行跟踪处理，从而求出边界坐标点列。
该跟踪处理可以通过公知的边界线跟踪处理来实现，在田村秀行著、总研出版的文献3《コンピュ一 像 門》的第84～85页中有详细记述。
并且，进行图3所示处理程序A的CPU 22具有曲折点检测部41和形状评价部42的功能，所述曲折点检测部41对边界坐标点列33进行曲折点(弯曲点)的检测，所述形状评价部42对检测有该曲折点的边界坐标点列33进行形状评价，从而得出粘膜边界检测结果34。
形状评价部42在如后面所述检测到满足条件的曲折点时，在满足条件的曲折点的数量大于等于规定值时，判断是性状变化粘膜边界，在不存在曲折(弯曲)的凹凸时，即满足条件的曲折的方向只是一个方向时，判断不是性状变化粘膜边界。
下面，根据图4的处理流程说明巴瑞特边界判定的图像处理方法，该方法按照图2和图3的处理程序A和B，判定是否是成为判定对象的特定粘膜，具体地讲，是否是(作为食道正常粘膜的扁平上皮已变性的作为变性粘膜的)巴瑞特粘膜的边界。
在图像处理装置3的动作开始后，CPU 22读出处理程序存储部23的处理程序，开始基于该处理程序的处理。
即，执行图2所示的处理程序A的功能。更加具体地讲，如图4所示，CPU 22在最初的步骤S1中，从内窥镜观察装置2的CCU 8获取经过图像输入部21输入的作为原图像31的图像数据。
并且，在后面的步骤S2中，CPU 22对该图像数据进行上述公知的边缘检测处理，作为轮廓抽出滤波处理，生成边缘检测图像32。图5A表示边缘检测图像32。另外，在通过图1所示的直视型内窥镜6得到的拍摄了管腔状的食道内部的图像中，管腔的深部侧(胃侧部分)为暗部。并且，图5A的图像中的暗部对应于胃的入口附近的贲门附近。
在后面的步骤S3中，CPU 22对该边缘检测图像32进行上述的二值化处理，并进行细线化处理和端点抽出(获取边界)。
在后面的步骤S4中，CPU 22对所获取的边界进行跟踪处理，获得沿着边界的坐标点列、即边界的坐标点列。
然后，CPU 22进行图3的处理程序B的处理。即，CPU 22对在步骤S4中生成的边界的坐标点列，按照步骤S5所示，根据边界上的各点的顶点评价值A，计算例如N个曲折的曲折点。
该曲折点的计算处理将在后面使用图6叙述，但使用图7简单说明如下，抽出(设定)以边界上的各点为中心的其前后L/2长的曲线，计算其始点与终点的直线距离(弦长)作为顶点评价值A(j)，把其h点前后的小于顶点评价值A(j-h)和A(j+h)的点作为曲折点的候选，从这些候选中确定曲折点。
在后面的步骤S6中，CPU 22分别把表示控制点的数量的参数k和曲折点的参数i初始化为0、1，开始判定是否存在成为检测对象的性状变化粘膜的处理。
在将参数i、k初始化后，在后面的步骤S7中，CPU 22在所计算出的曲折点(i)中，进行其评价值B是否小于规定阈值thr的判定。该情况下，CPU 22计算顶点评价值A/L作为评价值B，并进行曲折点(i)中的该评价值B是否小于规定阈值thr的判定。
CPU 22对曲折点(i)中的所计算的评价值B，预先进行正常粘膜和性状已变化的性状变化粘膜的判定，更加具体地讲，利用从通过诊断确定的扁平上皮和巴瑞特粘膜分别取样的取样数据，与作为识别它们的基准值所设定的thr比较，从而进行判定。
并且，在满足评价值B＜thr的条件时，在步骤S8中，CPU 22获取该曲折点(i)作为控制点M，将参数k的值增加1。并且，在不满足评价值B＜thr的条件时，转入步骤S9。
在步骤S9中，CPU 22通过判定参数i是否是最后的曲折点、即i是否是N，判定是否已对所有曲折点进行步骤S7和S8的处理。并且，在没有对所有曲折点进行步骤S7和S8的处理时，按照步骤S10所示，将参数i增加1，返回步骤S6。
这样，CPU 22通过对所有曲折点进行步骤S7和S8的处理，按照图5B所示设定控制点，所以转入步骤S11。
在该步骤S11中，CPU 22进行控制点数量的参数k是否大于1的判定。在判定该参数k大于1时，在后面的步骤S12中，CPU 22进行控制点的配置在管腔的半径方向是否有凹凸的判定。
如图5B所示，在控制点未形成同心圆状，而在管腔的半径方向配置成凹凸形状的情况下，按照步骤S13所示，CPU 22判定是巴瑞特粘膜的边界、即巴瑞特边界。
另一方面，在步骤S11的判定中，在不满足条件k＞1时，以及在步骤S12的判定中，控制点的配置在管腔的半径方向未呈现凹凸而成为同心圆状时，按照步骤S14所示，CPU 22判定是作为正常粘膜的扁平上皮的边界。这样，可以根据图像数据判定该图像中是否存在巴瑞特粘膜的边界(巴瑞特边界)的可能性。
下面，参照图6说明上述步骤S5的边界中的曲折点计算的处理。
在步骤S21中，CPU 22获取由N_p个点构成的边界坐标点列。
在步骤S22中，CPU 22进行与成为处理对象的边界坐标点列的最小点数的阈值Vmin的比较。并且，如果N_p＞Vmin，则转入步骤S23，否则，视为不属于处理对象而结束。
在后面的步骤S23中，CPU 22计算各点的曲折点的顶点评价值A(j)(1≤j≤N_p)。关于步骤S23的具体情况将在后面叙述。
在步骤S24中，将j初始化，在步骤S25中，CPU 22把点P(j)作为对象点，获取该对象点的曲折点的顶点评价值A(j)、和从对象点起前后h点的点P(j-h)、P(j+h)的曲折点的顶点评价值A(j-h)、A(j+h)。值h是选择步骤S26中的比较对象的参数，在本实施例中，例如h＝5。关于步骤S25的具体情况将在后面叙述。
在步骤S26中，CPU 22进行曲折点的顶点评价值A(j)、A(j-h)、A(j+h)的比较。如果A(j)＜A(j-h)而且A(j)＜A(j+h)，则转入步骤S27，否则转入步骤S29。关于步骤S26的具体情况将在后面叙述。
在步骤S27中，CPU 22进行与限制曲折检测用的曲折大小的阈值Vc的比较。如果A(j)/L＜Vc，则转入步骤S28，否则结束该处理。
在步骤S28中，CPU 22检测对象点P(j)作为曲折点的候选点，把该信息存储在分析信息存储部25等中。
在步骤S29中，如果对象点P(j)是边界坐标点列的最后点即j＝N_p，则CPU 22在步骤S30中确定曲折点并结束处理，如果j≠N_p，则转入步骤S31。
在步骤S31中，CPU 22将对象点更新为j＝j+1，重复步骤S25～S29所示的一系列处理。
图9表示步骤S30中的曲折点的确定处理的流程，但将在后面具体叙述。
下面，具体说明在步骤S23中计算曲折点的顶点评价值A的方法，和在步骤S25、步骤S26中使用曲折点的顶点评价值A检测曲折点的候选点的处理。
图7是用于说明本实施例中的曲折点的顶点评价值A的计算方法、和使用曲折点的顶点评价值A检测曲折点的候选点的处理的说明图。作为曲折点的顶点评价值A的计算方法，使用文献4“‘ 図形の屈折点検出の一手法’，小山等，电子通信学会研究会资料PRL80-107PP.80-90(1980)”披露的方法。
CPU 22对所获取的边界坐标点列的各点，沿着该点列抽出以各点为中心的图7中利用实线表示的长度L的曲线，计算该曲线的始点与终点的距离(弦长)作为曲折点的顶点评价值A(j)。但是，在点P(j)存在于距边界坐标点列的两端为[L/2]的范围内而不能抽出长度L的曲线时，视为A(j)＝L。其中，[]是高斯记号。
并且，CPU 22在曲折点的候选点的检测处理中，在点P(j)存在于距两端为h的范围内，点P(j-h)、P(j+h)不可能成为边界坐标点列上的点时，视为A(j-h)＝L、A(j+h)＝L。在点P(j)的曲折点的顶点评价值A(j)小于h点前的点P(j-h)的曲折点的顶点评价值A(j-h)、而且小于h点后的点P(j+h)的曲折点的顶点评价值A(j+h)时，P(j)表示比点P(j-h)、P(j+h)大的曲折特征，所以CPU 22检测该P(j)作为曲折点的候选点。
对形成边界坐标点列的所有点依次进行该比较评价。在距边界坐标点列的两端为[L/2]的范围内，如上所述，A(j)＝L，所以被从曲折点的候选点检测中除外。
下面，图8表示曲折点的确定处理的处理流程。
在步骤S41中，CPU 22从分析信息存储部25中获取通过前述曲折点的候选点的检测处理所检测的曲折点的候选点。在曲折点的候选点相邻连续的情况下，抽出该点列作为一个组(以下称为图案)。在此，CPU22把在边界坐标点列中生成的图案数量作为N_pattern(1≤N_pattern≤曲折点的候选点数量)，计算形成各个图案的曲折点的候选点数量Cn(1≤n≤N_pattern)。
并且，在步骤S42中，CPU 22将表示最初图案的n初始化为1，在步骤S43中，CPU 22获取步骤S41所生成的图案中的一个作为对象点pattern(n)(1≤n≤N_pattern)。
如果对象图案pattern(n)的曲折点的候选点数量Cn＝1，则CPU 22判断其他曲折点的候选点不相邻而是单独存在，并且把该曲折点的候选点确定为曲折点。
如果对象图案pattern(n)的曲折点的候选点数量Cn≥2，则转入步骤S44，CPU 22从对象图案的曲折点的候选点列中确定1点作为曲折点。
在步骤S44中，CPU 22将对象图案pattern(n)中A(j)为极小的点确定为曲折点。图9是表示从曲折点的候选点中确定曲折点的图。
在步骤S45中，如果对象图案pattern(n)是最后图案、即n＝N_pattern，则CPU 22结束处理，如果n≠N_pattern，则转入步骤S46。
在步骤S46中，CPU 22将确定曲折点的对象图案更新为n＝n+1，重复步骤S43～S45所示的一系列处理。
另外，在边界坐标点列不平滑时，按照上述文献4所述，对于在步骤S21中获取的边界坐标点列，利用移动平均法使坐标值变平滑。
此处的移动平均法指将点P的坐标值设定为坐标点列的前后[m/2]点的坐标值的平均值的方法。值m是移动平均点数、即用于确定平滑化程度的参数。例如图10所示，m＝9，即表示使用9点的移动平均的情况。
并且，在距边界坐标点列的两端为[L/2]的范围内，假定A(j)＝L，所以虽然不能检测曲折点的候选点，但在包含于检测对象中时，按照上述专利文献所述，将在步骤S21中获取的边界坐标点列的两端延长即可。并且，步骤S25中的参数h，也可以根据形成边界坐标点列的点数N_p确定。
并且，在本实施例中，在步骤S44中，CPU 22把对象图案中的曲折点的候选点列的A(j)极小的点确定为曲折点，但也可以确定为对象图案中曲折点的候选点列的中心点、即第[Cn/2]点。
如以上说明的那样，在本实施例中，关于原图像31，通过边缘检测处理等检测性状不同的粘膜边界，进一步检测该粘膜边界的形状中的曲折点，并且根据该曲折点是否满足规定的条件，设定为作为曲折点的代表点的控制点。并且，根据该控制点，检测(判定)是否是作为性状变化粘膜的边界的巴瑞特边界。
在食道和胃的边界附近存在巴瑞特粘膜的情况的病例中，当存在该巴瑞特粘膜时，巴瑞特粘膜的边界不是同心圆状，而是呈现为图5B所示的星型等具有凹凸的形状的情况居多。
因此，按照上面所述检测作为曲折点的代表点的控制点，在该控制点属于具有凹凸的配置和控制点的数量大于等于规定数时，判定是巴瑞特粘膜的边界，所以能够根据巴瑞特粘膜的病例中出现较多的特征高精度地进行巴瑞特边界的判定。
另外，在判定巴瑞特边界时，也可以根据所检测的边界的复杂性进行是否是巴瑞特粘膜的判定。即，进行检测或评价所检测的边界的形状不是圆形等单一的形状而是复杂形状的处理，根据该评价结果进行巴瑞特边界的判定。
更加具体地讲，例如，求出沿着边界坐标点列33以规定间隔设定的点附近的曲率半径，将该曲率半径的值分组，根据曲率半径的值的分布，进行是否是复杂形状的对应。并且，也可以在曲率半径的分布大于等于阈值时，判定是巴瑞特粘膜的边界。
(实施例2)下面，参照图11～图13说明本发明的实施例2。图11表示按照实施例2的程序C通过CPU 22实现的功能的结构。
本实施例与实施例1中的图2部分相同，所以省略其说明，以图11所示的处理功能取代图3所示的处理功能，即，具有关心区域设定部51、小区域抽出部52和粘膜边界判定部53。
如图11所示，通过关心区域设定部51对原图像31和边界坐标点列33设定成为检测对象的关心区域。
小区域抽出部52对该设定的关心区域抽出小区域，粘膜边界判定部53对所抽出的小区域进行是否是粘膜边界的判定，并输出粘膜边界检测结果34。
下面，参照图12的处理流程，说明其具体处理。
与图4所示相同，CPU 22获取图像数据(S1)，进行边缘检测(S2)，生成边缘检测图像32并将其细线化，获取边界(S3)，再获取边界的坐标点列，生成边界坐标点列33(S4)。另外，也可以在生成边界坐标点列33之前的状态下(即步骤S3的处理之后)，进行以下处理。
在后面的步骤S51中，CPU 22针对在步骤S4(S3)中按边界划分的区域，把图像中接近成为管腔中心侧的贲门(由于管腔中心侧变暗，所以能够通过使用了暗部的阈值的判定处理抽出)、或者包括贲门的区域设定为关心区域。
这样设定关心区域后，按照步骤S52所示，CPU 22对该关心区域再次进行边缘检测处理，或者使用BPF(带通滤波器)检测关心区域内的边缘，从图13A的原图像生成包括像图13B那样按边缘划分的小区域55的图像。
在后面的步骤S53中，CPU 22将表示小区域55的参数i初始化后(设定为i＝1)，在后面的步骤S54中，计算各个小区域(i)内的平均色调C(i)。
平均色调C(i)例如设为IHb的值的平均值。该IHb使用值32log2(R/G)，该值是通过抽出内窥镜图像上的各个像素的亮度信号Vg(反映最能被血红蛋白吸收的560nm附近的光的G颜色信号)和亮度信号Vr(反映最能被血红蛋白吸收的650nm附近的光的R颜色信号)，并对两个R、G颜色信号之比进行对数转换得到的。
并且，在后面的步骤S55中，CPU 22进行平均色调C(i)是否大于规定的阈值thr2的判定。该情况时，规定的阈值例如是使用拍摄了已确定诊断的病例的巴瑞特粘膜部分的图像中至少一个以上颜色信号的色调平均值、和拍摄了扁平上皮部分的图像中的相同颜色信号的色调平均值来设定的。
在步骤S55的判定结果满足平均色调C(i)＞thr2的判定条件时，按照步骤S56所示，CPU 22把该小区域(i)考虑为残留于巴瑞特粘膜上的扁平上皮，当存在一个以上这种扁平上皮时，包括小区域的关心区域被判定为巴瑞特边界(巴瑞特粘膜的边界)。
另一方面，在步骤S55的判定结果不满足平均色调C(i)＞thr2的判定条件时，按照步骤S57所示，CPU 22进行参数i是否等于小区域的数量N的判定，在不等于N时，按照步骤S58所示，将i增加1，返回步骤S54。并且，重复步骤S54～步骤S57的处理。
在巴瑞特粘膜病例的情况下，在巴瑞特粘膜中经常孤立存在岛状的扁平上皮的小区域。
因此，在本实施例中，按照上面所述生成边界坐标点列33，利用原图像31中的边界坐标点列33在管腔侧的区域内检测边缘，或者利用边界坐标点列33检测小区域(i)，对于各个小区域(i)，根据色调的特征量进行是否是扁平上皮的判定。并且，在判定小区域(i)是扁平上皮时，判定小区域呈岛状孤立的扁平上皮是孤立的巴瑞特粘膜或巴瑞特边界。
通过进行这种判定，可以高精度地进行原图像中是否存在巴瑞特粘膜的判定。
另外，在图12的步骤S52中，检测按边缘划分的小区域55，但作为其变形例，通过根据规定的阈值进行二值化，也可以获取小区域55。
并且，在步骤S54、S55中，也可以根据小区域55的边缘前后(或两侧)的色调变化，进行是否是巴瑞特粘膜或巴瑞特边界的判定。
并且，在图12的图像处理中，将管腔侧的区域设定为关心区域，对该关心区域内按边缘等划分的小区域55进行判定，但也可以通过对该小区域55的外侧区域获取平均色调等来进行判定。
例如，可以根据针对小区域55的判定结果及其外侧区域的判定结果，综合判定关心区域。这样，可以进行更加高精度的判定。
另外，作为按边缘划分的小区域55，有可能是图13B所示那样的完全孤立的小区域。并且，也有可能是小区域55向外侧延伸并连接扁平上皮侧的形状。
该情况时，如图13B所示，小区域55表现为孤立曲线的情况较多，所以也可以根据所检测的小区域55是否是孤立曲线，进行关心区域是否是巴瑞特粘膜或巴瑞特边界的判定。
(实施例3)下面，参照图14～图18说明本发明的实施例2。图14表示按照实施例3的程序D通过CPU 22实现的功能的结构。
本实施例具有实施例1中的图2所示的处理功能，而且具有图14所示的处理功能以取代图3所示的处理功能。省略说明图2所示的处理功能。
图14所示的处理功能具有根据边界坐标点列33设定局部区域组61的局部区域设定部63；以及对局部区域组61生成粘膜边界检测结果62的粘膜边界判定部64。
下面，参照图15说明本实施例的粘膜边界的判定处理。
如图15所示，在最初的步骤S61中，CPU 22进行G图像数据的获取，进而，与实施例1或2同样地进行边缘检测处理(S2)并进行细线化，从而获取边界(S3)。再获取边界的坐标点列(S4)。并且，可以获得图16A的边缘检测图像。
然后，进行图14所示的处理程序D的处理。即，按照图15的步骤S62所示，CPU 22沿着边界设定例如N个局部区域。换言之，生成包括N个的局部区域组61。
对通过截止到步骤S4的处理得到的图16A的边缘检测图像的边界坐标点列，利用沿着该边界例如每隔一定间隔的图16B所示的边界上的短线段(或切线)，在与该线段局部正交的方向(即梯度方向)上，在该边界上的短线段两侧设定局部区域，该局部区域大致被线段二等分。
另外，在图16B中将设定的局部区域示例在其右侧放大表示。该情况时，按矩形区域设定局部区域，但也可以是圆形及其他形状的局部区域。在后面的步骤S63中，CPU 22将表示各个局部区域的参数i初始化，然后在后面的步骤S64中，计算局部区域(i)中沿着边界划分的两个区域的平均像素值E、F。
在后面的步骤S65中，CPU 22进行按边界划分的两侧的两个区域的平均像素值之比E/F是否大于规定的阈值thr3的判定。
该情况时，求出从通过诊断而确定的病例的巴瑞特边界取样的像素的色调特征量例如IHb的值的平均值，以及从非巴瑞特边界时的边界取样的像素IHb的平均值，根据这些值确定用于确定区别的阈值thr3。
在平均像素值之比E/F＞thr3时，在后面的步骤S66中，CPU 22把该局部区域内的边界的一部分识别为巴瑞特边界区域。另一方面，在步骤S65的判定结果不满足E/F＞thr3的判定条件时，按照步骤S67所示，判定不是巴瑞特边界。
在上述步骤S66、S67的处理之后，在步骤S68中，CPU 22进行局部区域(i)的参数i是否等于N的判定，在i不等于N时，在步骤S69中，将i增加1，返回步骤S64，重复步骤S64～S68的处理。
并且，在对所有局部区域(N)进行上述处理后，结束该处理。
这样，根据本实施例，使用沿着边界设定的局部区域判定是否是巴瑞特边界，由此可以判定是否是巴瑞特边界。
另外，也可以对所有局部区域(N)进行边界判定，根据这些多个判定结果进行最终的边界判定。
并且，在步骤S62中，在沿着边界设定局部区域时，也可以利用在相对于该边界上较短的线段(细线)中心正交的方向上对称设定的线段或两点等来形成局部区域。
并且，在步骤S62中设定的局部区域也可以是任意取样的局部区域。并且，在该步骤S66中，也可以跟踪被识别为巴瑞特边界区域的边界，根据这些结果综合地判定是巴瑞特边界。
下面，说明具有第1变形例的内窥镜系统。图17表示具有第1变形例的内窥镜系统1B的主要部分的结构。该内窥镜系统1B在图1的内窥镜系统1中，在构成内窥镜观察装置2的内窥镜6的例如插入部11的基端侧，设置用于检测插入部11被插入体腔内的插入量的插入量检测装置71。该插入量检测装置71将所检测的插入量的信息发送给图像处理装置3的例如CPU 22。
插入量检测装置71具有多个辊子72，其接触插入部11的外周面并可自由转动；以及旋转编码器等旋转量检测传感器73，其安装在这些辊子72的一个旋转轴上，检测旋转量。
并且，通过该旋转量检测传感器73检测的信号被输入图像处理装置3的例如CPU 22，CPU 22根据插入量的信息，进行所拍摄的图像是否是包括检测对象部位的图像的判定。即，CPU 22具有检测对象图像判定部22a的功能，根据插入量的信息，进行所拍摄的图像是否是包括检测对象部位的图像的判定。
该情况时，在内窥镜6的插入部11被从患者的口部插入后，可以根据插入时的旋转量检测传感器73的值，检测插入到食道深部侧时的前端部14的位置。
并且，根据包括CCD 16的摄像装置17的摄像特性等，并结合如下的条件进行判定，该条件为判定是否是拍摄了上述图像处理方法可以判定的分辨率以上的图像、以及是否是包括检测对象部位的图像。
即，有时可以从远处获得包括检测对象部位的图像，但在远处部分被视为不足以分析图像的分辨率或者照明光量不足的情况下，设定判定条件，使得不进行包括检测对象部位的图像的判定。
通过内窥镜6的CCD拍摄的图像通过CCU 8进行信号处理后，始终被输入图像处理装置3的图像输入部21。该图像被依次存储在硬盘27等中。
该情况时，CPU 22将插入量的信息作为附带信息保存在依次存储于硬盘27等中的图像中。或者，CPU 22也可以根据插入量的信息，将已进行所拍摄的图像是否是包括检测对象部位的图像的判定的判定信息(识别信息)，作为附带信息保存。
并且，CPU 22根据判定信息，对包括判定对象部位的图像进行与上述实施例3的情况相同的处理。另外，不限于实施例3，也可以适用于实施例1或实施例2。
即，在本变形例中，实施例1～3中需要图像分析的原图像，成为根据位置判定信息被自动判定为检测对象的选择图像。
因此，根据本变形例，通过图像分析进行是否是性状已变化的性状变化粘膜的判定(检测)的图像，被限制为客观上符合预先设定的条件的图像，所以能够获得更加客观的判定结果。
并且，可以使用插入量检测装置71等适当地检测或选择设定成为检测对象的图像，所以可以减少对拍摄了非检测对象部位的不需要的图像进行图像处理的情况。
并且，即使是拍摄了成为检测对象的部位的图像，在远离摄像装置17的情况下，基于图像分析的精度不充分，但根据本实施例，在也考虑了摄像装置17的特性而离开规定距离以上的情况下，通过设定未拍摄检测对象部位的判定条件，可以确保基于图像分析的精度。另外，在上述说明中，说明了利用具有细长插入部的内窥镜2得到的图像的情况，但如以下说明的那样，也利用使用胶囊型内窥镜得到的图像。
具有图18所示变形例的胶囊型内窥镜系统81由以下部分构成通过患者吞入而拍摄体腔内部的胶囊型内窥镜装置(以下简称为胶囊型内窥镜)82；体外装置83，其配置在患者的体外，接收并记录来自胶囊型内窥镜82的图像数据；以及被从该体外装置83输入图像的图像处理装置84。
胶囊型内窥镜82在胶囊状的容器内具有作为照明单元的例如LED85；形成被照明的被摄体的像的物镜86；CCD 87，其配置在该成像位置，构成进行拍摄的摄像单元；控制电路88，其对通过该CCD 87拍摄的摄像信号进行信号处理等；无线电路89，其进行无线发送所拍摄的图像的处理；以及向各个电路等提供电力的电池90。
并且，体外装置83通过多个天线91a、91b、91c，利用无线电路92从胶囊型内窥镜82的无线电路89的天线89a接收电波，把该信号发送给控制电路93。通过该控制电路93转换为影像信号，输出给图像处理装置84。
并且，图像处理装置84进行上述各个实施例等的处理。
另外，控制电路93具有通过多个天线91a～91c推测胶囊型内窥镜82的位置的位置检测功能93a。并且，也可以利用该位置检测功能93a，选择设定检测对象的图像。即，取代原图像31，利用该位置检测功能93a检测是否拍摄了接近从食道到胃的边界的部位，在拍摄了接近边界的部位时，与上述情况相同，也可以用作原图像。
这样，可以有效判定成为检测对象的接近食道到胃的边界的部位的活体粘膜。
另外，在上述的各个实施例中，使用IHb值作为评价色调的特征量，但是，例如也可以使用R/G、R/(R+G+B)等其他特征量。并且，例如也可以使用HSI颜色空间中的色相/色彩度。
根据上述实施例1～实施例3，根据活体粘膜表面的边界信息，使用图像处理检测性状不同的活体粘膜的存在，由此可以检测食道的粘膜已变性的巴瑞特粘膜等性状变化粘膜。
(实施例4)下面参照图19～图28说明可以更加合理地检测成为检测对象的特定的活体粘膜、特别是巴瑞特粘膜的存在，而不受图像中的暗部等不合适部分的影响的图像处理方法。
图19所示的内窥镜系统1C的硬件结构与图1所示内窥镜系统1相同。但是，存储在图19的处理程序存储部23中的处理程序E，与存储在图1的处理程序存储部中的处理程序不同。并且，CPU 22按照图20所示执行该处理程序E。因此，对图19中的各个构成要素赋予和图1所示构成要素相同的符号，并省略其说明。
图20表示CPU 22按照存储在处理程序存储部23中的处理程序E进行图像处理的图像处理功能的方框图，该图像处理用于检测作为检测对象粘膜组织的巴瑞特粘膜的存在。
图19所示的CPU 22具有不需要区域删除部133和色调处理部135的功能，所述不需要区域删除部133对于应该进行图像处理的原图像131，从该原图像131中删除不需要区域，生成不需要区域删除图像132，所述色调处理部135对该不需要区域删除图像132进行色调处理，生成色调处理图像134。
并且，该CPU 22具有区域标示处理部137和粘膜特征量计算部139的功能，所述区域标示处理部137对色调处理图像134进行区域标示处理，并生成区域标示图像136，所述粘膜特征量计算部139对该区域标示图像136计算粘膜特征量，并输出粘膜信息138。
从CPU 22输出的影像信号作为内窥镜图像输入图像输入部21，通过A/D转换和以线性校正为目的的公知技术即反γ校正转换，成为数字的原图像数据，CPU 22按照处理程序进行以下处理。
首先，CPU 22进行从原图像数据删除不需要区域的不需要区域删除处理。该不需要区域删除处理针对彩色原图像数据的像素值(R、G、B)，把在粘膜组织类别的判定中不需要的像素的像素值置换为(0、0、0)，生成不需要区域被删除的不需要区域删除图像132。所谓不需要区域是指内窥镜图像内的暗部和高亮度的晕影部分。
图22A表示原图像131的代表示例。
图21表示该不需要区域删除处理。在不需要区域删除处理开始后，按照步骤S71所示，CPU 22对构成彩色原图像数据的各个像素，进行其像素值(R、G、B)是否是暗部像素的判定。另外，以下说明以1像素为单位进行不需要区域删除处理等的示例，但是以多个像素为单位进行处理的示例也未脱离本发明的宗旨。
CPU 22使用用于判定是否是暗部像素的阈值(或基准值)Rcut、Gcut、Bcut，进行是否是R＜Rcut、而且G＜Gcut、而且B＜Bcut的像素的判定。此处，阈值Rcut、Gcut、Bcut是用于判定是否是暗部像素的、亮度值较低的既定值，已在处理程序E中设定。
在步骤S71中，在具有属于暗部像素的像素时，按照步骤S72所示，CPU 22把该像素的像素值(R、G、B)置换为像素值(0、0、0)，转入后面的步骤S73。
并且，在步骤S71中，在没有属于暗部的像素时，转入步骤S73。
在步骤S73中，CPU 22对构成彩色原图像数据的各个像素，进行其像素值(R、G、B)是否是晕影像素的判定。
即，CPU 22使用用于判定是否是晕影像素的阈值Rhal、Ghal、Bhal，进行是否是R＞Rhal、而且G＞Ghal、而且B＞Bhal的像素的判定。此处，阈值Rhal、Ghal、Bhal是用于判定是否是晕影像素的、亮度值较高的既定值，已在处理程序E中设定。
另外，手术医生等用户也可以从输入操作部29变更暗部的阈值Rcut、Gcut、Bcut、和晕影的阈值Rhal、Ghal、Bhal。
在步骤S73中，在具有属于晕影的像素时，按照步骤S74所示，CPU22把该像素的像素值(R、G、B)置换为像素值(0、0、0)，结束该不需要区域删除处理。并且，在步骤S73中，在没有属于晕影的像素时，结束该不需要区域删除处理。
并且，在结束该图21的不需要区域删除处理后，生成不需要区域被删除的不需要区域删除图像132。图22B表示对图22A的原图像131结束不需要区域删除处理后生成的不需要区域删除图像132的具体示例。
然后，色调处理部135对不需要区域删除图像132的各个像素，计算基于像素值的色调特征量。
但是，对于在图21的处理中被视为不需要区域的像素值(0、0、0)的像素，色调处理部135不进行色调特征量的计算处理。
作为色调特征量，使用在公知技术中使用的与血流的相关较高的血红蛋白(简称为Hb)指数、即Hbindex(简称为IHb)。该IHb使用值即计算式log2(R/G)，该值是通过抽出内窥镜图像上的各个像素的亮度信号Vg(反映最能被血红蛋白吸收的560nm附近的光的G信号)和亮度信号Vr(反映被血红蛋白修饰得较小的650nm附近的光的R信号)，并对两者之比进行对数转换得到的。在图21中，利用步骤S75表示该处理。
采用所计算的IHb的色调特征量，作为像素值存储在与原图像的像素相同的位置上。例如，存储在图像存储部24或分析信息存储部25中。由此，生成色调处理图像134。图22C表示对图22B的不需要区域删除图像132进行色调特征量的计算处理后的色调处理图像134的示例。另外，图22C例如表示伪彩色化的图像。
该情况时，在色调处理图像134的IHb大于规定的阈值θ时，该摄像对象的图像包括巴瑞特粘膜(巴瑞特上皮)的可能性较大。
然后，对于色调处理图像134，区域标示处理部137根据后述的处理流程，生成区域标示图像136。
区域标示图像是存储摄像对象在像素位置上的上皮类别的标示图像。在本实施例中，设定为在图像位置的摄像对象属于正常粘膜的扁平上皮时存储1，属于性状已变化的作为变性粘膜的巴瑞特粘膜时存储2，属于不需要区域时存储0。
下面，参照图23说明区域标示的处理流程。
在区域标示处理流程开始后，CPU 22在最初的步骤S81中，从色调处理图像134获取未进行标示处理的像素的像素值D。
在后面的步骤S82中，CPU 22进行像素值D是否是0的判定。并且，在判定像素值D不是0时，转入后面的步骤S83，相反判定像素值D是0时，转入步骤S86。
在步骤S83中，CPU 22按照处理程序E，判定规定的阈值θ与所述像素值D的大小。并且，在该判定结果为D＞θ时，转入后面的步骤S84。另一方面，在步骤S83的判定中，如果D≤θ，则转入步骤S85。另外，根据正常粘膜和从作为变性粘膜的巴瑞特粘膜预先取样的IHb的取样数据，设定进行该判定分类的阈值θ。
在步骤S84中，CPU 22把区域标示图像136的对应像素值设定为2，转入步骤S87。在步骤S85中，CPU 22把区域标示图像136的对应像素值设定为1，转入步骤S87。
并且，在步骤S86中，CPU 22把区域标示图像136的对应像素值设定为0，转入步骤S87。
并且，在步骤S87中，CPU 22进行是否有未进行标示处理的像素的判定，如果有未进行标示处理的像素，则返回步骤S81，如果没有未进行标示处理的像素，则结束该区域标示的处理。
这样，通过区域标示处理，色调处理图像134的各个像素生成被标示为像素值0、1、或2的区域标示图像136。图22D表示区域标示图像136的示例。
然后，粘膜特征量计算部139对区域标示图像136计算各种上皮的粘膜特征量。
在本实施例中，求出各种上皮的每个粘膜类别的像素数、基于公知的边界线跟踪算法的区域标示图像136的边界像素点列、上皮的粘膜类别的像素数比(巴瑞特粘膜的像素数/扁平上皮的像素数)，作为上皮的粘膜信息保存。
并且，粘膜特征量计算部139比较所述上皮的粘膜类别的像素数比和既定的阈值τ，判定有无巴瑞特粘膜，将判定结果保存为上皮的粘膜信息。该情况时，在上皮的粘膜类别的像素数比≥τ时，判定图像中存在巴瑞特粘膜。
另一方面，在上皮的粘膜类别的像素数比＜τ时，判定图像中不存在巴瑞特粘膜。
图24表示粘膜特征量计算部139进行的巴瑞特粘膜的判定处理。
按照步骤S91所示，CPU 22计数并计算被标示为扁平上皮的像素值1的像素数N1、和被标示为巴瑞特粘膜的像素值2的像素数N2。在后面的步骤S92中，CPU 22使用用于判定有无巴瑞特粘膜的阈值τ，判定上皮的粘膜类别的像素数比N2/N1是否为N2/N1≥τ。
并且，根据步骤S92的判定结果，在满足条件N2/N1≥τ时，按照步骤S93所示，CPU 22判定上述原图像中存在巴瑞特粘膜，把该结果保存在硬盘27等中。
另一方面，根据步骤S22的判定结果，在N2/N1＜τ时，按照步骤S24所示，CPU 22判定上述原图像中不存在巴瑞特粘膜，把该结果保存在硬盘27等中。
在步骤S93和步骤S94之后，转入步骤S95，CPU 22通过显示处理部28把判定结果发送给显示监视器4，在显示监视器4的显示面上显示判定结果。并且，结束该处理。
另外，在上述说明中，使用了上皮的粘膜类别的像素数比N2/N1，但也可以采用N2/(N1+N2)代替该像素数比N2/N1。该情况时，N2/N1≥τ的判定条件成为N2/(N1+N2)≥(τ+1)。即，即使使用处理对象区域内的像素总数(N1+N2)，也能够进行相同判定。
这样，根据本实施例，通过图像分析判定图像中是否存在成为检测对象的作为特定活体粘膜的巴瑞特粘膜，容易尽早发现巴瑞特粘膜，而且不依赖于主观判断。并且，通过显示判定结果，可以告知手术医生该图像中存在巴瑞特粘膜的可能性较大，因此手术医生能够更有效地进行是否是变性部的诊断。
另外，对于区域标示图像136，以去除噪声为目的，也可以在区域标示处理部137进行的处理后，马上实施作为公知技术的膨胀、收缩处理。另外，在本实施例中，使用IHb作为色调特征量，但是，例如也可以使用R/G、G/(R+G+B)等其他特征量。并且，例如也可以采用IHS颜色空间中的色相、色彩度。
图25表示第1变形例的内窥镜系统1D的主要部分的结构。该内窥镜系统1D在图19的内窥镜系统1C中，在构成内窥镜观察装置2的内窥镜6的例如插入部11的基端侧，设置用于检测插入部11被插入体腔内的插入量的插入量检测装置41。该插入量检测装置41与图17中说明的情况相同，所以省略大部分说明。
CPU 22具有检测对象图像判定部22a的功能，根据插入量的信息，进行所拍摄的图像是否是包括检测对象部位的图像的判定。
通过内窥镜6的CCD拍摄的图像通过CCU 8进行信号处理后，被依次存储在硬盘27等中。
CPU 22将插入量的信息作为附带信息保存在依次存储于硬盘27等中的图像中。或者，CPU 22也可以根据插入量的信息，将已进行所拍摄的图像是否是包括检测对象部位的图像的判定的判定信息(识别信息)，作为附带信息保存。
并且，CCU 22根据判定信息，对包括判定对象部位的图像，与上述实施例4的情况同样地进行不需要区域删除处理等。即，在本变形例中，实施例4中需要图像分析的原图像，成为根据判定信息被自动判定为检测对象的选择图像。
因此，根据本变形例，需要图像分析的图像被限制为客观上符合预先设定的条件的图像，所以能够获得更加客观的判定结果。
并且，可以使用插入量检测装置41等适当地检测或选择设定成为检测对象的图像，所以也可以减少对拍摄了非检测对象部位的不需要的图像进行图像处理的情况。
并且，即使是拍摄了成为检测对象的部位的图像，在远离摄像装置17的情况下，基于图像分析的精度不充分，但根据本变形例，在也考虑了摄像装置17的特性而离开规定距离以上的情况下，通过设定未拍摄检测对象部位的判定条件，可以确保基于图像分析的精度。下面，说明第2变形例。本变形例的一部分与实施例4的处理程序E不同。按照本实施例的处理程序F进行处理的CPU 22B的处理功能如图26所示。
图26所示的处理功能，在图20的处理功能中，设置针对区域标示图像136生成矩形小区域分割处理组151的矩形小区域分割处理部152。该矩形小区域分割处理部152分割区域标示图像136，以生成矩形小区域分割处理组151。
图27示意性地表示分割生成的矩形小区域153的图像。
如图26所示，矩形小区域分割处理部152构成为，对针对区域标示图像136生成矩形小区域分割处理组151时的矩形小区域分割处理组151应用粘膜特征量计算。
并且，在本变形例中，粘膜特征量计算部139B对每个矩形小区域153计算粘膜信息138，并且比较上皮的粘膜类别像素数比与预先设定的既定的阈值τ，确定矩形小区域153的属性。
例如，在上皮的粘膜类别的像素数比≥τ时，把矩形小区域的属性设为巴瑞特粘膜。另一方面，在上皮的粘膜类别的像素数比＜τ时，把矩形小区域的属性设为扁平上皮。
并且，粘膜特征量计算部139B计数在矩形小区域153中已确定的属性的数量，比较该属性比(巴瑞特粘膜的矩形小区域计数数量/扁平上皮的矩形小区域计数数量)与既定的阈值ε。
例如，在属性比≥ε时，判定图像中存在巴瑞特粘膜。另一方面，在属性比＜ε时，判定图像中不存在巴瑞特粘膜。
图28表示粘膜特征量计算部139B进行的粘膜特征量计算的处理流程。
在计算粘膜特征量的处理开始后，按照步骤S101所示，CPU 22计算已标示的各个矩形小区域的像素值1的像素数n1和像素值2的像素数n2。
在后面的步骤S102中，CPU 22判定这些像素数比n2/n1是否大于等于既定的阈值τ。即，CPU 22判定是否n2/n1≥τ。并且，在满足该条件时，按照步骤S103所示，CPU 22把满足该条件的矩形小区域的属性设定为巴瑞特粘膜。
另一方面，在不满足条件n2/n1≥τ时，按照步骤S104所示，CPU 22把该矩形小区域的属性设定为扁平上皮。
在步骤S103和S104的处理之后，在步骤S105中，CPU 22判定是否有未处理的矩形小区域，在有未处理的矩形小区域时，返回步骤S101，重复步骤S101～S105的处理。
并且，在已对所有矩形小区域进行步骤S101～S105的处理后，按照步骤S106所示，CPU 22计算巴瑞特粘膜属性的矩形小区域的数量m1和扁平上皮属性的矩形小区域的数量m2。
在后面的步骤S107中，CPU 22判定这些像素数比m2/m1是否大于等于既定的阈值ε。即，CPU 22判定是否m2/m1≥ε。并且，在满足该条件时，按照步骤S108所示，CPU 22判定图像中存在巴瑞特粘膜，把该判定结果保存在硬盘27中，并且在显示监视器4上显示。
另一方面，在不满足条件m2/m1≥ε时，按照步骤S109所示，CPU 22判定该图像中不存在巴瑞特粘膜，把该判定结果保存在硬盘27中，并且在显示监视器4上显示。
根据本变形例，把图像划分为具有某种程度的大小的小区域，在各个小区域中，对该小区域内的每个像素判定是否是具有作为检测对象粘膜的巴瑞特粘膜的可能性的区域，并且根据这些判定结果判定是否是巴瑞特粘膜，所以能够更高精度地判定是否是检测对象粘膜。
即，在实施例4中，对整个图像的各个像素进行是否具有检测对象粘膜的可能性的标示，根据基于该标示结果的各类别的像素数比，进行是否包括巴瑞特粘膜的判定，所以对于某部分的判定结果，无论是附近的部分还是离开较远的部分，都能同样反映在判定结果中。
对此，在本变形例中，划分为小区域进行判定，所以能够更加合理地进行各部分的判定，能够提高最终判定结果的可靠性。
(实施例5)下面，参照图29～图31说明实施例5。图29表示根据实施例5的处理程序G通过CPU 22执行的功能的处理内容。本实施例的硬件结构与图19所示的图像处理装置3相同，具有一部分与存储在处理程序存储部23中的处理程序E不同的处理程序G。
在本实施例中，把原图像例如作为动态图像，依次对动态图像的各帧图像进行图像处理。
在实施例4中说明的要素利用相同符号表示，所以省略其说明。
如图29所示，本实施例使用进行粘膜特征量的计算处理的粘膜特征量处理部160，取代图20的处理程序E中对区域标示图像136计算粘膜特征量的粘膜特征量计算部139。并且，该粘膜特征量处理部160对区域标示图像136计算各种粘膜特征量，依次保存在粘膜信息缓冲器161中。
粘膜信息缓冲器161是图30所示的环缓冲器，其构成为由于下一次保存时的缓冲器的位置在圆周上依次移动，所以在生成规定数量以上的粘膜信息后，覆盖以前存储的粘膜信息来保存该粘膜信息。在图30的示例中，例如按照时间序列以粘膜信息162a、162b、162c、162d的顺序依次存储粘膜信息。并且，在下一次输入粘膜信息时，最旧的粘膜信息162a将被新的粘膜信息覆盖。另外，在图30中示出4个粘膜信息162a～162d的情况，但也可以是具有更大存储容量的环缓冲器。
粘膜特征量处理部160构成为根据区域标示图像136的各种上皮类别的像素数比，判定该图像中有无巴瑞特粘膜，把判定结果作为粘膜信息162保存在粘膜信息缓冲器161中。
粘膜信息缓冲器161的粘膜信息162的粘膜类别由粘膜类别确定部163确定。
图31表示粘膜类别确定部163的处理流程。
在最初的步骤S141中，CPU 22获取保存在粘膜信息缓冲器161中的所有粘膜信息162。
在后面的步骤S142中，CPU 22根据各种粘膜信息162，计数粘膜类别判定结果是巴瑞特粘膜的数量，把该计数数量设为C’。
在后面的步骤S143中，CPU 22比较通过处理程序G设定的既定阈值θ’与所述计数数量C’的大小。即，判定是否C’＞θ’。
并且，在C’＞θ’时，按照步骤S144所示，CPU 22判定原图像内存在巴瑞特粘膜。
另一方面，在C’≤θ’时，按照步骤S145所示，CPU 22判定原图像内不存在巴瑞特粘膜。
并且，在步骤S144和S145之后的步骤S146中，CPU 22使显示监视器4显示判定结果，并结束该处理。
另外，除判定结果外，所述计数数量C’也显示在显示监视器4上。
根据本实施例，根据针对多个图像的粘膜类别结果判定粘膜类别，所以能够防止由于观察条件较差的图像造成的粘膜类别的错误判定。
并且，根据本实施例，可以把一面插入内窥镜2的插入部11一面由设在其前端部14的摄像单元拍摄的动态图像作为原图像，并依次判定是否存在巴瑞特粘膜，所以手术医生能够根据该判定结果有效(或迅速)地诊断到检测对象部位附近。
并且，根据本实施例，在把插入部11从其前端侧插入并一直插入到食道内的深部侧时，在胃的边界附近存在巴瑞特粘膜的情况下，显示存在巴瑞特粘膜的判定结果的概率增大，所以能够根据该显示有效地进行巴瑞特粘膜的诊断。
并且，如果按上面所述使计数数量C’也显示在显示监视器4上，则在存在巴瑞特粘膜时，随着接近存在该巴瑞特粘膜的部位，一般计数数量C的值增大，所以能够根据该显示有效进行巴瑞特粘膜的诊断。
另外，也可以构成为不依次地连续输入动态图像的各帧，而以一定的帧间隔输入原图像。
并且，在粘膜特征量处理部160中也可以构成为在区域标示图像136中包含的像素值＝0的像素数大于等于既定阈值时，不保存粘膜信息162，还可以构成为不保存不适合确定粘膜类别的信息。
(实施例6)下面，参照图32A～图37说明实施例6。本实施例的目的在于，提供一种可以高精度地检测(判定)是否存在检测对象粘膜的图像处理方法。为了达到该目的，该方法进行以下处理检测图像中像暗部那样不适合于检测对象的小区域，并将其从检测对象中除外，并且根据该检测结果参照暗部在图像中的位置信息，进而将与暗部相邻并被判定为应该除外的小区域从检测对象中除外，生成处理对象区域的图像。
图32A表示根据实施例6的处理程序H由CPU 22进行的功能的处理内容。本实施例的硬件结构与图19所示的图像处理装置3相同，具有一部分与存储在处理程序存储部23中的处理程序E不同的处理程序H和I。
本实施例的粘膜类别判定处理构成为连续执行图32A所示的处理程序H和图32B所示的处理程序I。处理程序I利用作为处理程序H的结果的处理对象区域信息174。
说明本实施例成为特征的处理程序H的处理块。
原图像131被输入矩形小区域分割处理部171，该矩形小区域分割处理部171按照图33所示，将内窥镜图像划分为矩形小区域图像组172。另外，小区域不限于矩形。
矩形小区域图像组172被输入处理对象区域确定部173，该处理对象区域确定部173进行图34所示的流程处理，生成处理对象区域信息174。
在步骤S151中，处理对象区域确定部173从矩形小区域图像组172中获取矩形小区域175，计数矩形小区域175内的暗部像素数，以检测处理对象除外小区域。
在本实施例中，暗部像素是像素值为R＜Rcut、而且G＜Gcut、而且B＜Bcut的像素。把该计数数量设为Cn(其中，n是矩形小区域的连续序号)。此处，Rcut等为在实施例4中说明的阈值。另外，也可以设定为与实施例4不同的阈值。
在步骤S152中，处理对象区域确定部173判定是否存在应该处理的(未执行步骤S151的处理的)矩形小区域175，如果存在应该处理的矩形小区域175，则返回步骤S151，进行计数处理。如果不存在应该处理的矩形小区域175，则转入步骤S153。
在步骤S153中，处理对象区域确定部173根据矩形小区域175的暗部像素数Cn，进行被从处理对象中除外的暗部区域的判定处理。本实施例中的判定用于将对各个矩形小区域175计算出的Cn为最大的矩形小区域175确定为暗部区域。
然后，在步骤S54中，处理对象区域确定部173把该暗部区域从处理对象区域中除外，根据原图像131内的该暗部区域的位置确定处理对象区域。
使用图35说明其确定方法。
图35中的双重斜线部(网格斜线部)176a表示在步骤S153中确定的暗部区域，列举了以3×3划分时可以实现的所有图案即9个图案。并且，斜线部176b表示被从处理对象中除外的小区域。
在步骤S154中，处理对象区域确定部173根据暗部区域在原图像131中的位置，判定暗部区域属于图35中的哪个图案。并且，处理对象区域确定部173根据相应的图案，只把暗部区域和除去了处理除外小区域的小区域确定为处理对象。
例如图36所示，在右上角部被检测为暗部时，在图35中的最右侧，按照最上部的图案所示，将与该双重斜线部176a相邻的两侧的两个除外。
并且，生成把图35中的双重斜线部176a和斜线部176b之外的完全没有附加斜线的小区域176c作为处理对象的处理对象区域信息174。即，根据所检测的双重斜线部176a的信息，生成(确定)处理对象区域信息174。
因此，在处理程序存储部23和分析信息存储部25等的存储单元中，根据预先检测的暗部区域(小区域)的块是否在原图像131的某个块位置，登记(存储)用于确定从处理对象中除外的块的除外块信息。具体地讲，作为除外块信息，存储有图35所示的多个图案。并且，通过参照该除外块信息，可以根据暗部区域的位置确定处理对象区域。
图32B的处理程序I内的不需要区域删除部133B使用上述的处理对象区域信息174，生成把非处理对象的像素置换为(R、G、B)＝(0、0、0)的不需要区域删除图像132。
以后的处理例如与图20的粘膜信息的生成处理内容相同。
另外，在处理对象区域确定部173中也可以构成为在处理对象区域中，按照每个小区域175计数R＝255的像素数，在R＝255的像素数大于等于规定的像素数时，视为过于接近摄像对象，将该小区域175从处理对象区域中除外。
另外，也可以选择设定小区域175的尺寸(像素数)。并且，还可以根据尺寸来检测多个暗部，根据其配置和分布等，将它们周围的部分从处理对象区域中除外。这样，可以更加合适地设定处理对象区域。
根据本实施例，除包括暗部的小区域外，对与暗部相邻的小区域也判定是否是不适合处理的小区域，把不适合的从处理对象中除外，因此把剩余部分视为适合检测对象的区域，因此能够进一步提高特定的活体粘膜的检测精度(判定精度)。
进行补充说明，在暗部区域及与其接近的区域对应体腔内的部位例如分布成为同心圆和其他形状时，如果单纯地设定小区域175来进行暗部的检测，则实际上有可能不能将暗部和与其接近的区域可靠地从检测对象中除外。
在这种情况下，根据按照上面所述检测的暗部的区域位置和配置或分布等，能够有效地适当地将不适合于检测对象的区域除外。另外，虽然也可以按照各个像素将暗部的像素等除外，但此时将花费时间。对此，在本实施例中以块来进行处理，因此能够有效地将不合适的块除外。
另外，在以上说明中，说明了利用具有细长插入部的内窥镜2得到的图像的情况，但如以下说明的那样，也可以利用使用胶囊型内窥镜得到的图像。
具有图37所示变形例的胶囊型内窥镜系统81B的硬件结构与图18所示相同。因此，省略其结构说明。
并且，图像处理装置84进行上述实施例4～实施例6中的一个图像处理。
根据实施例4～实施例6，通过将暗部等不适合于检测对象的像素除外，可以更加高精度地检测检测对象的特定活体粘膜的存在。
另外，将上述各个实施例等进行部分组合或通过改变处理步骤的顺序等而构成的实施例等，也属于本发明。
产业上的可利用性对于拍摄了食道到胃的边界附近的粘膜表面的图像，通过抽出其边界等，并计算边界的自身形状和根据边界划分的两侧的特征量等，检测是否是胃粘膜已变性的巴瑞特粘膜的边界，从而可以辅助进行诊断。
权利要求
1.一种医用图像处理方法，该方法对拍摄了活体粘膜的医用图像进行图像处理，其特征在于，该医用图像处理方法包括边界信息检测步骤，其从所述医用图像中检测相当于所述活体粘膜的边界部分的边界信息；以及粘膜性状检测步骤，其根据在所述边界信息检测步骤中检测的边界信息，检测是否存在性状不同的活体粘膜。
2.根据权利要求1所述的医用图像处理方法，其特征在于，该医用图像处理方法还包括输入步骤，其将拍摄了所述活体粘膜的一个以上的医用图像输入用于检测所述边界信息的图像处理装置。
3.根据权利要求1所述的医用图像处理方法，其特征在于，该医用图像处理方法还包括形状信息检测步骤，其根据在所述边界信息检测步骤中检测的边界信息，检测所述边界部分的形状信息。
4.根据权利要求1所述的医用图像处理方法，其特征在于，该医用图像处理方法还包括孤立区域检测步骤，其根据在所述边界信息检测步骤中检测的边界信息，检测局部地存在于一个区域内，与另一个区域相孤立的孤立区域。
5.根据权利要求1所述的医用图像处理方法，其特征在于，该医用图像处理方法还包括区域设定步骤，其根据在所述边界信息检测步骤中检测的边界信息，设定包括边界的局部区域；以及特征量计算步骤，其在所述局部区域中，根据所述边界两侧的两个区域来计算特征量。
6.根据权利要求1所述的医用图像处理方法，其特征在于，所述边界信息检测步骤包括用于检测所述活体粘膜的轮廓的轮廓检测步骤。
7.根据权利要求3所述的医用图像处理方法，其特征在于，所述形状信息检测步骤检测所述边界信息中基于边界形状的复杂性的信息。
8.根据权利要求1所述的医用图像处理方法，其特征在于，所述边界信息检测步骤包括用于进行二值化的二值化步骤、和用于生成细线化的粘膜边界像的细线化步骤。
9.根据权利要求3所述的医用图像处理方法，其特征在于，所述形状信息检测步骤根据是否从所述边界信息的边界形状检测到一个以上的弯曲的曲折点，来检测是否存在性状不同的活体粘膜。
10.根据权利要求6所述的医用图像处理方法，其特征在于，所述轮廓检测步骤包括应用滤波的滤波步骤，该滤波用于抽出活体粘膜的边界部分。
11.根据权利要求1所述的医用图像处理方法，其特征在于，所述边界信息检测步骤检测与食道粘膜和胃粘膜的边界相关的信息，作为所述边界信息。
12.根据权利要求1所述的医用图像处理方法，其特征在于，所述粘膜性状检测步骤检测存在于食道和胃粘膜的边界附近的巴瑞特粘膜，作为性状不同的活体粘膜。
13.根据权利要求4所述的医用图像处理方法，其特征在于，所述孤立区域检测步骤包括判定步骤，该判定步骤判定所检测的孤立区域的粘膜是否是与所述另一个区域的粘膜相同类型的粘膜。
14.根据权利要求13所述的医用图像处理方法，其特征在于，所述判定步骤包括特征量计算步骤，该特征量计算步骤对所检测的所述孤立区域，计算与所述另一个区域的粘膜具有的明亮度或色调相关的特征量。
15.根据权利要求14所述的医用图像处理方法，其特征在于，所述判定步骤包括对所述计算出的特征量与阈值进行比较的比较步骤。
16.根据权利要求1所述的医用图像处理方法，其特征在于，所述医用图像是内窥镜图像或胶囊型内窥镜图像。
17.一种医用图像处理方法，该方法对与拍摄了活体粘膜的两种颜色以上的医用图像对应的图像信号进行图像处理，其特征在于，该医用图像处理方法包括第1步骤，其进行从所述医用图像的检测对象中去除不合适的像素，来设定处理对象区域的处理；第2步骤，其进行至少对所述处理对象区域中的一个以上的每个像素数计算色调特征量的处理；以及第3步骤，其进行根据所计算出的所述色调特征量来检测特定的活体粘膜的存在的处理。
18.根据权利要求17所述的医用图像处理方法，其特征在于，所述第2步骤进行将所述医用图像划分为多个块，并对所述每个块计算所述色调特征量的处理。
19.根据权利要求18所述的医用图像处理方法，其特征在于，所述第3步骤具有判定处理，该判定处理对所述每个块检测特定的活体粘膜的存在，根据所检测的块的数量，判定是否存在所述特定粘膜。
20.根据权利要求17所述的医用图像处理方法，其特征在于，所述医用图像是时间序列的多个内窥镜图像。
21.根据权利要求17所述的医用图像处理方法，其特征在于，所述第3步骤进行以下处理根据色调特征量的值在特定范围内的像素数A和所述处理对象区域内的像素总数B，检测特定的活体粘膜的存在。
22.根据权利要求21所述的医用图像处理方法，其特征在于，根据所述像素数A和像素总数B之比A/B是否大于等于规定的值，判定有无特定的活体粘膜。
23.根据权利要求17所述的医用图像处理方法，其特征在于，所述第1步骤进行检测对象除外区域的检测处理，该处理抽出表示所述医用图像的颜色信号的值存在于特定范围内的像素，并将其从所述处理对象区域中除外。
24.根据权利要求22所述的医用图像处理方法，其特征在于，还进行根据所述检测对象除外区域在所述医用图像内的位置，设定所述处理对象区域的图像的处理。
25.根据权利要求17所述的医用图像处理方法，其特征在于，所述色调特征量是基于表示所述医用图像的多个颜色信号之比的特征量。
26.根据权利要求17所述的医用图像处理方法，其特征在于，所述第2步骤进行计算血红蛋白指数来作为所述色调特征量的处理。
27.根据权利要求26所述的医用图像处理方法，其特征在于，所述第3步骤使用为了区分两种粘膜而设定的阈值，并通过与该阈值比较来判定所述特定的变性粘膜的存在，所述两种粘膜根据从所述血红蛋白指数的值正常的活体粘膜取样的血红蛋白指数的代表值、和从性状已变化的特定的变性粘膜取样的血红蛋白指数的代表值来进行区分。
28.根据权利要求27所述的医用图像处理方法，其特征在于，所取样的所述正常活体粘膜是食道的扁平上皮的粘膜，所述取样的所述特定的活体粘膜是扁平上皮已变性的巴瑞特粘膜。
29.根据权利要求17所述的医用图像处理方法，其特征在于，所述第1步骤进行检测作为不适合于所述检测对象的像素的暗部并将其除外的处理。
30.根据权利要求17所述的医用图像处理方法，其特征在于，所述第1步骤检测作为不适合于所述检测对象的像素的高亮度的晕影部并将其除外。
31.根据权利要求17所述的医用图像处理方法，其特征在于，所述第1步骤进行判定所述医用图像是否是食道和胃的边界附近位置的活体粘膜的图像的处理。
全文摘要
本发明提供一种医用图像处理方法，该方法对拍摄了活体粘膜的医用图像进行图像处理，该医用图像处理方法包括边界信息检测步骤，其从医用图像中检测相当于活体粘膜的边界部分的边界信息；以及粘膜性状检测步骤，其根据在边界信息检测步骤中检测的边界信息，检测是否存在性状不同的活体粘膜。
文档编号A61B1/04GK101060806SQ20058003975
公开日2007年10月24日 申请日期2005年12月8日 优先权日2004年12月10日
发明者西村博一, 长谷川润, 田中秀树, 井上凉子, 野波徹绪 申请人:奥林巴斯株式会社