内窥镜系统、内窥镜系统的工作方法
【专利摘要】本发明的内窥镜系统具有：第一存储部(21)，其对预先取得的被检体图像进行存储；管腔器官提取部(22)，其根据被检体图像而构建三维图像并提取管腔器官图像；对位部(26)，其将取得的物镜光学系统的位置与管腔器官图像对位；视角显示信息生成部(27)，其生成摄像图像的视角显示，该摄像图像是由包含物镜光学系统在内的摄像系统拍摄得到的；以及图像处理部(23)，其制成在规定的管腔器官图像中的对位后的位置上重叠了视角显示的重叠图像。
【专利说明】
内窥镜系统、内窥镜系统的工作方法
技术领域
[0001]本发明涉及能够以所构建的三维图像信息内的管腔器官图像信息为参考来观察管腔器官的内窥镜系统、内窥镜系统的工作方法。
【背景技术】
[0002]内窥镜装置例如作为观察体腔内器官或根据需要使用处置器具进行治疗处置的医疗用内窥镜被广泛使用。在利用这样的内窥镜装置进行观察或治疗处置的情况下，需要将内窥镜的插入部插入到管腔内，使插入部的前端部迅速且准确地到达病变部等目的地。
[0003]因此，为了使内窥镜的插入部到达目的地，以往提出了通过显示导航图像来进行引导的导航技术。
[0004]例如，在日本特开2012-110549号公报中记载了如下的技术:根据例如与观察路径的端点的距离来确定假想内窥镜图像与实际内窥镜图像的视点位置的对应关系，对于假想内窥镜图像和实际内窥镜图像，按照并列或者以中心位置重叠的方式进行重叠等同时地对它们进行显示。
[0005]并且，在日本特开2011-212244号公报中记载了如下的技术:一边考虑关注结构物的位置一边根据内窥镜位置、中心视线矢量以及内窥镜的视角来决定假想内窥镜的视点、中心视线矢量、视角，根据三维医用图像生成假想内窥镜图像。
[0006]在现有的导航系统中，能够对作为视点的内窥镜前端是否插入到期望的位置进行判断，此时根据导航图像不仅能够判断视点的位置还能够判断来自视点的视线方向。
[0007]但是，在体腔内器官中具有支气管和肾脏等管腔器官，这些管腔器官具有分支成多个的管腔。
[0008]有时在这些管腔器官中的例如肾脏中产生结石，去除这样的结石的处置是一边利用内窥镜对肾盂、肾盏内进行观察一边使用从内窥镜的前端突出的处置器具等进行的。
[0009]具体而言，结石首先被粉碎而被细化。此时，为了确认有无粉碎后的残渣，优选使用内窥镜彻底观察肾盂、肾盏内。
[0010]然而，由于肾盂尿管用的内窥镜是细径的，因此对于物镜光学系统的结构上的限制较大，采用宽视角的物镜光学系统在技术上难度较高。而且，观察是在例如生理盐水中进行的，由于生理盐水的折射率比空气大，因此与在空气中进行观察的情况相比，视角会变得更窄。因此，不能因为内窥镜前端处于某个位置，就认为比该位置靠前端侧的整体都能被观察到。
[0011]此外，由于肾盏形成为入口较窄而里部较宽阔的圆锥状的情况较多，因此，不能因为内窥镜前端进入小肾盏而能够对与内窥镜前端的正面相对的圆锥的底面部分进行观察，就认为能够观察到整个侧面部分，即不能断言观察到了肾盏内的整个表面粘膜。
[0012]而且，即使在管腔器官的俯瞰图像上显示了视点位置和视线方向，手术人员也很难直观地掌握俯瞰图像中的观察范围。
[0013]并且，当为了在病历等中进行记录而拍摄了记录照片的情况下，在现有的导航系统中，也很难容易地掌握记录照片的摄像范围。
[0014]本发明是鉴于上述情况而完成的，其目的在于，提供能够以易于理解的方式提示管腔器官中的观察范围的内窥镜系统、内窥镜系统的工作方法。
【发明内容】
[0015]用于解决课题的手段
[0016]本发明的某个方式的内窥镜系统具有:第一存储部，其对用于构建三维图像信息的、预先取得的与被检体有关的图像信息进行存储;管腔器官提取部，其根据所述图像信息而构建所述三维图像信息，并提取存在于该三维图像信息内的规定的管腔器官图像信息；位置信息取得部，其取得使所述被检体内的光学像成像的物镜光学系统的位置信息;对位部，其将所述位置信息取得部所取得的位置信息与所述规定的管腔器官图像信息对位;视角显示信息生成部，其生成表示摄像图像的视角信息的视角显示信息，其中，所述摄像图像是由包含所述物镜光学系统在内的摄像系统拍摄得到的；以及图像处理部，其制成重叠图像，该重叠图像是在所述规定的管腔器官图像信息中的由所述对位部对位后的所述位置信息所表示的位置上重叠了所述视角显示信息而得到的。
[0017]在本发明的某个方式的内窥镜系统的工作方法中，该内窥镜系统具有第一存储部、管腔器官提取部、位置信息取得部、对位部、视角显示信息生成部以及图像处理部，其中，所述第一存储部对用于构建三维图像信息的、预先取得的与被检体有关的图像信息进行存储，所述管腔器官提取部根据所述图像信息而构建所述三维图像信息，并提取存在于该三维图像信息内的规定的管腔器官图像信息，所述位置信息取得部取得使所述被检体内的光学像成像的物镜光学系统的位置信息，所述对位部将所述位置信息取得部所取得的位置信息与所述规定的管腔器官图像信息对位，所述视角显示信息生成部生成表示摄像图像的视角信息的视角显示信息，其中，所述摄像图像是由包含所述物镜光学系统在内的摄像系统拍摄得到的，所述图像处理部制成重叠图像，该重叠图像是在所述规定的管腔器官图像信息中的由所述对位部对位后的所述位置信息所表示的位置上重叠了所述视角显示信息而得到的。
【附图说明】
[0018]图1是示出本发明的实施方式I中的内窥镜系统的结构的图。
[0019]图2是示出上述实施方式I的图像处理装置的结构的框图。
[0020]图3是示出上述实施方式I中的内窥镜系统的作用的流程图。
[0021]图4是示出上述实施方式I中的显示装置的显示画面的显示例的图。
[0022]图5是示出在上述实施方式I中重叠有视角显示信息的俯瞰图像的一例的图。
[0023]图6是示出在上述实施方式I中在俯瞰图像上与视角显示信息一同标注了能够/不能观察标记的例子的图。
[0024]图7是示出在上述实施方式I中重叠有视角显示信息的俯瞰图像的另一例的图。
[0025]图8是示出在上述实施方式I中在从多个不同的方向观察到的多个俯瞰图像上显示视角显示信息的例子的图。
[0026]图9是示出在上述实施方式I中在冻结视角显示按钮被操作时所显示的视角显示信息的例子的图。
[0027]图10是示出在上述实施方式I中在累积视角显示按钮被操作时在俯瞰图像上显示的视角显示信息的例子的图。
[0028]图11是示出在上述实施方式I中在累积视角显示按钮被操作时在从不同的方向观察到的俯瞰图像上显示的视角显示信息的例子的图。
[0029]图12是示出本发明的实施方式2的内窥镜系统中的自动重叠图像显示处理的流程图。
【具体实施方式】
[0030]以下，参照附图对本发明的实施方式进行说明。
[0031][实施方式I]
[0032]图1至图11是示出本发明的实施方式I的图，图1是示出内窥镜系统I的结构的图。
[0033]如图1所示，内窥镜系统I具有内窥镜装置4、位置检测装置5、服务器6、图像处理装置7以及显示装置8，其中，该内窥镜装置4具有内窥镜2和摄像机控制单元(CCU)3。
[0034]内窥镜2具有:具有挠性的细长的插入部11，其被插入到被检体内；操作部12，其连接设置于该插入部11的基端部；以及线缆13，其从该操作部12的侧面延伸设置。
[0035]在操作部12上设置有:作为摄像指示部的释放按钮12a，其产生摄像指示数据(输入摄像指示)，该摄像指示数据用于取得记录用的摄像图像;视角显示按钮12b，其产生视角显示指示数据(输入视角显示指示)，该视角显示指示数据用于显示观察被检体的图像的视角；作为取得指示部的冻结视角显示按钮12c，其产生冻结视角显示指示数据(输入冻结视角显示指示)，该冻结视角显示指示数据用于显示在有效期间中被操作的时刻的视角；以及作为累积显示指示部的累积视角显示按钮12d，其产生累积视角显示指示数据(输入累积视角显示指示)，该累积视角显示指示数据用于累积显示过去的视角显示信息。这里，视角显示按钮12b是输入选择指示的重叠图像选择指示部，该选择指示用于选择重叠图像生成接通/断开。
[0036]另外，上述的各按钮12a?12d不限于设置在内窥镜2的操作部12上，例如可以设置为脚踏开关，也可以设置为其他结构的开关等。
[0037]在插入部11的前端部设置有用于拍摄被检体内的摄像系统10。具体而言，该摄像系统10具有:物镜光学系统，其对被检体内的光学像进行成像；以及CCD等摄像元件，其对由该物镜光学系统成像出的光学像进行光电转换而生成摄像信号。内窥镜2经由线缆13与CCU3连接，由摄像系统10拍摄到的摄像信号被发送给CCU 3。
[0038]CCU 3对从内窥镜2发送来的摄像信号实施规定的图像处理，生成内窥镜图像数据。并且，CCU 3根据所连接的内窥镜2的型号等或内窥镜装置4的动作状态等，生成包含视角信息在内的内窥镜规格数据。这里，例如在通过CCU 3的图像处理进行电子变焦的情况下，观察图像的视角范围改变，并且在内窥镜2具有能够变焦的物镜光学系统的情况下视角范围也会改变，因此视角信息使用发送时的实时数据。
[0039]并且，在从插入部11的前端部到基端部的范围内以规定的间隔设置有未图示的多个接收线圈。这些多个接收线圈根据位置检测装置5所产生的磁场而分别输出电信号。内窥镜2经由线缆14与位置检测装置5连接，从接收线圈输出的各电信号被发送给位置检测装置 5。
[0040]作为位置信息取得部的位置检测装置5根据来自多个接收线圈中的设置于插入部11的前端部的接收线圈的电信号，运算并取得插入部11的前端、更具体而言是摄像系统10中的物镜光学系统(或者，也可以称作视点)的位置信息(该位置信息包含物镜光学系统的三维位置和物镜光学系统的光轴方向的各信息)。基于该位置检测装置5的位置信息的取得例如每经过一定的时间间隔而重复进行。
[0041]而且，位置检测装置5根据来自上述的多个接收线圈的电信号，运算并取得表示插入部11的插入形状的插入形状数据。另外，这里利用接收线圈来取得弯曲形状数据，但不限于此，也可以使用例如FBG(光纤布拉格光栅:Fiber Bragg Grating)传感器等来取得弯曲形状数据。
[0042]上述的CCU3、位置检测装置5以及服务器6与图像处理装置7连接。其中的服务器6例如经由医院内的LAN等通信线路与图像处理装置7连接。
[0043]CCU 3将内窥镜图像数据、内窥镜规格数据以及上述的摄像指示数据、视角显示指示数据、冻结视角显示指示数据、累积视角显示指示数据等各指示数据发送给图像处理装置7。
[0044]位置检测装置5将物镜光学系统的位置信息(位置和方向数据)和插入部11的插入形状数据发送给图像处理装置7。
[0045]另一方面，服务器6例如保存有术前多切片图像数据16a?16η，该术前多切片图像数据16a?16η在由该内窥镜系统I进行检查前通过CT、MRI或PET等预先取得。而且，服务器6将这些术前多切片图像数据16a?16η发送给图像处理装置7。另外，这里，图像处理装置7从服务器6读入术前多切片图像数据16a?16η，但也可以取而代之，从存储有术前多切片图像数据16a?16η的⑶-ROM等便携式记录介质中读入术前多切片图像数据16a?16η。
[0046]图像处理装置7根据从CCU3、位置检测装置5以及服务器6取入的各数据进行后述的处理，制成图像数据。
[0047]图像处理装置7与显示装置8连接，显示装置8接收由图像处理装置7制成的图像数据并进行显示。该显示装置8是像后述那样对图像处理装置7所制成的重叠图像进行显示的显示部。
[0048]接下来，图2是示出图像处理装置7的结构的框图。
[0049]图像处理装置7具有第一存储部21、管腔器官提取部22、图像处理部23以及第二存储部24。
[0050]第一存储部21存储作为预先取得的与被检体有关的图像信息的术前多切片图像数据16a?16η，该术前多切片图像数据16a?16η用于构建三维图像信息。
[0051 ]管腔器官提取部22读出存储在第一存储部21中的图像信息来构建三维图像信息，而且提取存在于三维图像信息内的规定的管腔器官图像信息。这里，假设要提取的管腔器官图像信息是表示肾脏的管腔结构的图像信息。此时，管腔器官提取部22提取包含例如尿管42、肾盂43、大肾盏44、小肾盏45、肾乳头46(或者进一步根据需要，膀胱或尿道)在内的规定的管腔器官作为管腔器官41 (参照图4)。
[0052]图像处理部23具有对位部26、视角显示信息生成部27、重叠图像制成部28以及图像读出部29。
[0053]对位部26使位置检测装置5所取得的位置信息(包含物镜光学系统的位置信息)与管腔器官提取部22所提取的作为三维图像信息的规定的管腔器官图像信息对位。该对位部26的对位例如是通过从位置检测装置5所取得的实际空间坐标向构建三维图像信息的三维图像坐标转换的转换式的计算而进行的。
[0054]另外，对位的方法不限于使用上述的转换式的方法，例如也可以采用日本特开2005-312770号公报中公开的基于患者的体表的特征点的位置检测和在三维图像数据上的特征点指定的对位方法、或日本特开2009-279251号公报中公开的基于内窥镜图像与假想内窥镜图像的匹配的对位方法等。
[0055]视角显示信息生成部27根据从CCU3接收到的内窥镜规格数据中的视角信息，生成表示摄像图像的视角信息的视角显示信息，该摄像图像由包含物镜光学系统在内的摄像系统10拍摄。具体而言，视角显示信息生成部27所生成的视角显示信息包含以一点为起点而延伸的表示视角范围的边界线，作为具体例子列举出扇形、圆锥形、四棱锥形等。这里，扇形例如适用于与根据三维图像信息制成的二维图像信息进行重叠的情况，圆锥形适用于与三维图像信息进行重叠的情况，四棱锥形适用于考虑摄像元件的摄像面的形状(一般的情况为四边形状)而与三维图像信息进行重叠的情况。
[0056]图像处理部23将视角显示信息中的边界线的起点设定在由对位部26进行对位后的位置信息所表示的物镜光学系统的位置。
[0057]图像处理部23的重叠图像制成部28在规定的管腔器官图像信息中的由对位部26对位后的位置信息所表示的位置上重叠视角显示信息生成部27所生成的视角显示信息，制成重叠图像。
[0058]当通过视角显示按钮12b选择了重叠图像生成接通时，该重叠图像制成部28的重叠图像的制成与位置检测装置5的位置信息的取得对应地进行，直到选择重叠图像生成断开，其中，该位置检测装置5的位置信息的取得像上述那样每经过一定的时间间隔而重复地进行。此时，显示装置8在选择指示是重叠图像生成接通的期间对重叠图像进行显示。由此，视角显示信息被实时显示。并且，当通过视角显示按钮12b选择了重叠图像生成断开时，重叠图像制成部28例如不生成重叠图像(但是，当像后述那样将重叠图像存储于第二存储部24而进行下述的累积视角显示的情况下，也可以与视角显示按钮12b的操作状态无关地制成重叠图像)。
[0059]而且，为了对累积视角显示按钮12d被操作的情况做出准备，重叠图像制成部28与位置检测装置5的位置信息的取得对应地进行重叠图像的制成，其中，该位置检测装置5的位置信息的取得每经过一定的时间间隔而重复地进行。
[0060]另一方面，在冻结视角显示按钮12c被操作的情况下，重叠图像制成部28只要在被操作的时刻制成重叠图像即可。
[0061]并且，重叠图像制成部28的重叠处理存在如下的情况:将视角显示信息与由管腔器官提取部22提取出的作为三维图像信息的规定的管腔器官图像信息重叠、以及根据作为三维图像信息的规定的管腔器官图像信息将作为二维图像信息的规定的管腔器官图像信息制成俯瞰图像或切出图像等之后重叠视角显示信息。
[0062]在所制成的重叠图像是二维图像的情况下，该二维重叠图像成为输出给显示装置8的图像数据，但在所制成的重叠图像是三维图像的情况下，图像处理部23根据重叠图像而制成俯瞰图像或切出图像等二维重叠图像并使该二维重叠图像成为输出给显示装置8的图像数据。
[0063]第二存储部24对位置信息和视角信息(具体而言，作为用于根据存储于服务器6的术前多切片图像数据16a?16η来制成二维重叠图像的数据的物镜光学系统的位置信息(位置和方向数据)和摄像图像的视角信息)、与所制成的二维重叠图像中的至少一方进行存储。
[0064]这里，为了之后容易掌握记录在病历等中的记录照片被拍摄的位置和方向，第二存储部24只要与由摄像系统10拍摄的摄像图像相关联地进行位置信息和视角信息、与二维重叠图像中的至少一方的存储即可。此时，只要使从作为摄像指示部的释放按钮12a输入摄像指示的时机包含于进行相关联的存储的时机中即可。
[0065]图像读出部29将从第二存储部24读出的二维重叠图像或者根据从第二存储部24读出的位置信息和视角信息而制成的二维重叠图像输出给显示装置8以用于显示。上述的作为取得指示部的冻结视角显示按钮12c所产生的冻结视角显示指示数据是用于从第二存储部24取得信息的取得指示。
[0066]因此，图像读出部29根据取得指示而从第二存储部24读出取得指示的输入开始时刻的二维重叠图像。
[0067]或者，图像读出部29根据取得指示而从第二存储部24读出取得指示的输入开始时刻的位置信息和视角信息，根据读出的位置信息和视角信息而使图像处理部23制成二维重置图像。
[0068]而且，图像读出部29在取得指示有效的期间持续输出二维重叠图像以用于显示。由此，在取得指示有效的期间中，冻结视角显示按钮12c被操作的时刻的视角被持续显示。
[0069]接下来，图3是示出内窥镜系统I的作用的流程图，图4是示出显示装置8的显示画面8a的显不例的图。
[0070]另外，显示在图4的显示画面8a上的图像是由图像处理装置7处理后的最终的二维图像数据，以下，适当使用图4所示的二维图像数据的标号进行说明。
[007?] 如图4所示，在显示装置8的显示画面8a上显示有例如俯瞰图像31、假想内窥镜图像32以及内窥镜图像33。这里，俯瞰图像31是对构建成三维图像数据的管腔器官进行俯瞰时的被立体观察的管腔器官的二维图像。并且，假想内窥镜图像32是从物镜光学系统的视点对构建成三维图像数据的管腔器官进行了观察时的二维图像。而且，内窥镜图像33是摄像系统10所拍摄的摄像图像。另外，图4所示的显示例只是一例，也可以显示其他信息或者省略一些信息的显示等。
[0072]在图4所示的俯瞰图像31中显示有管腔器官41中的尿管42、肾盂43、大肾盏44、小肾盏45、肾乳头46，还显示有作为导航的表示当前的插入部11的插入形状的插入部图像51。该插入部图像51的前端是当前的物镜光学系统的位置50。在图4的俯瞰图像31所示的例中，当前的物镜光学系统的位置50位于大肾盏44内。
[0073]与插入部11的物镜光学系统位于大肾盏44内对应地，在图4所示的内窥镜图像33中显示有从大肾盏44观察到的多个小肾盏45的开口。
[0074]并且，在假想内窥镜图像32中显示有从当前的物镜光学系统的位置50应该能观察到的多个小肾盏45的开口。
[0075]接着，以如下的情况为例进行说明:例如在粉碎肾脏结石而进行细化后，在检查是否残留有结石的碎片时，使用内窥镜系统I。在这样的检查中，需要彻底地检查肾脏的管腔内以使得不漏看结石的碎片。
[0076]此时，手术人员首先使用与以往相同的导航进行插入直到目标的小肾盏45。而且，进行使用内窥镜彻底地环视目标的小肾盏45内的检查。在这样的检查中，手术人员在期望的时机对操作部12的视角显示按钮12b进行操作，由此进行视角显示。
[0077]并且，一边参照视角显示一边进行小肾盏45的观察，在手术人员判断为对于一个小肾盏45内全部进行了观察的情况下，再次利用与以往相同的导航，移动到下一个小肾盏45进行观察。在该小肾盏45间移动时，在不需要视角显示的情况下，手术人员还可以操作视角显示按钮12b来断开视角显示。
[0078]接下来，参照图3对内窥镜系统I的作用的详细内容进行说明。
[0079]当开始进行图3所示的处理时，管腔器官提取部22像上述那样读出术前多切片图像数据16a?16η来构建三维图像信息，而且提取存在于所构建的三维图像信息内的规定的管腔器官图像信息(步骤SI)。
[0080]另一方面，对位部26从位置检测装置5取得物镜光学系统的位置信息(位置和方向数据)(步骤S2)。
[0081]而且，对位部26对取得的位置信息所表示的实际空间坐标与构建三维图像信息的三维图像坐标进行对位(步骤S3)。
[0082]并且，视角显示信息生成部27从CCU3取得内窥镜规格数据，根据包含于内窥镜规格数据中的视角信息而生成包含表示视角范围的边界线在内的视角显示信息(步骤S4)。
[0083]然后，图像处理部23对是否操作了视角显示按钮12b而从CXU 3输入了视角显示指示数据进行判断(步骤S5)。
[0084]这里，在判断为输入了视角显示指示数据的情况下，重叠图像制成部28根据由对位部26对位后的位置信息而制成在由管腔器官提取部22提取出的管腔器官的三维图像上重叠了插入部图像51和由视角显示信息生成部27生成的视角显示信息后的重叠图像(步骤S6)。
[0085]另一方面，在判断为未输入视角显示指示数据的情况下，重叠图像制成部28根据由对位部26对位后的位置信息，制成在由管腔器官提取部22提取出的管腔器官的三维图像上重叠了插入部图像51后的重叠图像(步骤S7)。
[0086]图像处理部23根据所制成的重叠图像来制成俯瞰图像31，并与假想内窥镜图像32和内窥镜图像33—同构成显示用的图像数据，然后将图像数据输出给显示装置8。由此，在显示装置8上显示有作为重叠图像的包含俯瞰图像31在内的图像(步骤S8)。
[0087]然后，对是否结束该处理进行判断(步骤S9)，在判断为还未结束的情况下，返回步骤S2，重复进行上述那样的处理，在判断为结束的情况下，结束该处理。
[0088]图5是示出重叠有视角显示信息52的俯瞰图像31的一例的图。
[0089]由以俯瞰图像31的插入部图像51的前端的物镜光学系统的位置50为起点而生成为表示视角范围的角度的呈扇形的边界线的视角显示信息52被显示为将与物镜光学系统的光轴方向一致的方向作为中心进行扩展。
[0090]当将这样显示的视角显示信息52与内窥镜图像33和假想内窥镜图像32组合使用时，能够判别出被观察的小肾盏45的开口和未被观察的小肾盏45的开口。即，当在内窥镜图像33和假想内窥镜图像32中显示的小肾盏45的开口在图4所示的例子中是三个而在图5所示的俯瞰图像31中存在四个的情况下，判别为一个小肾盏45的开口没有被观察到。
[0091]该判别可以由手术人员通过观察比较图5所示的俯瞰图像31与内窥镜图像33或者假想内窥镜图像32来进行，但也可以通过图像处理部23进行判别处理并将判别结果作为导航信息之一进行显示等。
[0092]图6是示出在俯瞰图像31上与视角显示信息52—同标注了能够/不能观察标记的例子的图。
[0093]S卩，如图6所示，可以在处于俯瞰图像31中的管腔器官41的视角显示信息52所表示的范围内的小肾盏45的开口处显示例如能够观察标记53和不能观察标记54。但是，图6所示的显示是一例，可以采用其他的显示方式，也可以与显示一同或者取代显示而通过语音或其他方法进行导航。
[0094]并且，图7是示出重叠有视角显示信息52的俯瞰图像31的其他例子的图。
[0095]图5所示的视角显示信息52可以仅是扇形的边界线，但由于实际的观察范围是立体角，因此在该图7所示的例子中使视角显示信息55为圆锥形的显示信息。但是，如上所述，也可以考虑摄像元件的摄像面的形状而采用例如四棱锥形的显示信息。
[0096]接下来，图8是示出在从不同的多个方向观察到的多个俯瞰图像31、34上显示视角显示信息的例子的图。
[0097]图像处理部23能够制成从不同的多个方向观察到的多个二维重叠图像。
[0098]在该情况下，在显示装置8的显示画面8a上显示有内窥镜图像33、俯瞰图像31以及第二俯瞰图像34，该第二俯瞰图像34是从与该俯瞰图像31不同的角度观察到的。另外，在该图8所示的例子中，取代假想内窥镜图像32而显示第二俯瞰图像34，但也可以在俯瞰图像31、假想内窥镜图像32以及内窥镜图像33的基础上进一步追加显示第二俯瞰图像34等。
[0099]这里，第二俯瞰图像34是从图8中箭头A的方向俯瞰时的图像，是图像处理部23在三维图像坐标内使被构建成三维图像信息的管腔器官旋转而生成的。
[0100]而且，在俯瞰图像31上与图5同样地显示有由规定的长度的扇形的边界线构成的视角显示信息52，在第二俯瞰图像34上显示有表示作为从箭头A的方向观察边界线的前端时的形状的例如圆形的视角范围的视角显示信息52a。另外，与上述同样地，也可以考虑摄像元件的摄像面的形状而使该视角显示信息52a为例如四边形。
[0101]这样，通过在从不同的多个方向观察到的多个俯瞰图像31、34上对视角显示信息52、52a进行显示也能够立体地掌握观察范围。
[0102]接下来，图9是示出在冻结视角显示按钮12c被操作时所显示的视角显示信息的例子的图。
[0103]如上所述，在视角显示按钮12b被操作时，以当前的物镜光学系统的位置50为起点对视角显示信息进行实时显示。
[0104]与此相对，在作为取得指示部的冻结视角显示按钮12c被操作时，在冻结视角显示指示有效的期间持续显示被操作的时刻的视角显示信息。
[0105]S卩，当冻结视角显示指示数据被输入到图像处理部23时，图像读出部29从第二存储部24读出取得指示的输入开始时刻的二维重叠图像或位置信息和视角信息。因此，冻结视角显示按钮12c输入取得指示的取得指示部，该取得指示用于从第二存储部24取得信息。
[0106]这里，在所读出的数据是位置信息和视角信息的情况下，图像处理装置7从服务器6读出术前多切片图像数据16a?16η，通过对位部26对从第二存储部24读出的位置信息和视角信息进行对位，然后制成取得指示的输入开始时刻的二维重叠图像。
[0107]图像读出部29在取得指示有效的期间将所读出的取得指示的输入开始时刻的二维重叠图像或者根据所读出的信息而制成的取得指示的输入开始时刻的二维重叠图像持续输出给显示装置8以用于显示。
[0108]由此，如图9所示，即使在冻结视角显示按钮12c被操作后物镜光学系统的位置50改变，视角显示信息62也以冻结视角显示按钮12c被操作的时刻的物镜光学系统的位置61为起点持续进行冻结显示。
[0109]之后在冻结视角显示按钮12c被操作而冻结视角显示指示被取消的时刻，该冻结显示从画面上被删去。
[0110]接下来，图10是示出在累积视角显示按钮12d被操作时在俯瞰图像上显示的视角显示信息的例子的图，图11是示出在累积视角显示按钮12d被操作时从不同的方向观察到的俯瞰图像上显示的视角显示信息的例子的图。这里，图11是从图10中箭头B的方向观察时的图像。
[0111]当作为累积显示指示部的累积视角显示按钮12d被操作而输入累积视角显示指示时，累积过去的视角显示信息进行显示。
[0112]首先，第二存储部24对过去的多个时刻的位置信息和视角信息、与二维重叠图像中的至少一方进行存储。另外，由于也可以对累积视角显示进行复位，因此在进行了复位操作的情况下，可以删去在复位操作以前的时刻所取得的二维重叠图像和在复位操作以前的时刻所取得的位置信息和视角信息。
[0113]而且，图像处理部23在被输入了累积视角显示指示的情况下，从第二存储部24读出过去的多个时刻的位置信息和视角信息、与累积二维重叠图像中的至少一方，该累积二维重叠图像是对过去的多个时刻的二维重叠图像进行累积重叠而得到的。
[0114]这里，在从第二存储部24读出的是过去的多个时刻的位置信息和视角信息的情况下，图像处理装置7从服务器6读出术前多切片图像数据16a?16η，通过对位部26对从第二存储部24读出的过去的多个时刻的位置信息和视角信息进行对位，然后制成过去的多个时刻的二维重叠图像。
[0115]然后，图像处理部23对从第二存储部24读出的过去的多个时刻的二维重叠图像或根据从第二存储部24读出的位置信息和视角信息而制成的过去的多个时刻的二维重叠图像进行累积重叠，制成累积显示了过去的视角的累积二维重叠图像。
[0116]这样，在显示装置8上显示有例如图10或图11所示的累积二维重叠图像。
[0117]首先，图10和图11示出从小肾盏45的开口45a对小肾盏45的内部进行观察时的情况。在该例子中，小肾盏45的内部45b比开口 45a宽阔。
[0118]而且，标注了阴影进行表示的累积视角显示信息71表示小肾盏45的内部45b的完成了观察的视角范围。
[0119]并且，视角显示信息52、52a表示从当前的物镜光学系统的位置50观察到的小肾盏45的内部45b的范围。
[0120]另一方面，区域72表示小肾盏45中的未观察的区域。
[0121]另外，在想要彻底地观察这样特定的小区域(这里为小肾盏45)的情况下，可以放大显示包含特定的小区域在内的区域、即图10中双点划线所示的放大对象区域73。例如，也可以在累积视角显示按钮12d被操作而使得累积视角显示指示有效的期间，自动地放大显示放大对象区域73等。
[0122]根据这样的实施方式I，制成了在管腔器官图像中的由对位部26对位后的位置上重叠视角显示信息的重叠图像，因此能够以易于理解的方式提示管腔器官中的观察范围。
[0123]并且，由于设置了存储有位置信息和视角信息、与二维重叠图像中的至少一方的第二存储部24，因此能够在某时刻以后的时刻确认某时刻的观察范围。尤其是，与存储了二维重叠图像的情况相比，在存储了位置信息和视角信息的情况下能够削减存储容量。
[0124]而且，由于第二存储部24将位置信息和视角信息、与二维重叠图像中的至少一方的存储与摄像系统10所拍摄的摄像图像相关联地进行，因此在作为用于记录于病历等中的记录照片而拍摄摄像图像的情况下，只要参照相关联的二维重叠图像或者根据相关联的位置信息和视角信息而制成的二维重叠图像，就能够容易地掌握记录照片的摄像范围。
[0125]此时，只要在从摄像指示部输入了摄像指示的情况下，第二存储部24对位置信息和视角信息、与二维重叠图像中的至少一方与摄像图像进行相关联的存储(即，只要使从作为摄像指示部的释放按钮12a输入摄像指示的时机包含于进行相关联的存储的时机)，就能够可靠地掌握取得摄像图像的时刻的摄像范围。
[0126]而且，由于图像读出部29在取得指示有效的期间持续输出如下的二维重叠图像以用于显示:根据取得指示而从第二存储部24读出的取得指示的输入开始时刻的二维重叠图像、或基于根据取得指示而从第二存储部24读出的取得指示的输入开始时刻的位置信息和视角信息而制成的二维重叠图像，因此能够在冻结显示有效的期间中持续观察进行了冻结视角显示指示的时刻的观察范围。由此，即使当前的物镜光学系统的位置50例如细微地改变，也能够稳定地观察冻结视角显示指示时刻的观察范围。
[0127]此外，在与通过位置检测装置5取得位置信息对应地由图像处理部23制成重叠图像的情况下，能够实时地显示视角显示信息。并且，也能够预先蓄积用于进行累积视角显示的重叠图像。
[0128]由于图像处理部23在通过视角显示按钮12b选择了重叠图像生成接通的情况下生成重叠图像，在选择了重叠图像生成断开的情况下不生成重叠图像，因此能够仅在需要实时显示的情况下生成重叠图像，在不需要实时显示的情况下减轻处理负荷。
[0129]而且，当在选择指示是重叠图像生成接通期间使显示装置8显示重叠图像的情况下，能够观察实时显示的视角显示信息。并且，在手术人员不喜欢始终重叠显示视角显示信息的情况下，通过选择重叠图像生成接通/断开，也能够按照期望地切换视角显示信息的显示的接通/断开。
[0130]并且，在制成图8所示的从多个不同的方向观察到的多个二维重叠图像并进行显示的情况下，能够立体地掌握观察范围。
[0131]而且，由于视角显示信息包含表示以位置信息所示的物镜光学系统的位置为起点而延伸的视角范围的边界线，因此能够容易地掌握从物镜光学系统的位置观察到的范围。
[0132]由于图像处理部23在被输入累积视角显示指示的情况下，制成累积二维重叠图像，该累积二维重叠图像是累积重叠过去的多个时刻的二维重叠图像而得到的，因此能够容易地确认过去已观察的区域和还未观察的区域。
[0133][实施方式2]
[0134]图12是示出本发明的实施方式2的图，是示出内窥镜系统I的自动重叠图像显示处理的流程图。在该实施方式2中，通过对与上述的实施方式I相同的部分标注相同的标号等而适当省略说明，主要对不同的点进行说明。
[0135]在上述的实施方式I中，根据来自手术人员的按钮操作而进行重叠图像的显示即视角显示信息的显示，但本实施方式是通过自动处理而进行的。
[0136]S卩，当开始进行图12所示的处理时，对物镜光学系统是否存在于规定的区域内(如果列举具体例子为小肾盏45内)进行判断(步骤S11)。
[0137]这里，在判断为存在于规定的区域内的情况下，对存在于规定的区域的持续时间是否为第一阈值以上进行判断(步骤S12)。
[0138]这里，在判断为在第一阈值以上的情况下，接通自动重叠图像显示(步骤S13)，然后返回步骤Sll的判断，并且在判断为小于第一阈值的情况下，不进行步骤S13的处理，返回步骤Sll的判断。这里，当在步骤S13中接通自动重叠图像显示时，进行如下处理:实时制成在上述的实施方式I中说明的重叠图像并进行显示。
[0139]并且，在步骤Sll中，在判断为物镜光学系统不存在于规定的区域内的情况下，对当前自动重叠图像显示是否接通进行判断(步骤S14)。
[0140]这里，在判断为自动重叠图像显示接通的情况下，对不存在于规定的区域内的持续时间是否为第二阈值以上进行判断(步骤S15)。
[0141]这里，在判断为在第二阈值以上的情况下，断开自动重叠图像显示(步骤S16)，然后返回步骤Sll的处理，并且，当在步骤S14中判断为自动重叠图像显示断开的情况下和在步骤S15中判断为小于第二阈值的情况下直接返回步骤Sll的处理。
[0142]根据这样的实施方式2，实现了与上述的实施方式I几乎相同的效果，并且由于在物镜光学系统存在于规定的区域内的持续时间在第一阈值以上的情况下自动制成重叠图像，因此在观察小肾盏45等特定区域时，不需要进行手动操作就能够掌握观察的范围。
[0143]而且，由于在物镜光学系统不存在于规定的区域内的持续时间小于第二阈值的期间，持续自动制成重叠图像，因此能够防止在小肾盏45等特定区域的入口附近不稳定地切换视角显示信息的显示接通/断开，一边观察稳定的显示画面一边进行观察。
[0144]而且，在物镜光学系统不存在于规定的区域内的持续时间在第二阈值以上的情况下，重叠图像的显示断开，因此能够在不需要进行手动操作的情况下，一边观察未显示视角显示信息的画面一边进行插入位置的移动等。
[0145]另外，在上述内容中主要对内窥镜系统进行了说明，但也可以采用使内窥镜系统像上述那样工作的内窥镜系统的工作方法，还可以是用于使计算机执行该工作方法的程序、记录该程序且能够由计算机读取的非暂时性的记录介质等。
[0146]并且，本发明不限于上述的实施方式，能够在实施阶段在不脱离该主旨的范围内对结构要素进行变形并将其具体化。并且，通过适当组合上述实施方式中公开的多个结构要素，能够形成各种发明方式。例如，也可以从实施方式所示的所有结构要素中删除几个结构要素。而且，也可以适当组合不同的实施方式中的结构要素。这样，当然可以在不脱离发明的主旨的范围内进行各种变形和应用。
[0147]本申请是以2014年6月10日在日本申请的日本特愿2014-119754号为优先权主张的基础进行申请的，上述的公开内容被引用于本申请说明书、权利要求书以及附图。
【主权项】
1.一种内窥镜系统，其特征在于，该内窥镜系统具有: 第一存储部，其对用于构建三维图像信息的、预先取得的与被检体有关的图像信息进行存储； 管腔器官提取部，其根据所述图像信息而构建所述三维图像信息，并提取存在于该三维图像信息内的规定的管腔器官图像信息； 位置信息取得部，其取得使所述被检体内的光学像成像的物镜光学系统的位置信息；对位部，其将所述位置信息取得部所取得的位置信息与所述规定的管腔器官图像信息对位； 视角显示信息生成部，其生成表示摄像图像的视角信息的视角显示信息，其中，所述摄像图像是由包含所述物镜光学系统在内的摄像系统拍摄得到的；以及 图像处理部，其制成重叠图像，该重叠图像是在所述规定的管腔器官图像信息中的由所述对位部对位后的所述位置信息所表示的位置上重叠了所述视角显示信息而得到的。2.根据权利要求1所述的内窥镜系统，其特征在于， 所述图像处理部还能够根据所述重叠图像制成二维重叠图像， 所述内窥镜系统还具有第二存储部，该第二存储部对所述位置信息和所述视角信息、与所述二维重叠图像中的至少一方进行存储。3.根据权利要求2所述的内窥镜系统，其特征在于， 所述第二存储部将所述位置信息和所述视角信息、与所述二维重叠图像中的至少一方与所述摄像图像相关联地存储。4.根据权利要求3所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有输入摄像指示的摄像指示部，该摄像指示用于取得所述摄像图像， 所述第二存储部在从所述摄像指示部输入了所述摄像指示的情况下，将所述位置信息和所述视角信息、与所述二维重叠图像中的至少一方与所述摄像图像相关联地存储。5.根据权利要求2所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有: 取得指示部，其输入取得指示，该取得指示用于从所述第二存储部取得信息；以及图像读出部，其在该取得指示有效的期间，持续输出根据所述取得指示而从所述第二存储部读出的该取得指示的输入开始时刻的所述二维重叠图像、或者基于根据所述取得指示而从所述第二存储部读出的该取得指示的输入开始时刻的所述位置信息和所述视角信息而制成的二维重叠图像以用于显示。6.根据权利要求1所述的内窥镜系统，其特征在于， 所述图像处理部与通过所述位置信息取得部而取得所述位置信息对应地制成所述重置图像。7.根据权利要求1所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有输入选择指示的重叠图像选择指示部，该选择指示用于选择重叠图像生成接通/断开， 所述图像处理部在所述选择指示是重叠图像生成接通时生成所述重叠图像，在所述选择指示是重叠图像生成断开时不生成所述重叠图像。8.根据权利要求7所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有显示部，该显示部对所述重叠图像进行显示， 所述显示部在所述选择指示是重叠图像生成接通的期间对所述重叠图像进行显示。9.根据权利要求1所述的内窥镜系统，其特征在于， 所述图像处理部还根据所述重叠图像而制成从多个不同的方向观察到的多个二维重置图像。10.根据权利要求1所述的内窥镜系统，其特征在于， 所述视角显示信息包含表示以所述位置信息所示的所述物镜光学系统的位置为起点而延伸的视角范围的边界线。11.根据权利要求2所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有输入累积视角显示指示的累积显示指示部，该累积视角显示指示用于累积显示过去的视角显示信息， 所述第二存储部对过去的多个时刻的所述位置信息和所述视角信息、与所述二维重叠图像中的至少一方进行存储， 所述图像处理部进一步在被输入了所述累积视角显示指示的情况下，制成累积重叠了过去的多个时刻的所述二维重叠图像而得到的累积二维重叠图像和基于过去的多个时刻的所述位置信息和所述视角信息而制成的累积二维重叠图像中的至少一方。12.根据权利要求1所述的内窥镜系统，其特征在于， 所述图像处理部在根据所述位置信息而判断为所述物镜光学系统存在于规定的区域内的持续时间在第一阈值以上的情况下，自动制成重叠图像直到之后判断为所述物镜光学系统不存在于该规定的区域内的持续时间达到第二阈值以上为止。13.一种内窥镜系统的工作方法，该内窥镜系统具有第一存储部、管腔器官提取部、位置信息取得部、对位部、视角显示信息生成部以及图像处理部，该内窥镜系统的工作方法的特征在于， 所述第一存储部对用于构建三维图像信息的、预先取得的与被检体有关的图像信息进行存储， 所述管腔器官提取部根据所述图像信息而构建所述三维图像信息，并提取存在于该三维图像信息内的规定的管腔器官图像信息， 所述位置信息取得部取得使所述被检体内的光学像成像的物镜光学系统的位置信息， 所述对位部将所述位置信息取得部所取得的位置信息与所述规定的管腔器官图像信息对位， 所述视角显示信息生成部生成表示摄像图像的视角信息的视角显示信息，其中，所述摄像图像是由包含所述物镜光学系统在内的摄像系统拍摄得到的， 所述图像处理部制成重叠图像，该重叠图像是在所述规定的管腔器官图像信息中的由所述对位部对位后的所述位置信息所表示的位置上重叠了所述视角显示信息而得到的。
【文档编号】G02B23/24GK106028903SQ201580009481
【公开日】2016年10月12日
【申请日】2015年4月28日
【发明人】生熊聪, 生熊聪一, 山本达郎
【申请人】奥林巴斯株式会社