一种基于病灶位置与内容的乳腺图像检索系统及方法
【专利摘要】本发明提供一种基于病灶位置与内容的乳腺图像检索系统及方法，该系统包括图像预处理单元、图像病灶位置相似性度量单元、图像内容相似性度量单元和图像综合相似性度量器，该方法为获取乳腺钼靶x射线图像的待检索图像、历史图像集，选取标准图像，对待检索图像和历史图像集进行预处理，对预处理后的待检索图像和预处理后的历史图像集进行图像病灶位置相似性度量，对乳腺钼靶x线图像的预处理后的待检索图像和预处理后的历史图像集进行图像内容相似性度量，得出图像综合相似性图像序号，得到待检索图像检索结果。本发明增加了基于病灶位置相似性度量方法，有效地改善乳腺钼靶x线图像的检索性能，进一步辅助医生对乳腺疾病的诊断。
【专利说明】
-种基于病灶位置与内容的乳腺图像检索系统及方法
技术领域
[0001] 本发明属于医学图像后处理技术领域，具体设及一种基于病灶位置与内容的乳腺 图像检索系统及方法。
【背景技术】
[0002] 目前，乳腺癌筛查是实现乳腺癌早诊早治的重要手段，可W降低30%的死亡率。乳 腺钢祀X线影像是乳腺癌早期检测、诊断的重要依据，乳腺图像中病灶的不同表现，成为早 期诊断乳腺癌的唯一标准，但其的诊断具有较大的难度，通过乳腺图像的检索可W有效地 辅助医生诊断。
[0003] 基于内容的图像检索技术开始于90年代初期，发展到如今它在医学上的用途越来 越广泛，其中在乳腺图像检索方面的意义极为重大，是根据乳腺图像的特点来进行检索的， 将检索结果视为医学诊断的有用价值。发展至今，检索技术已经有了较为成熟的发展，却仍 然在检索性能方面存在缺陷，主要表现在检索性能较低上，其主要原因在于图像含有的信 息量W及相似性度量方式，即所提取出图像有用信息的含量和相似性检索的方法。因此，如 何改善检索的性能，仍需要进一步讨论和研究。
【发明内容】
[0004] 针对现有技术的不足，本发明提出一种基于病灶位置与内容的乳腺图像检索系统 及方法。
[0005] 本发明的技术方案是:一种基于病灶位置与内容的乳腺图像检索系统，包括图像 预处理单元、图像病灶位置相似性度量单元、图像内容相似性度量单元和图像综合相似性 度量器；
[0006] 所述图像预处理单元，用于获取乳腺钢祀X射线图像的待检索图像Fo、历史图像集 (Fi，F2,…，Fn),选取标准图像Fe,对待检索图像Fo和历史图像集(Fi，F2,…，Fn)进行预处理， 得到预处理后的图像集（I〇，Il，l2,…，In),其中，包括预处理后的待检索图像Io和预处理后 的历史图像集（II，12,…，In);所述标准图像Fe为形态正常、大小适中的乳腺钢祀X射线图 像；
[0007] 所述图像病灶位置相似性度量单元，用于对乳腺钢祀X线图像的预处理后的待检 索图像Io和预处理后的历史图像集…，In)进行图像病灶位置相似性度量，得到图像 病灶位置相似性集合(Sl，S2，…，Sn);
[000引所述图像内容相似性度量单元，用于对乳腺钢祀X线图像的预处理后的待检索图 像Io和预处理后的历史图像集…，In)进行图像内容相似性度量，得到图像内容相似 性集合化1瓜，…，En);
[0009]所述图像综合相似性度量器，用于将图像病灶位置相似性集合(Sl，S2，…，Sn)按照 图像病灶位置相似性从大到小排序，并标记序号，将排序后的图像病灶位置相似性集合的 序号分配A%的权重，将图像内容相似性集合化，E2,…，En)按照图像内容相似性从小到大 排序，并标记序号，将排序后的图像内容相似性集合的序号分配（IOO-A) %的权重，综合图 像病灶位置相似性图像序号和图像内容相似性图像序号得出图像综合相似性图像序号，得 到待检索图像检索结果：即图像综合相似性图像序号越小，表示该图像与待检索图像越相 似。
[0010]优选地，所述图像预处理单元包括:图像去噪器和图像增强器；
[0011]所述图像去噪器，用于分别对待检索图像Fo和历史图像集化，F2,…，Fn)进行降噪 处理，得到降噪后的待检索图像Po和降噪后的历史图像集(Pl，P2,…，Pn);
[0012] 所述图像增强器，用于分别对降噪后的待检索图像Po和降噪后的历史图像集(Pi， P2,…，Pn)进行图像增强处理，得到预处理后的待检索图像Io和预处理后的历史图像集（II， 12,... ,In);
[0013] 优选地，所述图像病灶位置相似性度量单元包括:病灶位置中屯、点和半径确定器、 待检索图像和图像库与标准图像配准器、图像病灶位置相似性确定器；
[0014] 所述病灶位置中屯、点和半径确定器，用于确定预处理后的图像集（1〇, Ii, 12,…， In)的病灶位置中屯、点坐标集{(x〇，y〇)，（Xl，yi)，（X2,y2)，，，，（Xn，yn)巧Pl病灶位置半径集(Ro, Rl, R2,-- - ,Rn)；
[0015] 优选地，所述确定预处理后的图像集（1〇, Il, 12,…，In)的病灶位置中屯、点坐标集 {(又〇,7〇)，佔，71)，（又2,72)...，（又。，7。）}和病灶位置半径集(帕瓜，化，...，盼）的具体方法为：
[0016] 采用经典的大津法阔值分割算法对预处理后的图像集(I〇，Il，l2,…，In)进行二值 化处理，保留二值化处理后的图像中高亮区域，将高亮区域X轴方向最大值的一半作为病灶 位置中屯、点横坐标，将高亮区域Y轴方向最大值的一半作为病灶位置中屯、点纵坐标，得到病 灶位置中屯、点坐标集{(x〇，y〇)，（Xl，yi)，（X2，y2)…，（Xn，yn)}，遍历高亮区域所有点，从第一 个点开始，利用直角=角形勾股定理，求出点到中屯、点的距离，依次计算高亮区域中所有点 与中屯、点的距离，将其最大值作为病灶位置半径，得到病灶位置半径集(Ro,化，化，…，Rn)。
[0017] 所述待检索图像和图像库与标准图像配准器，用于利用基于(PD配准方法，将预处 理后的图像集（I〇，Il，l2,…，In)与标准图像Fc进行匹配，得到转换后的病灶中屯、点坐标集 { (X〇，Y〇)，（Xl，Yl)，（X2，Y2)，…，（Xn，Yn)}，并将转换后的病灶中屯、点坐标集{(X〇，Y〇)，（XI， Yl )，（X2，Y2 )，…，（Xn，Yn) }和病灶位置半径集(Ro，Rl，R2，…，Rn)显示在标准图像的上，利用转 换后的病灶中屯、点坐标集{口〇，￥〇)，口1，￥1)，口2，￥2)，-，，^。，￥。）}和病灶位置半径集(尺〇， Ri,化，…，Rn)确定病灶区域（Circleo,Circlei ,Circles,…，Circle。）；
[0018] 所述图像病灶位置相似性确定器，用于分别计算病灶区域（Circleo，Circlei, Circles,…，Circle。）中待检索图像的病灶区域Circleo与历史图像的病灶区域化irclei， Circles，…，Circle。)的交集和并集，令
得到图像病灶位置相似性集合(Si，S2，S3，…，Sn);
[0019] 优选地，所述图像内容相似性度量单元包括：图像特征直方图提取器和图像内容 相似性确定器；
[0020] 所述图像特征直方图提取器，用于提取预处理后的图像集（I〇，Il，12,…，In)的灰 度特征、形状特征和纹理特征，构建其图像灰度直方图、基于边缘方向直方图、方向梯度直 方图和局部二值模式直方图，得到灰度特征向量(日日，日1，日2,…，On)、形状特征向量(齡，扣， 02,，，，，0n)和纹理特征向量（丫 0, 丫 1，丫2,…，丫n)，合并灰度特征向量(a〇,ai,a2,…，a。）、形 状特征向量(00,01,02,…，0n)和纹理特征向量（丫 0, 丫 1，丫 2,…，丫 n)，得到综合直方图特征 向量（W〇,Wl,W2,'''，《n);
[0021] 所述图像内容相似性确定器，用于采用EMD方法将待检索图像的综合直方图特征 向量O 0和历史图像的综合直方图特征向量（O 1, O 2,…，《n)进行相似性度量，得到图像内 容相似性集合化1，E2,…，En)。
[0022] 采用基于病灶位置与内容的乳腺图像检索系统进行图像检索的方法，包括W下步 骤：
[0023] 步骤1:获取乳腺钢祀X射线图像的待检索图像Fo、历史图像集化，F2,…，Fn),选取 标准图像Fe;
[0024] 步骤2:对待检索图像Fo和历史图像集(Fi，F2,…，Fn)进行预处理，得到预处理后的 图像集(I〇，Il，l2，一，In);
[0025] 步骤2.1:分别对待检索图像Fo和历史图像集(Fi，F2,…，Fn)进行降噪处理，得到降 噪后的待检索图像Po和降噪后的历史图像集(Pl，P2,…，Pn);
[0026] 步骤2.2:分别对降噪后的待检索图像Po和降噪后的历史图像集(Pl，P2,…，Pn)进 行图像增强处理，得到预处理后的待检索图像Io和预处理后的历史图像集…，In);
[0027] 步骤3:对乳腺钢祀X线图像的预处理后的待检索图像Io和预处理后的历史图像集 (Il，12，…，In)进行图像病灶位置相似性度量；
[002引步骤3.1:确定预处理后的图像集(10，11，12^..，1。)的病灶位置中屯、点坐标集{(又0， 70)，（財，71)，佔，72；^''，估，7。）巧日病灶位置半径集(1?日，虹，1?2，。'瓜）；
[0029] 步骤3.2:利用基于CPD配准方法，将预处理后的图像集（Io，Ii，l2,…，In)与标准图 像Fe进行匹配，得到转换后的病灶中屯、点坐标集{ (X〇，Y〇)，（Xl，Yl)，（X2，Y2)，…，（Xn，Yn)}，并 将转换后的病灶中屯、点坐标集{ (X〇，Y〇)，（Xl，Yl)，陆爪），…，（Xn，YnM和病灶位置半径集 (Ro，Ri，R2，…，Rn)显示在标准图像的上，利用转换后的病灶中屯、点坐标集{(Xo，Yo)，（Xi，Yi)， (拉，Y2)，…，陆，￥。^和病灶位置半径集他瓜，1?2，一瓜)确定病灶区域((：^。160，(：山。161， Circle2,--- ,Circlen);
[0030] 步骤3.3:分别计算病灶区域((：；[1^160,(：；[1^161,(：；[1^162，...，〔；[1^16。)中待检索图 像的病化反城Ci rcl en台折中图像的痛化反M(Ci rcl m .Ci rcl e?,... ,Circle。）的交集和并 集，令，
导到图像病灶位置相似性 集合(Sl，S2，S3,…，Sn);
[0031] 步骤4:对乳腺钢祀X线图像的预处理后的待检索图像Io和预处理后的历史图像集 (Il，12，…，In)进行图像内容相似性度量；
[0032] 步骤4.1 :提取预处理后的图像集（Io，Il，12，…，In)的灰度特征、形状特征和纹理 特征，构建其图像灰度直方图、基于边缘方向直方图、方向梯度直方图和局部二值模式直方 图，得到灰度特征向量(曰0，曰1，曰2,…，an)、形状特征向量(0〇，01瓜，…，Pn)和纹理特征向量 (丫 0, 丫 1，丫 2，...，丫 n);
[003；3] 步骤4.2:合并灰度特征向量(曰〇，曰1，曰2，-，，曰。）、形状特征向量化〇，&瓜，一，防)和 纹理特征向量（丫 0, 丫 1，丫 丫 n)，得到综合直方图特征向量（《0,《1，《n);
[0034] 步骤4.3:采用EMD方法将待检索图像的综合直方图特征向量《0和历史图像的综 合直方图特征向量（W 1，《2,…，Wn)进行相似性度量，得到图像内容相似性集合化瓜，…， En);
[0035] 步骤5:将图像病灶位置相似性集合(Si，S2,…，Sn)按照图像病灶位置相似性从大 到小排序，并标记序号，将排序后的图像病灶位置相似性集合的序号分配A%的权重，将图 像内容相似性集合化瓜，…，En)按照图像内容相似性从小到大排序，并标记序号，将排序 后的图像内容相似性集合的序号分配（IOO-A) %的权重，综合图像病灶位置相似性图像序 号和图像内容相似性图像序号得出图像综合相似性图像序号，得到待检索图像检索结果： 即图像综合相似性图像序号越小，表示该图像与待检索图像越相似。
[0036] 优选地，所述步骤3.2包括W下步骤：
[0037] 步骤3.2.1:提取预处理后的图像集(Io，Ii，l2,…，In)图像中的乳房轮廓和标准图 像Fc的乳房轮廓；
[003引步骤3.2.2:利用基于era的仿射变换，配准预处理后的图像集（Io，Ii，l2,…，In)图 像中的乳房轮廓和标准图像Fe的乳房轮廓，得到配准变换矩阵(To, Tl, T2,…，Tn);
[0039] 步骤3.2.3:通过配准变换矩阵(To，Ti，T2,…，Tn)对病灶位置中屯、点坐标集Kxo, 7〇)，（町71)，佔，72)'''，（&，7。）巧日病灶位置半径集(3日，虹，1?2，。'瓜)进行转换，得到转换后 的病灶位置中屯、点坐标集{ ( Xo，机），（Xl，Yl)，（拉，Y2 )，…，（Xn，Yn ) };
[0040] 步骤3.2.4:将转换后的病灶位置中屯、点坐标集{(Xo，Yo)，（Xi，Yi)，（X2，Y2)，…， (Xn，YnM和病灶位置半径集咖瓜，1?2，一瓜)显示在标准图像的上，将转换后的病灶位置中 屯、点坐标集{ (XoJo)，（XlJl)，（X2，Y2)，…，（Xn，Yn)巧P病灶位置半径集(R〇，Ri，R2,…，Rn)确 定的圆（Circleo,Circlei ,Circles,…，Circle。)作为病灶区域。
[0041] 本发明的有益效果：
[0042] 本发明提出一种基于病灶位置与内容的乳腺图像检索系统及方法，在传统的基于 内容的图像检索方法的基础上，增加了基于病灶位置相似性度量方法，能够有效地改善乳 腺钢祀X线图像的检索性能，从而能够更进一步辅助医生对乳腺疾病的诊断。
【附图说明】
[0043] 图1为本发明【具体实施方式】中基于病灶位置与内容的乳腺图像检索系统的结构框 图；
[0044] 图2为本发明【具体实施方式】中基于病灶位置与内容的乳腺图像检索方法的流程 图；
[0045] 图3为本发明【具体实施方式】中对乳腺钢祀X线图像的预处理后的待检索图像和预 处理后的历史图像集进行图像病灶位置相似性度量的流程图；
[0046] 图4为本发明【具体实施方式】中利用基于CTO配准方法确定病灶区域的流程图；
[0047] 图5为本发明【具体实施方式】中对乳腺钢祀X线图像的预处理后的待检索图像和预 处理后的历史图像集进行图像内容相似性度量的流程图；
[0048] 图6为本发明【具体实施方式】中根据历史图像集得到待检索图像检索结果的图像处 理过程流程图。
【具体实施方式】
[0049] 下面结合附图对本发明【具体实施方式】加 W详细的说明。
[0050] -种基于病灶位置与内容的乳腺图像检索系统，如图1所示，包括图像预处理单 元、图像病灶位置相似性度量单元、图像内容相似性度量单元和图像综合相似性度量器。
[0051] 图像预处理单元，用于获取乳腺钢祀X射线图像的待检索图像Fo、历史图像集(Fi， F2,…，Fn)，选取标准图像的，对待检索图像Fo和历史图像集化，F2,…，Fn)进行预处理，得到 预处理后的图像集（I〇，Il，l2,…，In),其中，包括预处理后的待检索图像Io和预处理后的历 史图像集…，In)。
[0052] 标准图像Fe为形态正常、大小适中的乳腺钢祀X射线图像。
[0053] 图像预处理单元包括:图像去噪器和图像增强器。
[0054] 图像去噪器，用于分别对待检索图像Fo和历史图像集(Fi，F2,…，Fn)进行降噪处 理，得到降噪后的待检索图像Po和降噪后的历史图像集(Pl，P2,…，Pn)。
[0055] 图像增强器，用于分别对降噪后的待检索图像Po和降噪后的历史图像集（Pi， P2,…，Pn)进行图像增强处理，得到预处理后的待检索图像Io和预处理后的历史图像集（II， 12,... ,In)。
[0056] 图像病灶位置相似性度量单元，用于对乳腺钢祀X线图像的预处理后的待检索图 像Io和预处理后的历史图像集(Il，12，…，In)进行图像病灶位置相似性度量，得到图像病灶 位置相似性集合(Sl，S2，…，Sn)。
[0057] 图像病灶位置相似性度量单元包括:病灶位置中屯、点和半径确定器、待检索图像 和图像库与标准图像配准器、图像病灶位置相似性确定器。
[0058] 病灶位置中屯、点和半径确定器，用于确定预处理后的图像集（1〇, Il, 12,…，In)的 病灶位置中屯、点坐标集{(x〇，y〇)，（Xi，yi)，（X2，y2)'''，（Xn，yn)}和病灶位置半径集(Ro，Ri, R2 , ,Rn)。
[0059] 本实施方式中，确定预处理后的图像集（1〇, Il, 12,…，In)的病灶位置中屯、点坐标 集{(^，7日），相，71)，估，72；^''，（^，7。^和病灶位置半径集(1?日，扣，1?2，。'瓜）的具体方法 为：
[0060] 采用经典的大津法阔值分割算法对预处理后的图像集(I〇，Il，l2,…，In)进行二值 化处理，保留二值化处理后的图像中高亮区域，将高亮区域X轴方向最大值的一半作为病灶 位置中屯、点横坐标，将高亮区域Y轴方向最大值的一半作为病灶位置中屯、点纵坐标，得到病 灶位置中屯、点坐标集{(x〇，y〇)，（Xl，yi)，（X2，y2)…，（Xn，yn)}，遍历高亮区域所有点，从第一 个点开始，利用直角=角形勾股定理，求出点到中屯、点的距离，依次计算高亮区域中所有点 与中屯、点的距离，将其最大值作为病灶位置半径，得到病灶位置半径集(Ro,化，化，…，Rn)。
[0061] 待检索图像和图像库与标准图像配准器，用于利用基于(PD配准方法，将预处理后 的图像集(I〇，Il，l2,…，In)与标准图像Fe进行区配，得到转换后的病灶中屯、点坐标集KXo, Yo)，（XlJl)，（拉，Y2)，…，（Xn，Yn)}，并将转换后的病灶中屯、点坐标集{ (XoJo)，（XlJl)，（拉， Y2)，…，（Xn，Yn) }和病灶位置半径集(Ro，Rl，化，…，Rn)显示在标准图像的上，利用转换后的病 灶中屯、点坐标集{ (XoJo)，（XlJl)，（X2，Y2)，…，（Xn，Yn) }和病灶位置半径集(R〇，Ri，R2,…， Rn)确定病灶区域（Ci;rcle〇,Ci;rclei,Ci;rcle2,'''，Ci;rclen)。
[0062] 图像病灶位置相似性确定器，用于分别计算病灶区域(Circleo，Circlei，Circle2,…， Circle。)中待检索图像的病灶区域Circleo与历史图像的病灶区域(Circlei,Circles，…， Circle。)的交集和并集尋到 图像病灶位置相似性集合。1，&，&，…，Sn j。
[0063] 图像内容相似性度量单元，用于对乳腺钢祀X线图像的预处理后的待检索图像Io 和预处理后的历史图像集…，In)进行图像内容相似性度量，得到图像内容相似性集 合化瓜，…，En)。
[0064] 图像内容相似性度量单元包括：图像特征直方图提取器和图像内容相似性确定 器。
[0065] 图像特征直方图提取器，用于提取预处理后的图像集（1〇, Il, 12,…，In)的灰度特 征、形状特征和纹理特征，构建其图像灰度直方图、基于边缘方向直方图、方向梯度直方图 和局部二值模式直方图，得到灰度特征向量(日日，日1，日2,…，日。）、形状特征向量(0日，&，02，…， Pn)和纹理特征向量（丫日，丫 1，丫 2,…，丫 n)，合并灰度特征向量(日日，日1，日2，'。，日。）、形状特征 向量(00,01,02,…，0n)和纹理特征向量（丫 0, 丫 1，丫 2,…，丫 n)，得到综合直方图特征向量 (〇0, 〇1, 〇2，...，《n)。
[0066] 图像内容相似性确定器，用于采用EMD方法将待检索图像的综合直方图特征向量 ?0和历史图像的综合直方图特征向量（《1，《2,…，COn)进行相似性度量，得到图像内容相 似性集合化1，E2,…，En)。
[0067] 图像综合相似性度量器，用于将图像病灶位置相似性集合(Si, S2,…，Sn)按照图像 病灶位置相似性从大到小排序，并标记序号，将排序后的图像病灶位置相似性集合的序号 分配A%的权重，将图像内容相似性集合化瓜，…，En)按照图像内容相似性从小到大排序， 并标记序号，将排序后的图像内容相似性集合的序号分配(100-A)%的权重，综合图像病灶 位置相似性图像序号和图像内容相似性图像序号得出图像综合相似性图像序号，得到待检 索图像检索结果:即图像综合相似性图像序号越小，表示该图像与待检索图像越相似。
[0068] 采用基于病灶位置与内容的乳腺图像检索系统进行图像检索的方法，如图2所示， 包括W下步骤：
[0069] 步骤1:获取乳腺钢祀X射线图像的待检索图像Fo、历史图像集化，F2,…，Fn),选取 标准图像的，标准图像Fc为形态正常、大小适中的乳腺钢祀X射线图像。
[0070] 步骤2:对待检索图像Fo和历史图像集(Fi，F2,…，Fn)进行预处理，得到预处理后的 图像集（1〇, Il, 12,…，In),其中，包括预处理后的待检索图像Io和预处理后的历史图像集 (Il,12,... ,In)。
[0071] 步骤2.1:分别对待检索图像Fo和历史图像集(Fi，F2,…，Fn)进行降噪处理，得到降 噪后的待检索图像Po和降噪后的历史图像集(Pl，P2,…，Pn)。
[0072] 本实施方式中，采用空间域的变换方法选用中值滤波器进行滤波，实现对待检索 图像Fo和历史图像集(Fi，F2，…，Fn)的降噪处理，减少对待检索图像Fo和历史图像集(Fi， F2,…，Fn)中的噪声。
[0073] 步骤2.2:分别对降噪后的待检索图像Po和降噪后的历史图像集(Pi，P2,…，Pn)进 行图像增强处理，得到预处理后的待检索图像Io和预处理后的历史图像集…，In)。
[0074] 本实施方式中，采用对比度增强的方法对降噪后的待检索图像Po和降噪后的历史 图像集(Pl，P2,…，Pn)进行图像增强处理。强调乳腺钢祀X射线图像整体或局部特性，扩大图 像中不同物体特征之间的差别，抑制不感兴趣的特征，增大疑似病灶与周围组织的对比度。
[0075] 步骤3:对乳腺钢祀X线图像的预处理后的待检索图像Io和预处理后的历史图像集 (11，12，…，In)进行图像病灶位置相似性度量，如图3所示。
[0076] 步骤3.1:确定预处理后的图像集(1〇，11，12^-，1。)的病灶位置中屯、点坐标集{(又〇， 7〇)，（义1，71)，佔，72)...，（义。，7。）}和病灶位置半径集(帕，虹，1?2，...，盼）。
[0077] 本实施方式中，采用经典的大津法阔值分割算法对预处理后的图像集（1〇, Ii, 12,…，In)进行二值化处理，保留二值化处理后的图像中高亮区域，将高亮区域X轴方向最大 值的一半作为病灶位置中屯、点横坐标，将高亮区域Y轴方向最大值的一半作为病灶位置中 屯、点纵坐标，得到病灶位置中屯、点坐标集{(x〇，y〇)，（Xl，yi)，（X2，y2)…，（Xn，yn)}，遍历高亮 区域所有点，从第一个点开始，利用直角=角形勾股定理，求出点到中屯、点的距离，依次计 算高亮区域中所有点与中屯、点的距离，将其最大值作为病灶位置半径，得到病灶位置半径 集(RoJl ,化，…，Rn)。
[007引步骤3.2:利用基于CPD配准方法，将预处理后的图像集（Io，Ii，l2,…，In)与标准图 像Fc进行区配，得到转换后的病灶中屯、点坐标集{ (X0，Y0)，（Xl，Yl)，（X2，Y2)，…，（Xn，Yn)}，并 将转换后的病灶中屯、点坐标集{ (X0，Y0)，（Xl，Yl)，陆爪），…，（Xn，YnM和病灶位置半径集 (Ro，Ri，R2，…，Rn)显示在标准图像的上，利用转换后的病灶中屯、点坐标集{(Xo，Yo)，（Xi，Yi)， (拉，Y2)，…，陆，￥。^和病灶位置半径集他瓜，1?2，一瓜)确定病灶区域((：^。160，(：山。161， Circles,.''，Circle。），如图4所示。
[00巧]本实施方式中，利用基于CPD(Coherence Point化ift)配准方法，可将不同大小 的乳腺轮廓进行标准化，减小病灶位置相似性计算误差。
[0080]步骤3.2.1:提取预处理后的图像集(Io，Ii，l2,…，In)图像中的乳房轮廓和标准图 像Fc的乳房轮廓。
[0081 ] 步骤3.2.2:利用基于CPD(Coherence化int化ift)的仿射变换，配准预处理后的 图像集（1〇, Il, 12,…，In)图像中的乳房轮廓和标准图像Fc的乳房轮廓，得到配准变换矩阵 (T〇,Tl ,T2 ,…，Tn)。
[0082] 步骤3.2.3:通过配准变换矩阵(To，Ti，T2,…，Tn)对病灶位置中屯、点坐标集Kxo, 7〇)，（町71)，佔，72)'''，（&，7。）巧日病灶位置半径集(3日，虹，1?2，。'瓜)进行转换，得到转换后 的病灶位置中屯、点坐标集{ (Xo,机），（Xl，Yl)，（拉，Y2)，…，（Xn，Yn) }。
[0083] 步骤3.2.4:将转换后的病灶位置中屯、点坐标集{(Xo，Yo)，（Xi，Yi)，（X2，Y2)，…， (Xn，YnM和病灶位置半径集咖瓜，1?2，一瓜)显示在标准图像的上，将转换后的病灶位置中 屯、点坐标集{ (XoJo)，（XlJl)，（X2，Y2)，…，（Xn，Yn)巧P病灶位置半径集(R〇，Ri，R2,…，Rn)确 定的圆（Circleo,Circlei ,Circles,…，Circle。)作为病灶区域。
[0084] 步骤3.3:分别计算病灶区域((：；[1^160,(：；[1^161,(：；[1^162，...，〔；[1^16。)中待检索图 像的病灶区域Circleo与历史图像的病灶区域(Circlei ,Circles,…，Circle。)的交集和并 集，令
I得到图像病灶位置相 似性集合(Sl，S2，S3,…，Sn)。
[0085] 本实施方式中，
(0.9976,化9猫0, 0巧84，0.5459，0.5243，…，0.49%)。病灶位置相似性比值越大越相 似。
[0086] 步骤4:对乳腺钢祀X线图像的预处理后的待检索图像Io和预处理后的历史图像集 …，In)进行图像内容相似性度量，如图5所示。
[0087] 步骤4.1:提取预处理后的图像集（Io，Ii，12，…，In)的灰度特征、形状特征和纹理 特征，构建图像灰度直方图、基于边缘方向直方图化dge Direction Histogram，EDH)、方向 梯度直方图化istogram of oriented gradients,HOG)和局部二值模式直方图化ocal Binary Pattern，LBP)，得到灰度特征向量(日日,日1,日2,...,日。）、形状特征向量(00,01,02,…， Pn)和纹理特征向量（丫 0, 丫 1，丫 2,…，丫 n)。
[008引步骤4.2:合并灰度特征向量(曰0，曰1，曰2，。.，0、形状特征向量化0，&瓜，一也)和 纹理特征向量（丫 0, 丫 1，丫 2,…，丫 n)得到综合直方图特征向量（《0,《1，《2,…，《n)。
[0089] 步骤4.3:采用EMD巧arth Mover's Dis化nce)方法将待检索图像的综合直方图特 征向量《0和历史图像的综合直方图特征向量（CO 1，《2,…，《。)进行相似性度量，得到图像 内容相似性集合化1，E2,…，En)。
[0090] 本实施方式中，（Ei，E2,…，En) = (0.0223,0.0668,0.2641,0.3103,0.3179,…， 0.6624)。数值越小，特征直方图越相似，即得出乳腺钢祀X线图像内容相似性。
[0091] 步骤5:将图像病灶位置相似性集合(Si，S2,…，Sn)按照图像病灶位置相似性从大 到小排序，并标记序号，将排序后的图像病灶位置相似性集合的序号分配40%的权重，将图 像内容相似性集合(Ei瓜，…，En)按照图像内容相似性从小到大排序，并标记序号，将排序 后的图像内容相似性集合的序号分配60%的权重，综合图像病灶位置相似性图像序号和图 像内容相似性图像序号得出图像综合相似性图像序号，得到待检索图像检索结果：即图像 综合相似性图像序号越小，表示该图像与待检索图像越相似。
[0092] 本实施方式中，在传统的基于内容的图像检索方法的基础上，增加了基于病灶位 置相似性度量方法，能够有效地改善乳腺钢祀X线图像的检索性能，从而能够更进一步辅助 医生对乳腺疾病的诊断，根据历史图像集得到待检索图像检索结果的图像处理过程如图6 所示。
【主权项】
1. 一种基于病灶位置与内容的乳腺图像检索系统，其特征在于，包括图像预处理单元、 图像病灶位置相似性度量单元、图像内容相似性度量单元和图像综合相似性度量器； 所述图像预处理单元，用于获取乳腺钼靶X射线图像的待检索图像Fo、历史图像集(Fi， 内，~儿），选取标准图像?^对待检索图像?〇和历史图像集的^2，~儿)进行预处理，得到 预处理后的图像集（1(),1^12,…，^，其中，包括预处理后的待检索图像Ιο和预处理后的历 史图像集(1^12，···，I n);所述标准图像FC为形态正常、大小适中的乳腺钼祀X射线图像； 所述图像病灶位置相似性度量单元，用于对乳腺钼靶X线图像的预处理后的待检索图 像Ιο和预处理后的历史图像集(IhL·，···，In)进行图像病灶位置相似性度量，得到图像病灶 位置相似性集合(Si，S 2，…，Sn); 所述图像内容相似性度量单元，用于对乳腺钼靶X线图像的预处理后的待检索图像Ιο和 预处理后的历史图像集山山，…，Ιη)进行图像内容相似性度量，得到图像内容相似性集合 (El，E2，···，Εη); 所述图像综合相似性度量器，用于将图像病灶位置相似性集合(ShSs，···，Sn)按照图像 病灶位置相似性从大到小排序，并标记序号，将排序后的图像病灶位置相似性集合的序号 分配A %的权重，将图像内容相似性集合(Ei，E2，…，En)按照图像内容相似性从小到大排序， 并标记序号，将排序后的图像内容相似性集合的序号分配(100-A)%的权重，综合图像病灶 位置相似性图像序号和图像内容相似性图像序号得出图像综合相似性图像序号，得到待检 索图像检索结果:即图像综合相似性图像序号越小，表示该图像与待检索图像越相似。2. 根据权利要求1所述的基于病灶位置与内容的乳腺图像检索系统，其特征在于，所述 图像预处理单元包括:图像去噪器和图像增强器； 所述图像去噪器，用于分别对待检索图像Fo和历史图像集(F^Fs，···，Fn)进行降噪处理， 得到降噪后的待检索图像P〇和降噪后的历史图像集(丹，内，…，Pn); 所述图像增强器，用于分别对降噪后的待检索图像P〇和降噪后的历史图像集（Pi， P2,…，Pn)进行图像增强处理，得到预处理后的待检索图像Ιο和预处理后的历史图像集（h， 工2,…，In) 〇3. 根据权利要求1所述的基于病灶位置与内容的乳腺图像检索系统，其特征在于，所述 图像病灶位置相似性度量单元包括:病灶位置中心点和半径确定器、待检索图像和图像库 与标准图像配准器、图像病灶位置相似性确定器； 所述病灶位置中心点和半径确定器，用于确定预处理后的图像集(^^，^，…，以的病 灶位置中心点坐标集{(XQ，yo)，（xi，yi)，（X2，y2)···，（xn，yn)}和病灶位置半径集(Rq，Ri， R2,…，Rn); 所述待检索图像和图像库与标准图像配准器，用于利用基于cro配准方法，将预处理后 的图像集（1〇，11，12，"_，11〇与标准图像&进行匹配，得到转换后的病灶中心点坐标集{(如， Yo)，（XhYi)，（χ2，γ2)，…，（Xn，Yn)}，并将转换后的病灶中心点坐标集{ (Xq，Yq)，（XhYi)，（χ2， Υ2 )，…，（Χη，Υη) }和病灶位置半径集(Ro，Rl·，R2，…，Rn)显示在标准图像FC上，利用转换后的病 灶中心点坐标集{ (X〇，Y〇)，（Xl，Yl)，（X2，Y2)，…，（Xn，Yn) }和病灶位置半径集(Rq，Ri，R2,…， Rn)确定病灶区域（Circle。，Circlei，Circle2,…，Circlen); 所述图像病灶位置相似性确定器，用于分别计算病灶区域(<^1^16()，(^1^161，(：；[1^162，···， Circlen)中待检索图像的病灶区域Circlet)与历史图像的病灶区域(Circlei，Circle2,…， Circlen)的交集和并集，4__，得到 图像病灶位置相似性集合(Si，&，S3，…，Sn)。4. 根据权利要求1所述的基于病灶位置与内容的乳腺图像检索系统，其特征在于，所述 图像内容相似性度量单元包括:图像特征直方图提取器和图像内容相似性确定器； 所述图像特征直方图提取器，用于提取预处理后的图像集（1(),1:,12,…，In)的灰度特 征、形状特征和纹理特征，构建其图像灰度直方图、基于边缘方向直方图、方向梯度直方图 和局部二值模式直方图，得到灰度特征向量(a〇，ai，ci2,…，α η)、形状特征向量(β〇，βι，β2,…， βη)和纹理特征向量（γ〇，γι，γ2，···，γ η)，合并灰度特征向量((^，(^，(^，…，(^、形状特征 向量(β〇，βι，β2,…，βη)和纹理特征向量（γ 〇, γ 1，γ 2,…，γ η)，得到综合直方图特征向量 (ω〇，ω!，ω2，···，ωη); 所述图像内容相似性确定器，用于采用EMD方法将待检索图像的综合直方图特征向量 ω〇和历史图像的综合直方图特征向量（ω:，ω2，···，ωη)进行相似性度量，得到图像内容相 似性集合(ΕιΕ^-,Εη)。5. 根据权利要求3所述的基于病灶位置与内容的乳腺图像检索系统，其特征在于，所述 确定预处理后的图像集(I〇，Il，l2,…，In)的病灶位置中心点坐标集{(XQ，y〇)，（Xl，yi)，（Χ2， y 2)…，（χη，yn)}和病灶位置半径集（Ro，Ri，R2，…，R n)的具体方法为： 采用经典的大津法阈值分割算法对预处理后的图像集(^，^，^，…，^进行二值化处 理，保留二值化处理后的图像中高亮区域，将高亮区域X轴方向最大值的一半作为病灶位置 中心点横坐标，将高亮区域Y轴方向最大值的一半作为病灶位置中心点纵坐标，得到病灶位 置中心点坐标集{(xo，yo)，（xi，yi)，（X2，y2)…，（x n，yn)}，遍历高亮区域所有点，从第一个点 开始，利用直角三角形勾股定理，求出点到中心点的距离，依次计算高亮区域中所有点与中 心点的距离，将其最大值作为病灶位置半径，得到病灶位置半径集(Rq，!^!^，···，!^)。6. 采用权利要求1所述的基于病灶位置与内容的乳腺图像检索系统进行图像检索的方 法，其特征在于，包括以下步骤： 步骤1:获取乳腺钼靶X射线图像的待检索图像F〇、历史图像集(^，^，…^，选取标准 图像Fc; 步骤2:对待检索图像F〇和历史图像集(F^Fs，···，Fn)进行预处理，得到预处理后的图像 集(1〇,II，工2，…，In); 步骤2.1:分别对待检索图像Fo和历史图像集(F^Fs，···，Fn)进行降噪处理，得到降噪后 的待检索图像P〇和降噪后的历史图像集(丹，内，…，Pn); 步骤2.2:分别对降噪后的待检索图像P〇和降噪后的历史图像集(P^Ps，···，Pn)进行图像 增强处理，得到预处理后的待检索图像Ιο和预处理后的历史图像集(h，12，…，In); 步骤3:对乳腺钼靶X线图像的预处理后的待检索图像Ιο和预处理后的历史图像集（h， 工2,…，In)进行图像病灶位置相似性度量； 步骤3.1:确定预处理后的图像集(10，Ii，12，…，In)的病灶位置中心点坐标集{(xo，yo)， (xi，yi)，（X2，y2)···，（xn，yn)}和病灶位置半径集(Ro，Ri，R2，'"，R n); 步骤3.2:利用基于CPD配准方法，将预处理后的图像集⑴山上，···，〗")与标准图像Fc 进行匹配，得到转换后的病灶中心点坐标集 换后的病灶中心点坐标集{〇〇，￥〇)，〇1，￥1)，〇2，￥ 2)，"_，011，￥11)}和病灶位置半径集(1?〇， Ri，R2，…，Rn)显示在标准图像Fc上，利用转换后的病灶中心点坐标集{(X〇，Y〇)，（Xi，Yi)，（X 2， Υ2)，···，（Χη，Υη)}和病灶位置半径集(Rq，Ri，R 2，…，Rn)确定病灶区域(Circle。，Circlei， Circle2,…，Circle n); 步骤3.3:分别计算病灶区域((^1'(316()，(^1'(3161，(^1'(3162，'"，(^1'(316 11)中待检索图像的 病灶区域(^1'〇160与历史图像的病灶区域((^1'〇161，(^1'〇162，一，(^1'〇1611)的交集和并集，令得到图像病灶位置相似性集合 (Si,S2,S3,---,Sn)； 步骤4:对乳腺钼靶X线图像的预处理后的待检索图像Ιο和预处理后的历史图像集（h， 12, ···，〗〇进行图像内容相似性度量； 步骤4.1:提取预处理后的图像集(10,1^12,…，In)的灰度特征、形状特征和纹理特征， 构建其图像灰度直方图、基于边缘方向直方图、方向梯度直方图和局部二值模式直方图，得 到灰度特征向量(α〇， αι，α2，…，αη)、形状特征向量(β〇，βι，β2，…，βη)和纹理特征向量（γ 〇， γι，γ2，···，γη); 步骤4.2:合并灰度特征向量(α〇，，CX2，···，αη)、形状特征向量(β〇，β:，β2，…，βη)和纹理 特征向量（γ〇, γι，γ2，···，γη)，得到综合直方图特征向量（ω〇, ω 2，···，ωη); 步骤4.3:采用EMD方法将待检索图像的综合直方图特征向量ω Q和历史图像的综合直方 图特征向量（ωι，ω2，···，ω η)进行相似性度量，得到图像内容相似性集合(Ει，Ε2，…，Εη); 步骤5:将图像病灶位置相似性集合按照图像病灶位置相似性从大到小 排序，并标记序号，将排序后的图像病灶位置相似性集合的序号分配A%的权重，将图像内 容相似性集合(Ε^Ε^-,Εη)按照图像内容相似性从小到大排序，并标记序号，将排序后的 图像内容相似性集合的序号分配（100-Α) %的权重，综合图像病灶位置相似性图像序号和 图像内容相似性图像序号得出图像综合相似性图像序号，得到待检索图像检索结果：即图 像综合相似性图像序号越小，表示该图像与待检索图像越相似。7.根据权利要求5所述的基于病灶位置与内容的乳腺图像检索方法，其特征在于，所述 步骤3.2包括以下步骤： 步骤3.2.1:提取预处理后的图像集（10,1^12,…，Ιη)图像中的乳房轮廓和标准图像Fc 的乳房轮廓； 步骤3.2.2:利用基于CPD的仿射变换，配准预处理后的图像集(^，^，^，…，^图像中 的乳房轮廓和标准图像Fc的乳房轮廓，得到配准变换矩阵 步骤3.2.3 :通过配准变换矩阵（To，h，Τ2，…，Τη)对病灶位置中心点坐标集{(xo，yo)， (义1，71)，（12,72》"，（111，711)}和病灶位置半径集(1?()，1?1，1?2，~，1^)进行转换，得到转换后的 病灶位置中心点坐标集{ (X〇，Y〇)，（Xl，Yl)，（Χ2，Υ2)，…，（Xn，Yn) }; 步骤3.2.4:将转换后的病灶位置中心点坐标集{(乂〇，￥())，01，￥ 1)，〇2，￥2)，~，仏，￥11)} 和病灶位置半径集(Rq，!^，!^，···，!^)显示在标准图像Fc上，将转换后的病灶位置中心点坐标 集{(父〇，￥())，（父1，￥1)，（父2，￥2)，~，（父 11，￥11)}和病灶位置半径集(1?()，1?1，1?2，~，1〇确定的圆 (Circle〇，Circlei，Ci;rcle2,…，Circle n)作为病灶区域。
【文档编号】G06F17/30GK105956198SQ201610445569
【公开日】2016年9月21日
【申请日】2016年6月20日
【发明人】王之琼, 李阳, 徐玲, 马春晓, 高小松, 赵越
【申请人】东北大学