(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210441908.0 (22)申请日 2022.04.25 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市高新园区凌工 路2号 (72)发明人 刘斌　葛琪　 (74)专利代理 机构 大连东方专利代理有限责任 公司 21212 专利代理师 姜玉蓉　李洪福 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 7/13(2017.01) G06T 17/00(2006.01) G06T 7/00(2017.01)G06T 7/73(2017.01) G06T 7/33(2017.01) G06V 10/762(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态影像的盆腔骨肿瘤的自动 分割及三维重建方法 (57)摘要 本发明公开了一种基于多模态影像的盆腔 骨肿瘤的自动分割 与三维重建方法， 该方法通过 U‑Net网络模型 实现了对患者骨盆CT图像中的髂 骨、 骶骨、 股骨的自动分割， 其优点在于使得骨组 织的分割误差大大减少； 其次采用互信息的方法 对MR图像和CT图像进行配准， 使得我们可以综合 利用两者的信息， 简化了分割任务； 随后采用改 进的K‑Means方法MR图像进行聚类得到肿瘤的候 选区域， 此方法的优点在于对于灰度特征不同的 MR图像均可准确的分割出肿瘤区域， 具有一定的 鲁棒性； 利用骨区域和连续性检测对肿瘤候选区 域图像进行筛选， 此步骤利用医学先验知识， 有 效的解决了肿瘤区域和与之特征相似的非肿瘤 区域无法区分的问题； 另外此方法对肿瘤序列进 行了填充， 使得进行三维重建时肿瘤更加平滑， 更加接近真实的肿瘤形态。 权利要求书3页 说明书11页 附图8页 CN 114882051 A 2022.08.09 CN 114882051 A 1.一种基于多模态影 像的盆腔骨肿瘤的自动分割及三维重建方法， 其特 征在于包括： 获取正常人的骨盆CT图像， 分别 对髂骨、 骶骨、 股骨进行标注， 将标注图像、 骨盆CT图像 进行数据转换， 制作数据集； 搭建U‑net网络模型， 将数据集输入至网络模型中进行训练， 获得该网络模型在该数据 集上的权值文件； 将病患的骨盆CT图像输入至完成训练的网络模型中， 利用所述权值文件进行预测， 将 病患骨盆CT图像中的骨组织分割为髂骨、 骶骨以及股骨； 利用患者的骶骨位置信息将上述分割结果划分为左髂骨、 右髂骨、 骶骨、 左股骨、 右股 骨五类骨块； 获取患者骨盆CT图像序列和T1加权的MR图像序列， 利用最大互信息为每一张MR图像寻 找与之最匹配的CT图像并进行配准， 得到配准矩阵， 利用该配准矩阵对T2加权的MR图像进 行仿射变换； 采用改进的K ‑Means方法对变换后的T2加权的MR图像进行聚类， 结合肿瘤几何特征得 到肿瘤候选区域； 对骨组织图像进行轮廓提取， 寻找最小外接矩形、 获取骨区域图像， 利用骨肿瘤和骨组 织相对位置的先验知识， 对骨区域在肿瘤候选区域中进行轮廓碰撞检测， 对肿瘤进行初步 筛选和定位； 根据肿瘤的连续 性对骨肿瘤区域的进一 步筛选， 更新肿瘤候选区域； 利用所述五类骨块分别对肿瘤候选区域进行碰撞检测确定病灶骨， 并且根据病灶骨位 置对骨肿瘤进行精准定位； 根据骨肿瘤的精准定位信息获取种子点集合， 对种子点进行三维区域生长， 得到完整 的肿瘤序列获得肿瘤的粗分割结果； 利用边缘突刺消除、 超像素优化方法对肿瘤粗分割结果进行边 缘优化； 根据肿瘤粗分割结果的上下文信息扩充像素点的信息维度， 构造肿瘤点概率图， 再根 据阈值进行分割， 得到最终的肿瘤分割结果； 根据CT图像与MR图像的对应关系， 确定相邻两张MR图像之间缺失的图像数， 获取相邻 两张肿瘤轮廓的差值， 并利用骨架提取算法对肿瘤中间轮廓进行估计， 采用二分法原理进 行迭代补全肿瘤序列； 分别对骨组织图像和肿瘤图像采用面绘制的方法进行三维重建从而获得盆腔骨肿瘤 的自动分割和三维重建结果。 2.根据权利要求1所述的方法， 其特征在于： 将利用U ‑Net网络模型获得的骨组织图像 分为单独的髂骨图像、 骶骨图像和股骨图像， 对髂骨和股骨图像进 行轮廓发现， 计算轮廓的 质心位置并与骶骨位置进 行比较， 将髂骨图像和股骨图像划分为左髂骨图像、 右髂骨图像、 左股骨图像和右 股骨图像。 3.根据权利要求2所述的方法， 其特征在于： 在CT图像与T1加权的MR图像进行配准时： 先确定与第一张MR图像最匹配的CT图像的索引， 获取CT序列和MR序列中的图像层间的间隔 比值， 以此来确 定与下一张MR图像匹配的CT图像的索引范围， 计算索引范围内每张CT图像 与MR图像的信息熵， 选取使信息熵 最大CT图像作为与MR图像匹配的图像， 重复此步骤， 为序 列中每张MR图像找到与之最 为匹配的CT图像。权　利　要　求　书 1/3 页 2 CN 114882051 A 24.根据权利要求1所述的方法， 其特征在于： 在利用改进的K ‑Means算法对MR图像进行 聚类得到肿瘤候选区域时： 根据图像特性确定聚类个数k,其次根据图像序列的灰度直方图 确定肿瘤与其他组织的对比度， 若对比度大于设定阈值， 则只保留平均灰度值最大 的一类 像素点作为肿瘤候选区域， 若对比度小于设定阈值， 则保留平均灰度值最大 的两类像素点 作为肿瘤候选区域。 5.根据权利要求4所述的方法， 其特征在于： 在对骨区域和肿瘤候选区域进行碰撞检测 时:计算骨区域非零像素点个数， 对肿瘤候选区域进行连通区域检测， 选定一个连通区域， 计算非零像素点个数， 再将该连通区域叠加到骨区域图像上， 计算此叠加图像非零像素点 的个数， 若骨区域图像非零像素点个数与此连通区域 非零像素点个数的和小于叠加图像非 零像素点个数， 则证明此连通区域与骨区域 发生碰撞， 继续认定为肿瘤候选区域， 否则从肿 瘤候选区域中删除； 对肿瘤候选图像中的所有连通区域进行此操作， 得到新的肿瘤候选区 域图像。 6.根据权利要求5所述的方法， 其特征在于： 对种子点进行三维区域生长时： 将空集合 作为种子点集合， 对肿瘤区域进行轮廓发现， 计算每一个轮廓的质心， 加入种子点集合， 在 K‑Means聚类得到的序列图像中将 每个与种子点灰度相差在一定阈值范围内的相 邻像素合 并到肿瘤区域， 从而分割出完整的肿瘤序列， 得到肿瘤粗分割结果。 7.根据权利要求2所述的方法， 其特征在于： 采用边缘突刺消除对肿瘤粗分割结果进行 边缘优化分为： 消除白色突刺和 消除黑色突刺两个步骤； 在消除白色突刺时： 根据从上到下、 从左到右的顺序遍历像素， 若像素点的像素值为0 则继续遍历， 若一像素点的像素值突变为255， 则标记该点， 分别计算垂直方向和竖直方向 上以该点为起点的连续像素值为255的像素点个数， 若小于规定阈值则将这些像素点的像 素值全标记为0， 若大于规定阈值则保留这些像素点的像素值； 在消除黑色突刺时： 根据从上到下、 从左到右的顺序遍历像素， 若像素点的像素值为 255则继续遍历， 若一像素点的像素值突变为0， 则标记该点， 分别计算垂 直方向和竖直方向 上以该点为起点的连续像素值为0的像素点个数， 若小于规定阈值则将这些像素点的像素 值全标记为25 5， 若大于规定阈值则保留这些像素点的像素值。 8.根据权利要求7所述的方法， 其特征在于： 采用超像素优化方法对肿瘤粗分割结果进 行边缘优化时： 利用SLIC超像素分割方法使位置相近、 特征相似的像素点组成一个超像素， 对肿瘤图像进 行轮廓发现 并提取轮廓点， 若 该轮廓点所属的超像素中处于肿瘤内部的像素 点与该超像素的像素点总数的比值超过规定阈值， 则将该超像素中所有的点 都标记为肿瘤 内部的点、 完成边 缘优化。 9.根据权利要求8所述的方法， 其特征在于： 计算得到每一张肿瘤图像的平均灰度值， 遍历当前图像中不包含在肿瘤内部的像素点， 若相邻两张图像中处于该位置的像素点包含 在肿瘤内部， 则将当前图像中处于该位置的像素点标记为肿瘤点， 若相邻两张图像中只有 一张图像处于该位置的像素点包含在肿瘤内部， 则将当前图像中处于该位置的像素点包含 为待定肿瘤点， 若该待定肿瘤点的灰度值与肿瘤区域的平均灰度值的差值小于规定阈值， 则标记为肿瘤点， 最终得到优化的肿瘤分割结果。 10.根据权利要求1 ‑9任意一项权利要求所述的方法， 其特征在于:对肿瘤中间轮廓进 行估计时： 采用抑或运算计算出相邻两张肿瘤图像的差值部分， 基于距离变换算法对差值权　利　要　求　书 2/3 页 3 CN 114882051 A 3