(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210863784.5 (22)申请日 2022.07.21 (71)申请人 浙江工商大 学 地址 310018 浙江省杭州市下沙高教园区 学正街18号 (72)发明人 杨柏林　罗文蔚　 (74)专利代理 机构 杭州奥创知识产权代理有限 公司 33272 专利代理师 王佳健 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于注意力机制的卷积神经网络胸部X光片 异物检测方法 (57)摘要 本发明公开了基于注意力机制的卷积神经 网络胸部X光片异物检测方法。 本发明首先使用 限制对比度自适应直方图均衡化算法对原图进 行预处理； 其次构建基于通道注 意力的卷积神经 网络， 其中骨干网络进行特征提取生成多尺度特 征图， 特征金字塔结构进行多尺度特征融合， 注 意力模块在通道维度上， 对多尺度特征图的特征 融合进行加强， 并将特征金字塔结构输出的特征 图引入异物检测的头部； 然后通过训练集数据对 基于通道注 意力的神经网络进行训练， 得到训练 好的网络模 型； 最后将测试集数据输入到训练好 的网络模型， 回归得到异物的坐标。 本发明在通 道维度上进行多尺度特征融合， 充分利用每个通 道的有效信息， 准确对异物进行分类， 并定位出 异物的位置 。 权利要求书2页 说明书4页 附图3页 CN 115272215 A 2022.11.01 CN 115272215 A 1.基于注意力机制的卷积神经网络胸部X光片异物检测方法， 其特征在于包括以下步 骤： 步骤1， 使用限制对比度自适应直方图均衡化 算法对胸部X光片的原图进行 预处理； 步骤2， 构建基于通道注意力的bottom ‑up和top‑down结构的卷积神 经网络， 其中包括 bottom‑up结构的骨干网络和top ‑down特征金字塔结构； 注 意力模块在通道维度上， 对多尺 度特征图的特 征融合进行加强； 所述骨干网络进行 特征提取生成多尺度特 征图； 所述top‑down特征金字塔结构进行多尺度特 征图融合； 所述注意力模块 把top‑down特征金字塔结构输出的特 征图引入异 物检测的头 部； 步骤3， 将训练集数据输入到基于通道注意力的卷积神经网络进行训练， 得到训练好的 网络模型； 步骤4， 将测试集数据输入到训练好的网络模型， 得到提取出的特征图， 然后进行预测， 回归得到X光片中异 物的坐标。 2.根据权利要求1所述的基于注意力 机制的卷积神经网络胸部X光片异物检测方法， 其 特征在于： 步骤2中， 第一部分的bottom ‑up结构骨干网络是resnet50网络， 对预处理后的图 像进行五次下采样 操作依次得到第一部分的五层特 征图； 第二部分的top ‑down特征金字塔结构和第一部分的骨干网络进行横向连接， 具体是： 第一部分第五层特 征图经过卷积操作之后得到第二部分第五层特 征图； 第二部分第五层特征图在经过上采样操作之后得到的特征图， 和第 一部分第四层特征 图经过卷积操作之后得到的特征图进行通道拼接操作； 接着进行第一卷积块操作， 得到第 二部分第四层特 征图； 第二部分第四层特征图经过上采样操作之后得到的特征图， 和第 一部分第 三层特征图 经过卷积操作之后得到的特征图进行通道拼接操作， 接着进 行第一卷积块操作后得到第二 部分第三层特 征图； 第二部分第六层特 征图由第二部分第五层特 征图经过卷积操作得到； 第二部分第七层特 征图由第二部分第六层特 征图经过卷积和激活函数操作得到； 所述的注意力模块， 将得到的第 二部分第五层特征图上采样之后和第 二部分第四层特 征图先进行逐元素加法， 之后依次经过二元自适应均值池化层、 全连接层、 ReLU函数、 全连 接层和sigmoid激活函数操作， 得到各通道权重， 各通道权重再分别与第二部分第五层和第 二部分第四层特征图进行通道级乘法， 得到新的特征图， 最后再分别跟第二部分第 五层特 征图和第二部分第四层特征图跳跃连接进 行逐元素相加， 得到第三部 分第五层特征图和 第 三部分第四层特 征图第一分量； 同时把第二部分第四层特征图上采样之后和第二部分第三层特征图先经过逐元素加 法， 之后依次经过二元自适应均值池化层、 全连接层、 ReLU函数、 全 连接层和sigmoid激活函 数操作， 得到各通道权重， 各通道权重再分别与第二部分第四层和第二部分第三层特征图 进行通道级乘法， 得到新的特征图， 最后再分别跟第二部分第四层特征图和第二部分第三 层特征图跳跃连接进 行逐元素相加， 得到第三部分的第四层特征图第二分量和 第三部分第 三层特征图； 第三部分第四层特征图第 一分量和第 三部分第四层特征图第 二分量逐元素相加， 得到权　利　要　求　书 1/2 页 2 CN 115272215 A 2第三部分完整的第四层特 征图。 3.根据权利要求2所述的基于注意力 机制的卷积神经网络胸部X光片异物检测方法， 其 特征在于： 所述的第一卷积块包括卷积、 批量标准 化和激活函数。 4.根据权利要求2所述的基于注意力 机制的卷积神经网络胸部X光片异物检测方法， 其 特征在于： 步骤2所述的异 物检测的头 部包括异 物分类分支和异 物坐标回归分支； 所述的异物分类分支， 是第二部分的第六层特征图、 第二部分第七层特征图和第三部 分第三层至第五层特 征图先经过四个第二卷积块操作， 再 经过卷积操作， 得到分类结果； 所述的异物坐标回归分支， 是第二部分的第六层特征图、 第二部分第七层特征图和第 三部分第三层至第 五层特征图先经过四个第二卷积块操作， 再经过卷积和激活函数操作， 回归得到异 物坐标。 5.根据权利要求4所述的基于注意力 机制的卷积神经网络胸部X光片异物检测方法， 其 特征在于： 所述的第二卷积块包括卷积、 组归一 化和激活函数。权　利　要　求　书 2/2 页 3 CN 115272215 A 3