(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211225012.5 (22)申请日 2022.10.09 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 (72)发明人 范明　刘世博　厉力华　 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/69(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于深度网络融合模型的乳腺病理图像分 类方法 (57)摘要 本发明公开了一种基于深度网络融合模型 的乳腺病理图像分类方法， 包括如下步骤： S1、 获 取乳腺癌病理图像数据集， 所述数据集包括IDC 数据集和BreakHis数据集； S2、 对数据集中的图 像作数据强化； S3、 构建深度网络融合模型； S4、 深度网络融合模型进行二阶段迁移学习； S5、 通 过最终深度网络融合模型对乳腺病理图像进行 分类。 该方法结合多阶段迁移和注意力机制， 基 于深度网络融合模型方法对乳腺病理图像进行 良恶性分类。 通过迁移其他病理图像数据集的模 型参数以及充分使用当前数据集中的图像特征， 进行更精确的分类， 解决现有分类中的特征使用 不充分问题。 权利要求书1页 说明书4页 附图2页 CN 115526870 A 2022.12.27 CN 115526870 A 1.一种基于深度网络融合模型的乳腺病理图像分类方法， 其特 征在于， 包括如下步骤： S1、 获取乳腺癌病理图像数据集， 所述数据集包括 IDC数据集和BreakHis数据集； S2、 对数据集中的图像作数据强化； S3、 构建深度网络融合模型， 所述深度网络融合模型由4个 并行的ResNet34网络作为基 准网络， 4个所述的ResNet34网络中间的三个卷积组的最后一个卷积层之前加入有注意力 机制， 将4个并行的ResNet34网络的输出向量使用torch.cat()函数融合成一个高维向量， 随后连接一个用于分类的全连接层； S4、 深度网络融合模型进行二阶段迁移学习； S4‑1、 第一阶段迁移学习， 将Pytorch官方的ImageNet模型的参数作为预训练参数导入 深度网络融合模型中， 使用IDC数据集进行第一阶段迁移学习， 保存IDC数据集上分类准确 率最高时的模型参数； S4‑2、 第二阶段迁移学习， 将步骤S4 ‑1中保存的模型参数作为BreakHis数据集在深度 网络融合模 型上的预训练参数进 行第二阶段迁移学习， 保存BreakHis数据集上分类准确率 最高时的模型参数， 得到最终深度网络融合模型； S5、 通过最终深度网络融合模型对乳腺病理图像进行分类。 2.根据权利要求1所述基于深度网络融合模型的乳腺病理图像分类方法， 其特征在于， 所述数据集中包 含了40X、 10 0X、 200X、 400X四种放大倍数的图像。 3.根据权利要求1所述基于深度网络融合模型的乳腺病理图像分类方法， 其特征在于， 所述步骤S2中数据增强的方法包括： (1)将图像随机裁剪， 然后缩放至指定的大小； (2)将图 像随机水平、 垂直翻转； (3)随机 旋转图片。权　利　要　求　书 1/1 页 2 CN 115526870 A 2基于深度网 络融合模型的乳腺病理图像分类方 法 技术领域 [0001]本发明涉及图像处理技术领域， 具体指一种基于深度网络融合模型的乳腺病理图 像分类方法。 背景技术 [0002]如果可以在乳腺癌早期及时诊断和治疗， 患者的生存率可以得到极大提升。 作为 乳腺癌诊断的最终标准， 乳腺组织病理活检发挥着无可替代的作用， 因此乳腺病理图像良 恶性分类 研究有着极其重要的意 义。 [0003]乳腺病理切片的一般制备工艺是标准石蜡工艺， 完整制备过程包括固定、 脱水、 清 除、 渗透、 嵌入和修整等步骤。 为安装在幻灯片上， 使用切片机切割约3  微米的部分。 经苏木 精和伊红染色后， 切片用玻璃盖玻片覆盖。 然后， 解剖学家 通过显微镜下组织切片的视觉分 析来确定每张幻灯片 中的肿瘤区域。 每个病例的最终诊断由经验丰富的病理学家产生， 并 通过免疫组织化学分析等补充检查证实。 然后使用系统显微镜用于从乳腺组织幻灯片中获 取数字化图像， 最终得到一张病理切片。 [0004]传统的乳腺病理图像分类方法一般通过病理学家人工进行， 这依赖于病理学家的 经验， 费时费力， 且准确 率有时不能得到很好的保证。 随着计算机技术的发展， 计算机辅助 诊断得到了广泛的应用， 其中也用在病理图像良恶性分类研究中， 尤其以深度学习为代表 的研究在最近几年获得了 长足发展。 发明内容 [0005]针对现有方法的不足， 本发明旨在提出一种结合多阶段迁移和注意力机制， 基于 深度网络融合模型方法对乳腺病理图像进 行良恶性分类。 通过迁移 其他病理图像数据集的 模型参数以及充分使用当前数据集中的图像特征， 进行更精确的分类， 解决现有分类中的 特征使用不充分问题。 [0006]为了解决上述 技术问题， 本发明的技 术方案为： [0007]一种基于深度网络融合模型的乳腺病理图像分类方法， 包括如下步骤： [0008]S1、 获取乳腺癌病理图像数据集， 所述数据集包括 IDC数据集和BreakHis  数据集； [0009]S2、 对数据集中的图像作数据强化； [0010]S3、 构建深度网络融合模型， 所述深度网络融合模型 由4个并行的ResNet34  网络 作为基准网络， 4个所述的ResNet34网络中间的三个卷积组的最后一个卷积层之前加入有 注意力机制， 将4个并行的ResNet34 网络的输出向量使用  torch.cat()函数融合成一个高 维向量， 随后连接一个用于分类的全连接层； [0011]S4、 深度网络融合模型进行二阶段迁移学习 [0012]S4‑1、 第一阶段迁移学习， 将Pytorch官方的ImageNet模型的参数作为预训练参数 导入深度网络融合模型中， 使用IDC数据集进行第一阶段迁移学习， 保存IDC数据集上分类 准确率最高时的模型参数；说　明　书 1/4 页 3 CN 115526870 A 3