(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210267031.8 (22)申请日 2022.03.18 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 贾士绅　薛梦凡　朱闻韬　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 邱启旺 (51)Int.Cl. G06V 10/25(2022.01) G06K 9/62(2022.01) G06T 7/00(2017.01) G06T 7/11(2017.01) G16H 30/20(2018.01)G06V 10/764(2022.01) G06V 10/762(2022.01) (54)发明名称 基于弱监督学习的三维图像分类方法、 系 统、 设备及 介质 (57)摘要 本发明公开了一种基于弱监督学习的三维 图像分类方法、 系统、 设备及介质， 本发明采用多 示例学习， 使用具体切片标签的数据集进行网络 训练， 采用迁移学习来进行三维图像的特征提 取， 随后构建一种基于双阶段注 意力的多示例学 习分类网络， 实现了三维图像的快速准确分类。 本发明采用一种弱监督策略， 无需大量标注的数 据集， 减少了数据收集与前期处理的工作量， 同 时提出的基于双阶段注意力的分类网络， 相比于 其它深度学习分类方法， 大幅的提升了分类速度 与分类准确率， 且具有更高的适应性和鲁棒性， 具有更高的实用性。 权利要求书2页 说明书10页 附图3页 CN 114399634 A 2022.04.26 CN 114399634 A 1.一种基于弱监 督学习的三维图像分类方法， 其特 征在于， 包括： 获取三维图像； 根据至少两种条件提取三维图像的感兴趣区域， 获得至少两种显现不同感兴趣区域的 三维图像； 将所述至少两种显现不同感兴趣区域的三维图像在任意一个维度上的二维切片一一 进行堆叠， 获得堆叠二维切片； 使用预训练好的二维图像分类网络提取每一张堆叠二维切片的深度特征 hk， k=1,…,K， K表示三维图像的二维切片数量； 将K张堆叠二维切片的深度特征 hk输入至训练好的基于双阶段注意力的多示例学习网 络， 获得所述三维图像的分类结果； 所述基于双阶段注意力的多示例学习网络包括： 第一阶段注意力模块， 用于根据输入的每一张堆叠二维切片的深度特征 hk计算每一张 堆叠二维切片的注意力分数， 并依据 注意力分数选定分数最高的堆叠二 维切片的深度特征 为关键示例 hm； 第二阶段注意力模块， 用于将输入的每一张堆叠二维切片的深度特征 hk转换成查询向 量qk和信息向量 vk， 计算每一张堆叠二维切片的查询向量 qk到关键实例查询向量的距离作 为每一张堆叠二 维切片的最 终注意力分数； 将每一张堆叠二 维切片的最 终注意力分数作为 权重对对应的信息向量 vk进行加权聚合获得表征高层的包级别特 征； 分类层， 用于根据包级别特 征输出所述三维图像的分类结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述 三维图像为医学三维图像。 3.根据权利要求1所述的方法， 其特征在于， 还包括利用收集的三维图像数据集对基于 双阶段注意力的多示例学习网络进行训练， 获得训练好的基于双阶段注意力的多示例学习 网络的步骤； 所述三维图像数据集的每组样本包括K张堆叠二维切片的深度特征 hk、 及K张 堆叠二维切片对应的三维图像分类标签， 其中， 所有样本的堆叠二维切片大小一 致。 4.根据权利要求3所述的方法， 其特征在于， 所述利用收集的三维图像数据集对基于双 阶段注意力的多示例学习网络进 行训练， 获得训练好的基于双阶段注意力的多示例学习网 络的步骤具体为： 将每组样本的K张堆叠二维切片的深度特征 hk输入至基于双阶段注意力的多示例学习 网络中， 以最小化损失函数为目标， 使用随机梯度下降算法对整个网络进 行优化， 获得训练 好的基于双阶段注意力的多示例学习网络； 所述损失函数包括基于双阶段注意力的多示例 学习网络 输出的预测分类结果与样本对应的真实分类标签的二 值交叉熵损失函数。 5.根据权利要求4所述的方法， 其特征在于， 所述损失函数还包括示例级聚类损失函 数， 表示如下： 其中， 其中τ、 α 为平滑参数， Y为可能的类别标签， 表示阈值函数， sj表示第j类别的预测 分数，sy表示真实类别的预测分数。 6.根据权利要求1所述的方法， 其特征在于， 所述预训练好的二维图像分类网络为权　利　要　求　书 1/2 页 2 CN 114399634 A 2AlexNet、 VG GNet、 GoogLeNet、 ResNet、 DenseNet中的一种。 7.根据权利要求1所述的方法， 其特征在于， 所述第 一阶段注意力模块为门控注意力模 块、 最大池化注意力模块、 通道 注意力模块或空间注意力模块。 8.一种基于弱监 督学习的三维图像分类系统， 其特 征在于， 包括： 图像预处理单元， 用于根据至少两种条件提取三维图像的感兴趣区域， 获得至少两种 显现不同感兴趣区域的三 维图像； 将所述至少两种显现不同感兴趣区域的三 维图像在 任意 一个维度上的二维切片一 一进行堆叠， 获得堆叠二维切片； 图像特征提取单元， 用于使用预训练好的二维图像分类网络提取每一张堆叠二维切片 的深度特 征hk， k=1,…,K， K表示 三维图像的二维切片数量； 图像分类单元， 用于将K张堆叠二维切片的深度特征 hk输入至训练好的基于双阶段注意 力的多示例学习网络， 获得 所述三维图像的分类结果； 所述基于双阶段注意力的多示例学习网络包括： 第一阶段注意力模块， 用于根据输入的每一张堆叠二维切片的深度特征 hk计算每一张 堆叠二维切片的注意力分数， 并依据 注意力分数选定分数最高的堆叠二 维切片的深度特征 为关键示例 hm； 第二阶段注意力模块， 用于将输入的每一张堆叠二维切片的深度特征 hk转换成查询向 量qk和信息向量 vk， 计算每一张堆叠二维切片的查询向量 qk到关键实例查询向量的距离作 为每一张堆叠二 维切片的最 终注意力分数； 将每一张堆叠二 维切片的最 终注意力分数作为 权重对对应的信息向量 vk进行加权聚合获得表征高层的包级别特 征； 分类层， 用于根据包级别特 征输出所述三维图像的分类结果。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑7任一项所述的 基于弱监 督学习的三维图像分类方法。 10.一种包含计算机可执行指令的存储介质， 所述计算机可执行指令在由计算机处理 器执行时实现如权利要求1 ‑7任一项所述的基于弱监 督学习的三维图像分类方法。权　利　要　求　书 2/2 页 3 CN 114399634 A 3