(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210746529.2 (22)申请日 2022.06.29 (71)申请人 河南省人民医院 地址 450000 河南省郑州市金 水区纬五路7 号 (72)发明人 王梅云　余璇　吴亚平　白岩　 陈丽娟　高海燕　魏巍　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 周艳巧 (51)Int.Cl. G16H 50/50(2018.01) G16H 50/30(2018.01) G16H 50/70(2018.01) G06T 7/11(2017.01)G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G16H 50/20(2018.01) G06V 10/26(2022.01) G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 结合注意力机制和多尺度特征挖掘的深度 学习脑肿瘤预后分析建模方法及系统 (57)摘要 本发明属于脑图像 分析技术领域， 特别涉及 一种结合注意力机制和多尺度特征挖掘的深度 学习脑肿瘤预后分析建模 方法及系统， 通过获取 脑肿瘤患者的磁共振影像数据， 对 数据进行格式 转换、 配准、 重采样、 去头皮、 随机镜像翻转等一 系列的预处理操作； 在脑肿瘤深度学习预后分析 模型中， 通过注意力机制自动发现影像中对预后 风险概率关键的区域， 融合多尺度特征提高网络 对不同尺度上肿瘤信息的提取能力， 利用构建的 模型来提高脑肿瘤患者的预后风险概率预测能 力， 便于后期通过预后风险概率来将患者的患病 情况分为高、 中、 低风险组， 以达到辅助临床医生 制定患者治疗计划和评估药物疗效， 进而能够提 高患者生存时间。 权利要求书2页 说明书5页 附图2页 CN 115312198 A 2022.11.08 CN 115312198 A 1.一种结合注意力 机制和多尺度 特征挖掘的深度学习脑肿瘤预后分析建模方法， 其特 征在于， 包 含如下内容： 利用信号采集设备获取患者磁共 振影像数据， 对数据进行 预处理操作； 针对预处理操作后的患 者磁共振影像数据， 构建脑肿瘤深度学习预后分析模型并进行 训练优化， 以利用已训练优化的脑肿瘤深度学习预后分析模型来 获取患者预后概率， 其中， 脑肿瘤深度学习预后分析模 型利用3D卷积神经网络作为特征提取的主网络， 并在主网络中 引入注意力机制， 以使模型自动聚焦输入数据关键位置， 同时融合多尺度特征来获取输入 数据的不同尺度信息 。 2.根据权利要求1所述的结合注意力机制和多尺度特征挖掘的深度 学习脑肿瘤预后分 析建模方法， 其特征在于， 利用磁共振成像方法采集患者脑肿瘤原始医学图像数据， 并通过 加权成像算法来 获取磁共振影像数据， 该磁共振影像数据至少包含： T1加权成像序列、 T2加 权成像序列、 增强T1加权成像序列及液体衰减反转序列。 3.根据权利要求1或2所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预 后分析建模方法， 其特征在于， 预处理操作包含： 磁共振影像数据的NIFTI格式统一转换处 理及配准处理， 采样至均匀各向同性分辨率的重采样处理， 依据标准头部模板进行 的去头 皮处理， 和对冠状位、 矢状位、 横断位进行的随机轴镜像翻转处 理。 4.根据权利要求3所述的结合注意力机制和多尺度特征挖掘的深度 学习脑肿瘤预后分 析建模方法， 其特征在于， 在对磁共振影像数据进行预处理中， 还包含： 通过分割图像来标 注感兴趣区域。 5.根据权利要求1所述的结合注意力机制和多尺度特征挖掘的深度 学习脑肿瘤预后分 析建模方法， 其特征在于， 利用脑肿瘤公开数据集作为训练样本， 以对脑肿瘤深度学习预后 分析模型进行训练， 其中， 该训练样 本中包含： T1加权成像序列、 T2加权成像序列、 增强T1加 权成像序列、 液体衰减反转序列及每 个患者影 像数据中标注的感兴趣区域。 6.根据权利要求1或5所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预 后分析建模方法， 其特征在于， 脑肿瘤深度学习预后分析模 型中的3D卷积神经网络包含： 若 干用于对输入数据进 行卷积运算操作以提取特征信息的卷积层， 与用于对 卷积输出进 行下 采样操作以对特征进 行去噪操作的池化层， 用于对去噪操作后的数据进 行上采样处理的上 采样层， 及用于处 理后的特 征数据进行全连接操作的全连接层。 7.根据权利要求6所述的结合注意力机制和多尺度特征挖掘的深度 学习脑肿瘤预后分 析建模方法， 其特征在于， 卷积层输 出表示为： 其中， 表示卷积操作， W为 卷积核权 重向量， b为输出映射的偏移量， f( ·)为激活函数。 8.根据权利要求6所述的结合注意力机制和多尺度特征挖掘的深度 学习脑肿瘤预后分 析建模方法， 其特征在于， 3D卷积神经网络中与各上采样层或池化层连接的卷积层采用异 构尺寸的卷积核； 且模型中利用注意力机制处理3D卷积神经网络中卷积层和上采样层的特 征映射， 并将处理后的特征数据与上采样特征关联合并， 其中， 注 意力机制中权重计算 公式 表示为： 权重 表示当分辨率为s时体素在整个网络中位置i处的重要性， 表示在3D卷积神经网络处 理中分辨 率为s时位置i处体素对应的分数值。权　利　要　求　书 1/2 页 2 CN 115312198 A 29.一种结合注意力 机制和多尺度 特征挖掘的深度学习脑肿瘤预后分析建模系统， 其特 征在于， 包 含： 数据获取模块和模型构建模块， 其中， 数据获取模块， 用于获取患者磁共 振影像数据， 对数据进行 预处理操作； 模型构建模块， 用于针对预处理操作后的患者磁共振影像数据， 利用已训练的脑肿瘤 深度学习预后分析模型来获取患者预后概率， 其中， 脑肿瘤深度学习预后分析模型利用3D 卷积神经网络作为特征提取 的主网络， 并在主网络中引入注意力机制， 以使模型自动聚焦 输入数据关键位置， 同时融合多尺度特 征来获取输入数据的不同尺度信息 。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1～8任一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115312198 A 3