(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013236.X (22)申请日 2022.08.23 (71)申请人 华中科技大 学同济医学院附属协和 医院 地址 430000 湖北省武汉市解 放大道127 7 号 (72)发明人 叶哲伟　王子毅　谢毅　霍彤彤　 董喆　何双江　赵慧娟　钟胜　 (74)专利代理 机构 武汉探智知识产权代理事务 所(普通合伙) 42309 专利代理师 刘静 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/766(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06T 17/00(2006.01) G06T 17/20(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于深度学习的骨折X光图像检测与三 维呈现方法 (57)摘要 本发明公开了一种基于深度学习的骨折X光 图像检测与三维呈现方法， 包括如下步骤： 获取 胫骨平台部位不同骨折类型的X光图像； 对X光图 像提取特征并进行骨折检测和分型； 对X光图像 进行三维重建， 提取表面网格； 将表面网格转换 为STL文件， 存入工作站中进行混合现实(MR)呈 现； 本发明能够对骨折部位进行精准和快速定 位， 辅助医生进行骨折部位的诊断， 与此同时将 骨折部位在三维空间进行呈现， 帮助医生进行手 术规划和远程医疗， 以便用于个性化手术方案的 制定和实施。 权利要求书2页 说明书5页 附图3页 CN 115423761 A 2022.12.02 CN 115423761 A 1.一种基于深度学习的骨折X光图像检测与三维呈现方法， 其特征在于， 包括如下步 骤： S1： 通过输入图像I获取胫骨平台部位 不同骨折类型的X光图像； S2： 通过多尺度检测网络FD对X光图像提取 特征并进行检测 和分型； S3： 采用通用神经辐射场对X光图像进行三维重建， 提取表面网格Mesh； S4： 将表面网格Mesh转换为STL文件， 存 入工作站中进行混合现实呈现。 2.如权利要求1所述的基于深度学习的骨折X光图像检测与三维呈现方法， 其特征在 于， 步骤S2还 包括步骤S21： 多尺度检测网络FD包括骨干网络Fb、 特征混合网络Ff和回归网络Fr； 骨干网络Fb对输入 图像I∈RH×W提取多尺度特征， 骨干网络Fb具有n个阶段， 每个阶段i提取一尺度的特征图 其中Hi、 Wi是特征图 的分辨率， Ci是特征图 的通道数， 骨干网络Fb 提取的所有尺度特 征为 特征混合网络Ff对多尺度特征P(n)的子集 进行特征融合， 其中m≤n， 对多尺 度特征P(m)进行采样操作， 对于每个特征 图 将其他特征图 插值到特征 图 的分辨率， 然后特征图 进行拼接， 将拼接后特征送入Fm网络进行融合， 得到多尺度 特征 对m个特征分别进行融合操作， 得到融合特 征集合 回归网络Fr分别对每个 融合特征进行分类回归和坐标回归， 对于融合特征 回归网 络Fr首先通过SE卷积神经网络， 抑制噪声特征， 通过全卷积神经网络输出结果 其中k是骨 折类型数， 输出结果的每个通道 分别表示： 骨 折的概率、 骨 折区域中心 点的横坐标、 骨折区域中心 点的纵坐标、 骨折区域的宽度、 骨折区域的高度和各 个类型骨折的概 率。 3.如权利要求1所述的基于深度学习的骨折X光图像检测与三维呈现方法， 其特征在 于， 步骤S3还包括步骤S31： 通用神经辐射场模型包括图像编码网络Fe和多层感知机网络Fs、 多 层 感 知 机 网 络 Fc， 图 像 编 码 网 络 Fe提 取 输 入 图 像 I 的 空 间 对 齐 特 征 其中Ce是特征的通道数， 通过均匀采样方式在图像I 的视角平面 内采样K×K条射线， 对于每一射线r首先均匀采样出N1个点， 对于每个点i计算其在三维空 间中的坐标pi＝(x， y， z)∈R3， 然后将该坐标投影到特征E的平面上得到坐标π(pi)， 其中π (·)表示投影函数， 采用插值方法拟合π(pi)坐标下的特征向量 对三 维点坐标pi按照编码γ(·)函数进行编码得到γ(pi)， γ(x)＝(si n(20πx)， cos(20πx)，…， sin(2L‑1πx)， cos(2L‑1πx))； 其中x是pi中的任何一个分量， L一超参数， 表示编码的频率， 将编码后的坐标γ(pi)∈ R3L和特征向量 送入多层感知机网络Fs得到该点的符号距离si∈[‑1， 1]； 进一步计算该点的符号距离响应值 其中k为超参数， e为自然 数， Φs(si)越大表明越接近表面， 对N1个三维点都进行如上操作得到N1个符号距离响应值， 符号距离响应值的分布情况进行二次采样： 在距离表面近的空间进行密集采样， 而远离表权　利　要　求　书 1/2 页 2 CN 115423761 A 2面的空间进行稀疏采样， 最终得到N2个三维点； 对射线的方向向量dr∈R3同样进行编码得到γ(dr)， 对N1+N2中每个采样点pi， 将γ(pi)、 γ(dr)和 送入多层感知机网络Fc得到该点的辐射衰减响应ci； 通过光线追踪方法对视角上一条射线上的所有采样点进行积分， 预测该光线的辐射衰 减的辐射衰减响应 其中， 找所有符号距离为零的点S＝ {pi|si＝0}， 作为骨折影 像结构的外表面。权　利　要　求　书 2/2 页 3 CN 115423761 A 3