(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210811294.0 (22)申请日 2022.07.11 (71)申请人 北京积水潭医院 地址 100000 北京市西城区新 街口东街31 号 申请人 合肥工业大 学 (72)发明人 崔真　袁新　欧阳波　吴新宝　 杨善林　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 董艳芳 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/56(2022.01) G06V 10/54(2022.01) G06V 10/422(2022.01) G06T 19/20(2011.01) G06T 17/00(2006.01) A61B 5/00(2006.01) (54)发明名称 疼痛级别的识别方法、 装置、 服务器及存储 介质 (57)摘要 本发明提供了一种疼痛级别的识别方法、 装 置、 服务器及存储介质， 包括： 获取目标对象待评 估的第一人脸图像； 通过预先训练的疼痛评估模 型基于所述第一人脸图像对所述目标对象进行 疼痛评估， 得到所述目标对象的疼痛级别； 其中， 所述疼痛评估模型是基于三维虚拟疼痛表情对 应的多个二维映射图像训练得到的， 所述三维虚 拟疼痛表情是通过预先训练的数据集生成网络 基于所述目标对象的第二人脸图像生成的。 本发 明可以显著提高识别疼痛级别的实时性。 权利要求书2页 说明书14页 附图3页 CN 115035585 A 2022.09.09 CN 115035585 A 1.一种疼痛级别的识别方法， 其特 征在于， 包括： 获取目标对象待评估的第一人脸图像； 通过预先训练 的疼痛评估模型基于所述第 一人脸图像对所述目标对象进行疼痛评估， 得到所述目标对象的疼痛级别； 其中， 所述疼痛评估模型是基于三维虚拟疼痛表情对应的多个二维映射图像训练得到 的， 所述三 维虚拟疼痛表情是通过预先训练的数据集生成网络基于所述目标对象的第二人 脸图像生成的。 2.根据权利要求1所述的方法， 其特征在于， 所述通过预先训练 的疼痛评估模型基于所 述第一人脸图像对所述 目标对象进行疼痛评估， 得到所述 目标对象的疼痛级别的步骤， 包 括： 通过所述疼痛评估模型提取所述第 一人脸图像的颜色纹理特征和面部形状特征， 并基 于所述颜色纹 理特征和所述 面部形状特 征确定所述目标对象的疼痛级别。 3.根据权利要求2所述的方法， 其特征在于， 所述疼痛评估模型包括第一特征提取单 元、 第二特征提取单元和多层感知器； 所述通过所述疼痛评估模型提取所述第一人脸图像 的颜色纹理特征和面部形状特征， 并基于所述颜色纹理特征和所述面部形状特征确定所述 目标对象的疼痛级别的步骤， 包括： 通过所述第 一特征提取单元提取所述第 一人脸图像的颜色纹理特征， 以及通过所述第 二特征提取单元提取所述第一人脸图像的面部形状特 征； 对所述颜色纹理特征和所述面部形状特征进行特征融合， 得到融合特征， 并通过所述 多层感知器 基于所述融合特 征确定所述目标对象的疼痛级别。 4.根据权利要求1所述的方法， 其特 征在于， 所述疼痛评估 模型的训练步骤， 包括： 获取所述目标对象的第二人脸图像； 其中， 所述第一人脸图像和所述第二人脸图像均 为二维人脸图像； 通过预先训练 的数据集生成网络， 生成所述第 二人脸图像对应的多个三维虚拟疼痛表 情； 按照预设的多个映射角度对每个所述三维虚拟疼痛表情分别进行映射， 得到每个所述 三维虚拟疼痛 表情对应的多个二维映射图像； 基于每个所述二维映射图像构建训练图像集， 并利用所述训练图像集对所述疼痛评估 模型进行训练； 其中， 所述训练图像集包括多个二维映射图像和每个所述二维映射图像标 注的疼痛标签。 5.根据权利要求4所述的方法， 其特征在于， 所述数据集生成网络包括疼痛表情检测子 网络和疼痛表情生成子网络， 所述疼痛表情 检测子网络的输出端与所述疼痛表情生成子网 络的输入端连接； 所述通过预先训练的数据集生成网络， 生成所述第二人脸图像对应的多 个三维虚拟疼痛 表情的步骤， 包括： 通过所述疼痛表情检测子网络检测所述第二人脸图像对应的至少一个人脸AU值； 其 中， 所述人脸AU值用于表征 所述第二人脸图像包 含的疼痛 表情； 通过所述疼痛表情生成子网络基于预设的三维人脸模型和每个所述人脸AU值， 生成所 述第二人脸图像对应的三维虚拟疼痛 表情。 6.根据权利要求5所述的方法， 其特征在于， 所述疼痛表情生成子网络采用生成式对抗权　利　要　求　书 1/2 页 2 CN 115035585 A 2网络， 所述生成式对抗网络包括生成器； 所述通过所述疼痛表情生成子网络基于预设的三 维人脸模型和每个所述人脸AU值， 生成所述第二人脸图像对应的三维虚拟疼痛表情的步 骤， 包括： 通过所述生成器确定每个所述人脸AU值对应的表情调 整动作， 并基于所述表情调整动 作对所述三 维人脸模型的当前表情进 行调整， 得到所述二维人脸图像对应的三维虚拟疼痛 表情。 7.根据权利要求6所述的方法， 其特征在于， 所述疼痛表情生成子网络还包括判别器； 所述疼痛 表情生成子网络的训练步骤， 包括： 获取所述三维人脸模型和至少一个训练AU值； 其中， 所述训练AU值是通过所述疼痛表 情检测子网络检测训练人脸图像得到的； 通过所述生成器基于所述三维人脸模型和每个所述训练AU值， 生成至少一个训练虚拟 疼痛表情； 其中， 每 个所述训练虚拟疼痛 表情对应的疼痛级别相同； 生成每个所述训练虚拟疼痛 表情对应的正交映射图像； 通过所述判别器基于所述训练人脸图像， 确定每个所述训练虚拟疼痛表情对应的正交 映射图像的数据判别结果； 基于所述数据判别结果对所述 生成器和所述判别器进行训练。 8.一种疼痛级别的识别装置， 其特 征在于， 包括： 图像获取模块， 用于获取目标对象待评估的第一人脸图像； 疼痛评估模块， 用于通过预先训练 的疼痛评估模型基于所述第 一人脸图像对所述目标 对象进行 疼痛评估， 得到所述目标对象的疼痛级别； 其中， 所述疼痛评估模型是基于三维虚拟疼痛表情对应的多个二维映射图像训练得到 的， 所述三 维虚拟疼痛表情是通过预先训练的数据集生成网络基于所述目标对象的第二人 脸图像生成的。 9.一种服务器， 其特征在于， 包括处理器和存储器， 所述存储器存储有能够被所述处理 器执行的计算机可执行指 令， 所述处理器执行所述计算机可执行指 令以实现权利要求 1至7 任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令在被处理器调用和执行时， 计算机可执行指令促使处理 器实现权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115035585 A 3