(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211008457.8 (22)申请日 2022.08.22 (71)申请人 杭州欣禾 圣世科技有限公司 地址 310000 浙江省杭州市余杭区余杭街 道文一西路1818-2号6幢40 6室 (72)发明人 杨旭旨　毛建江　王璐威　 (74)专利代理 机构 杭州凯知专利代理事务所 (普通合伙) 33267 专利代理师 孙安程 (51)Int.Cl. G06T 7/50(2017.01) G06T 17/00(2006.01) G06T 3/60(2006.01) (54)发明名称 基于生成图像的人脸重建方法、 系统、 装置 及存储介质 (57)摘要 本申请公开了一种基于生成图像的人脸重 建方法、 系统、 装置及存储介质， 首先基于 人脸重 建模型生 成人脸第一数据集； 增广所述人脸第一 数据集生 成人脸第二数据集； 基于所述人脸第二 数据集训练3DDFA人脸重建模型； 采集任意一张 人脸2D图像， 使用训练好的3DDFA人脸重建模型 生成3D人脸图像。 利用生成大批量的人脸图像， 其中包括小角度人脸数据和大角度人脸数据， 以 及利用大批量的人脸图像对3DDFA模型进行训 练， 同时引入3DDFA模型， 3DDFA模型对于大姿态 人脸具有很好的效果， 且为端到端预测， 效率高， 方案简单， 克服了传统模型一系列缺 点。 权利要求书2页 说明书6页 附图4页 CN 115457097 A 2022.12.09 CN 115457097 A 1.一种基于生成图像的人脸重建方法， 其特 征在于， 包括以下步骤： 基于人脸重建模型生成人脸第一数据集； 增广所述人脸第一数据集 生成人脸第二数据集； 基于所述人脸第二数据集训练3D DFA人脸重建模型； 采集任意 一张人脸2D图像， 使用训练好的3D DFA人脸重建模型生成3D人脸图像。 2.根据权利要求1所述的方法， 其特 征在于， 所述 生成人脸第一数据集包括以下步骤： 2D人脸图像通过3DM M拓展模型生成3D人脸数据； 基于所述3D人脸数据和第一旋转角度调整人脸图像的姿态， 生成不同角度的3D人脸图 像数据； 基于所述3DMM拓展模型将所述3D人脸图像数据拟合为2D人脸图像数据； 所述2D人脸图 像数据作为所述人脸第一数据集。 3.根据权利要求2所述的方法， 其特征在于， 所述第一旋转角度包括小角度和大角度， 其中小角度为[ ‑15,‑30,‑45,0,15,3 0,45]、 大角度为[ ‑60,‑75,‑90,60,75,90]。 4.根据权利要求3所述的方法， 其特征在于， 所述人脸第 一数据集生成人脸第 二数据集 包括以下步骤： 对所述人脸第一数据集中的人脸图像数据镜像翻转； 按第二旋转角度旋转 生成所述人脸第二数据集。 5.根据权利要求4所述的方法， 其特征在于， 所述第二旋转角度为[ ‑30,‑20,‑25,‑20,‑ 5,5,10,15,20,3 0]。 6.根据权利要求1所述的方法， 其特征在于， 所述训练3DDFA人脸重建模型包括以下步 骤： 输入当前的参数以及人脸第二数据集； 基于所述参数得到的特征图PNCC和所述人脸第二数据集作为卷积神经网络的输入得 到第一输出 结果； 基于所述参数得到的带有特征锚的图像输入PAC进行操作得到特征图PAF， 将PAF作为 后续卷积神经网络的输入得到第二输出 结果； 将所述第一输出 结果和所述第二输出 结果通过全连接层得到最终结果。 7.一种基于生成图像的人脸重建系统， 其特征在于， 包括重建模块、 增广模块、 训练模 块和输出模块； 所述重建模块基于人脸重建模型生成人脸第一数据集； 所述增广模块用于增广所述人脸第一数据集 生成人脸第二数据集； 所述训练模块用于基于所述人脸第二数据集训练3D DFA人脸重建模型； 所述输出模块用于采集任意一张人脸2D图像， 使用训练好的3DDFA人脸重建模型生成 3D人脸图像。 8.根据权利要求7所述的系统， 其特征在于， 所述重建模块用于生成人脸第 一数据集包 括： 2D人脸图像通过3DMM拓展模型生成3D人脸数据； 基于所述3D人脸数据和第一旋转角度 调整人脸图像的姿态， 生成不同角度的3D人脸图像数据； 基于所述3DMM拓展模型将所述3D 人脸图像数据拟合 为2D人脸图像数据； 所述2D人脸图像数据作为所述人脸第一数据集。 9.一种基于生成图像的人脸重建装置， 包括存储器、 处理器以及存储在所述存储器中 并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时权　利　要　求　书 1/2 页 2 CN 115457097 A 2实现如权利要求1 ‑6任意一项所述的方法步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被执行时实现如权利要求1 ‑6中任意一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115457097 A 3