(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210941552.7 (22)申请日 2022.08.08 (71)申请人 海马云 （天津） 信息技 术有限公司 地址 301700 天津市武清区京津科技谷产 业园和园道89号2 9栋2D25室 (72)发明人 芦宏川　 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/20(2011.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 40/16(2022.01) G06N 3/04(2006.01) (54)发明名称 根据真人人脸照片生成3D人脸模型的方法 与装置 (57)摘要 本申请提供了一种根据真人人脸照片生成 3D人脸模型的方法与装置、 电子设备及存储介 质， 方法包括： 获取待处理的真人人脸照片， 利用 训练好的对抗神经网络模型对所述待处理的真 人人脸照片进行处理， 得到目标人脸图像； 根据 目标人脸图像生成3D人脸模型， 能够根据真人人 脸照片自动生成内容与真人人脸照片内容一致 且风格为指定风格的3D人脸模型。 权利要求书3页 说明书10页 附图1页 CN 115018996 A 2022.09.06 CN 115018996 A 1.一种根据真人 人脸照片生成3D人脸模型的方法， 其特 征在于， 包括： 获取待处理的真人人脸照片， 利用训练好的对抗神经网络模型对所述待处理 的真人人 脸照片进 行处理， 得到目标人脸图像， 其中， 若 所述对抗神经网络模 型为第一对抗神经网络 模型， 所述第一对抗神经网络模型包括第一生成器、 第二生成器、 第一判别器和第二判别 器， 所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像， 所述第二生 成器用于根据所述中间人脸图像生成所述目标人脸图像， 所述中间人脸图像与目标人脸图 像的风格均为第一应用风格， 所述 目标人脸图像与真人人脸照片内容一致， 所述第一判别 器和第二判别器分别用于评判所述第一生成器和 第二生成器生成的图像的好坏程度， 在训 练所述第一对抗神经网络模型时， 使所述第一生成器和第二生成器， 与所述第一判别器和 第二判别器相互对抗， 达到纳什均衡； 或者若所述对抗神经网络模型为第二对抗神经网络 模型， 所述第二对抗神经网络模型包括第三生成器， 所述第三生成器包括映射网络和生成 网络， 所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量， 所述生成网络用于根据所述中间向量生成所述目标人脸图像， 所述目标人脸图像的风格为 第二应用风格， 在训练所述第二对抗神经网络模型时， 通过冻 结所述生成网络的至少一个 网络层进行训练； 根据所述目标 人脸图像生成3D人脸模型。 2.如权利要求1所述的方法， 其特征在于， 所述第一对抗神经网络模型包括神经网络 CycleGAN， 所述第一对抗神经网络模型的训练过程包括： 基于预训练人脸数据网络， 通过将随机向量输入神经网络StyleGAN得到训练用真人人 脸照片数据集， 根据随机捏脸参数生成3D人脸模型数据集， 通过对所述3D人脸模型数据集 中的3D人脸模型进行拍摄得到训练用人脸图像数据集， 其中， 所述3D人脸模型数据集中包 括至少一个3D人脸模型， 所述训练用人脸图像数据集中包括至少一个人脸图像； 将所述训练用真人人脸照片数据集作为输入， 所述训练用人脸图像数据集作为输出训 练所述第一对抗神经网络模型。 3.如权利要求1所述的方法， 其特征在于， 所述第二对抗神经网络模型包括神经网络 StyleGAN， 所述第二对抗神经网络模型的训练过程包括： 根据随机捏脸参数生成3D人脸模型数据集， 通过对所述3D人脸模型数据集中的3D人脸 模型进行拍摄得到训练用人脸图像数据集， 其中， 所述3D人脸模型数据集中包括至少一个 3D人脸模型， 所述训练用人脸图像数据集中包括至少一个人脸图像； 基于预训练人脸数据网络和所述训练用人脸图像数据集， 通过冻结所述生成网络的至 少一个网络层并进行迁移学习来对所述 生成网络的其它网络层进行训练。 4.如权利要求3所述的方法， 其特征在于， 所述冻结所述生成网络的至少一个网络层， 包括： 冻结所述生成网络的分辨率最低的一个网络层或分辨率最低的两个网络层或分辨率 最低的三个网络层。 5.如权利要求3或4所述的方法， 其特征在于， 所述利用训练好的对抗神经网络模型对 所述真人 人脸照片进行处 理， 包括： 基于预训练人脸数据网络， 通过将随机向量输入神经网络StyleGAN得到多张真人人脸 照片；权　利　要　求　书 1/3 页 2 CN 115018996 A 2从所述多张真人人脸照片中选出与所述待处理的真人人脸照片最相似的真人人脸照 片， 将选出的真人人脸照 片对应的随机向量作为所述待处理的真人人脸照 片对应的输入向 量， 将所述待处 理的真人 人脸照片对应的输入向量输入所述第二对抗神经网络模型。 6.如权利要求1所述的方法， 其特征在于， 所述根据所述目标人脸图像生成3D人脸模 型， 包括： 根据所述目标 人脸图像生成捏脸 参数； 根据所述捏脸 参数生成所述3D人脸模型。 7.一种根据真人 人脸照片生成3D人脸模型的装置， 其特 征在于， 包括： 处理单元， 用于获取待处理的真人人脸照片， 利用训练好的对抗神经网络模型对所述 待处理的真人人脸照 片进行处理， 得到目标人脸图像， 其中， 若 所述对抗神经网络模型为第 一对抗神经网络模型， 所述第一对抗神经网络模型包括第一生成器、 第二生 成器、 第一判别 器和第二判别器， 所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图 像， 所述第二生成器用于根据所述中间人脸图像生成所述 目标人脸图像， 所述中间人脸图 像与目标人脸图像的风格均为第一应用风格， 所述目标人脸图像与真人人脸照片内容一 致， 所述第一判别器和 第二判别器分别用于评判所述第一生成器和第二生成器生成的图像 的好坏程度， 在训练所述第一对抗神经网络模型时， 使 所述第一生成器和 第二生成器， 与所 述第一判别器和第二判别器相互对抗， 达到纳什均衡； 或者若所述对抗神经网络模型为第 二对抗神经网络模型， 所述第二对抗神经网络模型包括第三生成器， 所述第三生成器包括 映射网络和生成网络， 所述映射网络用于将所述待处理的真人人脸照 片对应的输入向量编 码为中间向量， 所述生成网络用于根据所述中间向量生成所述 目标人脸图像， 所述 目标人 脸图像的风格为第二应用风格， 在训练所述第二对抗神经网络模型时， 通过冻结所述生成 网络的至少一个网络层进行训练； 生成单元， 用于根据所述目标 人脸图像生成3D人脸模型。 8.如权利要求7所述的装置， 其特征在于， 所述第一对抗神经网络模型包括神经网络 CycleGAN， 所述第一对抗神经网络模型的训练过程包括： 基于预训练人脸数据网络， 通过将随机向量输入神经网络StyleGAN得到训练用真人人 脸照片数据集， 根据随机捏脸参数生成3D人脸模型数据集， 通过对所述3D人脸模型数据集 中的3D人脸模型进行拍摄得到训练用人脸图像数据集， 其中， 所述3D人脸模型数据集中包 括至少一个3D人脸模型， 所述训练用人脸图像数据集中包括至少一个人脸图像； 将所述训练用真人人脸照片数据集作为输入， 所述训练用人脸图像数据集作为输出训 练所述第一对抗神经网络模型； 或者 所述第二对抗神经网络模型包括神经网络StyleGAN， 所述第二对抗神经网络模型的训 练过程包括： 根据随机捏脸参数生成3D人脸模型数据集， 通过对所述3D人脸模型数据集中的3D人脸 模型进行拍摄得到训练用人脸图像数据集， 其中， 所述3D人脸模型数据集中包括至少一个 3D人脸模型， 所述训练用人脸图像数据集中包括至少一个人脸图像； 基于预训练人脸数据网络和所述训练用人脸图像数据集， 通过冻结所述生成网络的至 少一个网络层并进行迁移学习来对所述 生成网络的其它网络层进行训练。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机权　利　要　求　书 2/3 页 3 CN 115018996 A 3