(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210999247.3 (22)申请日 2022.08.19 (71)申请人 中国人民解 放军战略支援 部队信息 工程大学 地址 450000 河南省郑州市高新区科 学大 道62号 (72)发明人 陈健　杨帅　闫镔　乔凯　梁宁宁　 王林元　石舒豪　杨杰　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 周艳巧 (51)Int.Cl. G06T 17/00(2006.01) G06T 5/50(2006.01) G06V 20/40(2022.01) (54)发明名称 基于集成神经辐射场的人脸视频表情迁移 模型构建方法及表情迁移方法和系统 (57)摘要 本发明属于人工智能技术领域， 特别涉及一 种基于集成神经辐射场的人脸视频表情迁移模 型构建方法及表情迁移方法和系统， 通过构建集 成神经辐射场人脸表情迁移模型， 其中， 所述迁 移模型中包含： 集成渲染生成器， 其由n个用于查 询采样帧图像空间密度和颜色的子生成器组成； 及用于对n个子生成器进行加权求和的权重控制 器； 根据人物类别收集视频数据， 将视频数据分 解为若干张帧图像， 按时间顺序 将若干张帧图像 均分n份， 利用均分的帧图像集构建样本数据， 训 练优化子生成器， 以样本数据中的表情向量为权 重控制器的输入， 利用权重控制器调整子生成器 的输出权重以获取最终训练优化后的迁移模型。 本发明在面部重现的重建质量、 身份保持、 表情 和姿态转换等方面都有更加稳定和优越的表现， 具有较好的应用前 景。 权利要求书2页 说明书8页 附图2页 CN 115409937 A 2022.11.29 CN 115409937 A 1.一种基于集成神经辐射场的人脸视频表情迁移模型构建方法， 其特征在于， 包含如 下内容： 构建集成神经辐射场人脸表情迁移模型， 其中， 所述迁移模型中包含： 集成渲染生成 器， 该集成渲 染生成器由n个用于查询采样帧图像空间密度和颜色的子生成器组成； 及用于 对集成渲染生成器中的n个子生成器进行加权求和的权 重控制器； 根据人物类别收集视频数据， 将视频数据分解为若干张帧图像， 并按时间顺序将若干 张帧图像均分为互不交叉的n份帧图像集， 利用该n份帧图像集构建子生成器和权重控制器 训练用的样本数据； 利用样本数据中的n份帧图像集对应训练优化集成渲染生成器中对应的子生成器， 并 以样本数据中的表情向量为权重控制器的输入， 利用权重控制器并依据 表情向量自适应调 整子生成器的输出权 重， 利用该输出权 重来获取最终训练优化后的迁移模型。 2.根据权利要求1所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法， 其 特征在于， 迁移模型中的每个子生 成器， 将输入的表情向量和位置向量作为条件变量， 利用 神经辐射场网络沿观察视角对空间点进行查询采样， 并结合背景图像通过立体渲 染来获取 二维图像输出。 3.根据权利要求1或2所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法， 其特征在于， 第i个子生成器对空间中密度σi和颜色ci的查询采样过程表示为： (ci, σi)＝ Subgener atori(x,d, δ,γ),i＝1,2 …,n， 其中， x为坐标位置， d为观察方 向， δ为表情向量， γ为可学习代码。 4.根据权利要求1所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法， 其 特征在于， 迁移模 型中， 针对输入的帧图像， 首先利用Face2Face来捕捉输入帧图像特征， 通 过估计每帧头部刚性姿态和表情来获取包含位置和表情数据的空间映射， 并利用高频函数 将位置和表情数据映射到高维空间来获取位置向量和表情向量。 5.根据权利要求1所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法， 其 特征在于， 迁移模型中的权重控制 器采用四层全连接网络， 该四层全连接网络中的前三层 全连接层分别接ReLU函数， 最后一层全连接层连接softmax函数。 6.根据权利要求1所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法， 其 特征在于， 利用样本数据对子生成器进行训练优化中， 利用分层体积采样方法对每个子生 成器的神经辐 射场网络依 次进行第一阶段粗糙优化和第二 阶段精细优化， 其中， 第一阶段 粗糙优化中， 对输入帧图像空间进行均匀查询采样， 并在第二阶段精细优化中， 使用全部样 本数据并利用第一阶段粗 糙优化的输出来调整神经辐射场网络参数。 7.根据权利要求6所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法， 其 特征在于， 各子生成器第一阶段粗糙优化的损失函数表示为： 其中， 为第i个子生成器的训练总损失， Mi为第i个子生成器样 本数据的数量， Mi＝N/n， N为样本数据总 数， coarse为粗糙优化标识参数， fine为精细优化 标识参数， Lj( θ )为像素级的L2损失函数； 第二阶段精细优化损失函数表示 为：权　利　要　求　书 1/2 页 2 CN 115409937 A 28.根据权利要求1所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法， 其 特征在于， 根据人物类别收集视频数据中， 选取单个视频中场景固定、 身份不变的人脸图像 作为构建样本数据的视频 数据。 9.一种基于集成神经辐射场的人脸视频表情迁移方法， 其特 征在于， 包 含如下内容： 针对给定的目标人脸图像或视频数据， 利用权利要求1所构建的人脸视频表情迁移模 型来生成带有目标表情的人脸表情迁移图像或视频。 10.一种基于集成神经辐射场的人脸视频表情迁移系统， 其特征在于， 包含： 模型构建 模块和表情迁移模块， 其中， 模型构建模块， 用于利用权利要求1所述的方法来构建人脸视频表情迁移模型； 表情迁 移模块， 用于利用构建的人脸视频表情迁移模型来生成给定目标人物图像或视频对应的带 有目标表情的人脸表情迁移图像或视频。权　利　要　求　书 2/2 页 3 CN 115409937 A 3