(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210985402.6 (22)申请日 2022.08.17 (71)申请人 杭州倚澜科技有限公司 地址 311200 浙江省杭州市萧 山区经济技 术开发区明星路371号1幢1413室 (72)发明人 戴翘楚　吴翼天　曹静萍　 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/62(2022.01) G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于时序上 下文线索的三维人体 重建方法 (57)摘要 本发明公开了基于时序上下文线索的三维 人体重建方法， 具体涉及人工智 能领域， 主要包 括以下步骤： 基于时序上下文线索的三维人体重 建神经网络预训练； 利用卷积神经网络， 对每一 帧图像提取空间特征； 利用运动编码器将每一帧 的人体外部轮廓和光流信息加入到输入特征中； 采用转换器网络作为时序编码器捕捉多帧输入 的时间相关性； 通过训练回归器回归参数化人体 模板参数和相机参数； 利用判别器判别真实且自 然的人体动作姿态； 利用回归 得到的参数化人体 模板参数训练可微分渲染器。 训练完成后， 给定 任意一段动作序列， 即可完成人体模 型姿势和形 状重建。 该技术可 以用于运动分析、 虚拟和增强 现实、 游戏和动画等需要三维人体 重建的场景。 权利要求书2页 说明书6页 附图2页 CN 115330950 A 2022.11.11 CN 115330950 A 1.基于时序上 下文线索的三维人体重建方法， 其特 征在于： 包括如下步骤： 步骤S1、 输入一 段单人体视频帧序列， 记作 ， 其中 为序列长度， 即图像序列数目， 表示第 张图像， 即第i帧； 步骤S2、 利用卷积神经网络， 对图像序列的每一帧 提取空间特征 ， 其中每个特征 是一个大小为2048维的向量； 步骤S3、 经过一个运动编码器将每一帧的人体外部轮廓和光流信息加入到输入特征 中， 得到特征值为： ， 其中 为视频帧的空间特征， 为人体外部轮廓特征， 为光流特征； 步骤S4、 训练一个转换器网络作为时序编码器提取上下文时间信息， 输出每一帧包含 前后帧信息的隐变量 ； 步骤S5、 利用 回归参数化人体模板参数和相机参数 和 ， 回归器初始化为平均 姿态 ， 之后为上一帧的姿态结果 作为下一帧初始化， 对整个序列拟合对应的三维人体模 板动态序列 ； 步骤S6、 采用自监督集成各个时间对应的特征向量用于判别真实自然的人体动作姿 态； 步骤S7、 利用回归得到的参数化人体模板参数进行可微分渲染， 得到的二维关节点信 息， 人体轮廓， 光流信息与网络估算的值比较， 计算重投影误差； 步骤S8、 利用人体模板姿态序列和所有图像视频帧序列构建损失函数 ， 训练网络模 型； 步骤S9、 在步骤S8训练完成后， 给定任意一段视频帧序列， 通过训练好的模型， 完成三 维人体模型姿势和形状重建。 2.根据权利要求1所述的基于时序上下文线索的三维人体重建方法， 其特征在于： 在步 骤S5中， 拟合的三维人体模板为一个线性函数 ， 所述线性函数 的输入是人体的姿 态参数 ， 输出是三维人体模板的顶点坐标 ， 即  ， 其中 为三维人体模板 的顶点总数； 从输出的三维人体模板顶点坐标中， 回归出人体模板的关节点坐标： ， 其中 为回归矩阵。 3.根据权利要求1所述的基于时序上下文线索的三维人体重建方法， 其特征在于： 在步 骤S8中， 损失函数 为： 其中， 三维误差 ， 使用L2范 数损失函数：权　利　要　求　书 1/2 页 2 CN 115330950 A 2， 其中， 为三维关节参数 二维误差 ， 使用L2范 数损失函数： ， 其中， 为二维关节参数 参数化人体模板误差 ， 使用L2范 数损失函数： ， 其中， 为人体形状参数， 为人体姿态参数 判别器误差 ， 使用L2范 数损失函数： ， 其中， 为运动参数的对抗损失 判别器误差 ， 使用L2范 数损失函数： 运动编码器误差 ， 使用L2范 数损失函数： ， 其中， 为人体外部 轮廓特征， 为光流特征， 为视频帧的空间特 征。权　利　要　求　书 2/2 页 3 CN 115330950 A 3