(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210792028.8 (22)申请日 2022.07.05 (71)申请人 聚好看科技股份有限公司 地址 266100 山东省青岛市崂山区松岭路 399号 申请人 清华大学　 海信视像科技股份有限公司 (72)发明人 吴连朋　于涛　刘烨斌　许瀚誉　 朱家林　王宝云　于芝涛　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 宋正伟 (51)Int.Cl. G06T 17/10(2006.01) G06V 40/10(2022.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于混合高斯网络的单图像三维重建方法 及设备 (57)摘要 本申请涉及三 维重建技术领域， 提供一种基 于混合高斯网络的单图像三维重建方法及设备， 通过训练好的混合高斯网络从包含人体全身的 单张彩色图像中， 提取每个像素点的二维目标特 征， 并根据二维目标特征， 确定每个人体像素点 在对应的三维投影射线上的连续占用值函数， 由 于使用高斯混合函数直接描述像素点在对应投 影射线上的占用值变化， 因此， 可 以利用少量参 数描述射线方向占用值的连续变化形式， 从而提 高三维重建效率； 通过对 连续占用值函数进行三 线性采样生成的均匀离散示性函数， 生成三维人 体模型， 由于混合高斯网络能够从单张彩色图像 中提取更多的人体细节特征， 这样， 在基于单张 彩色图像提高三维重建效率的同时， 能够保证人 体三维模型的精度。 权利要求书3页 说明书12页 附图10页 CN 115082636 A 2022.09.20 CN 115082636 A 1.一种基于混合高斯网络的单图像三维重建方法， 其特 征在于， 包括： 获取包含人体全身的单张彩色图像； 采用预先训练好的混合高斯网络， 从所述彩色图像中提取每个像素点的二维目标特 征， 并根据每个像素点的二维目标特征， 计算每个像素点在相应的三维投影射线上 的混合 高斯函数值； 根据每个像素点对应的混合高斯函数值， 获得各三维投影射线上的连续占用值函数， 每个占用值用于表征相应的像素点 位于人体模型内部还是 人体模型外 部； 在三维空间中对各连续占用值函数进行三线性采样， 生成表征人体几何表面的均匀离 散示性函数； 从均匀离 散示性函数中提取 人体几何表面， 获得三维人体模型。 2.如权利要求1所述的方法， 其特征在于， 所述混合高斯网络是由卷积神经网络和全连 接神经网络搭建的， 所述采用预先训练好的混合高斯网络， 从所述彩色图像中提取每个像 素点的二维目标 特征， 包括： 基于所述混合高斯网络 中的卷积神经网络部分， 提取所述彩色图像对应的不同尺度的 特征图， 并对不同尺度的特 征图进行融合， 得到每 个像素点对应的融合特 征向量； 基于所述混合高斯网络 中的全连接神经网络部分， 提取每个像素点的图像坐标在频域 的映射位置， 将每个像素点的映射位置和相应像素点的融合特征向量进行拼接， 得到所述 二维目标 特征。 3.如权利要求1所述的方法， 其特征在于， 所述根据每个像素点的二维目标特征， 计算 每个像素点在相应的三维投影射线上的混合高斯 函数值， 包括： 基于所述混合高斯网络 中的全连接神经网络部分， 对每个像素点的二维 目标特征进行 高斯处理， 分别获得两个高斯 函数的均值和方差； 根据所述两个高斯 函数的均值和方差， 确定所述混合高斯 函数的目标参数； 根据所述混合高斯函数的目标参数， 计算每个像素点在相应的三维投影射线上的混合 高斯函数值。 4.如权利要求1所述的方法， 其特征在于， 所述在三维空间中对各连续占用值函数进行 三线性采样， 生成均匀离 散示性函数， 包括： 获取离散均匀的采样点投影在所述彩色图像上的图像坐标； 针对每个采样点， 根据所述采样点对应的图像坐标， 确定邻近的至少一条三维投影射 线， 并获取 所述采样点与至少一条三维投影射线的交点； 从所述连续占用值函数中获取至少一个交点的占用值， 并对所述至少一个交点的占用 值进行三线性插值， 得到所述采样点的离 散占用值； 根据每个采样点的离 散占用值， 生成均匀离 散示性函数。 5.如权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述混合高斯网络是通过以下方 式训练的： 获取训练数据集， 所述训练数据集包括对不同姿态及衣物下的三维人体扫描数据进行 渲染得到的人体图像； 针对每张人体图像， 采用基于像素投影射线的采样方法， 计算每条三维投影射线上各 采样点在模型内外的真实示性函数， 并根据所述各采样点真实示性函数， 拟合出相应三维权　利　要　求　书 1/3 页 2 CN 115082636 A 2投影射线对应的混合高斯 函数真值； 将多张人体图像以及相应的真实示性函数和混合高斯函数真值输入至待训练的混合 高斯网络， 通过至少一轮迭代， 获得训练好的混合高斯网络， 其中， 每次迭代过程执行以下 操作： 采用所述待训练 的混合高斯网络， 确定每张人体图像的多条三维投影射线对应的预测 示性函数和混合高斯 函数预测值； 根据每个预测示性函数和混合高斯函数预测值， 以及相应的真实示性函数和混合高斯 函数真值， 确定混合高斯网络的目标损失值； 根据所述目标损失值对所述待训练 的混合高斯网络的参数进行调整， 直到所述目标损 失值在预设范围内。 6.如权利要求5所述的方法， 其特征在于， 所述根据每个预测示性函数和混合高斯函数 预测值， 以及相应的真实示性函数和混合高斯函数真值， 确定 混合高斯网络的目标损失值， 包括： 根据每条三维投影射线对应的混合高斯函数预测值的概率分布， 确定负对数似然损 失； 根据每条三维投影射线的预测示 性函数和真实示 性函数， 确定示 性函数的均方误差； 根据每条三维投影射线上对应的混合高斯函数预测值和混合高斯函数真值， 确定混合 高斯函数的均方误差； 根据所述负对数似然损失、 所述示性函数的均方误差和所述混合高斯函数的均方误 差， 确定所述混合高斯网络的目标损失值。 7.一种重建设备， 其特征在于， 包括处理器、 存储器、 显示屏和通信接口， 所述通信接 口、 所述显示屏、 所述存 储器和所述处 理器通过总线连接； 所述存储器包括数据存储单元和程序存储单元， 所述程序存储单元存储有计算机程 序， 所述处 理器根据所述计算机程序， 执 行以下操作： 通过所述通信接口， 获取相机采集的包含人体全身的单张彩色图像， 并存储于所述数 据存储单元； 采用预先训练好的混合高斯网络， 从所述彩色图像中提取每个像素点的二维目标特 征， 并根据每个像素点的二维目标特征， 计算每个像素点在相应的三维投影射线上 的混合 高斯函数值； 根据每个像素点对应的混合高斯函数值， 获得各三维投影射线上的连续占用值函数， 每个占用值用于表征相应的像素点 位于人体模型内部还是 人体模型外 部； 在三维空间中对各连续占用值函数进行三线性采样， 生成表征人体几何表面的均匀离 散示性函数； 从均匀离散示性函数中提取人体几何表面， 获得三维人体模型， 并通过所述显示屏进 行显示。 8.如权利要求7所述的重建设备， 其特征在于， 所述混合高斯网络是由卷积神经网络和 全连接神经网络搭建的， 所述处理器采用预先训练好的混合高斯网络， 从所述彩色图像中 提取每个像素点的二维目标 特征， 具体操作为： 基于所述混合高斯网络 中的卷积神经网络部分， 提取所述彩色图像对应的不同尺度的权　利　要　求　书 2/3 页 3 CN 115082636 A 3