(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221093243 3.5 (22)申请日 2022.08.04 (71)申请人 聚好看科技股份有限公司 地址 266100 山东省青岛市崂山区松岭路 399号 (72)发明人 陈春朋　杨智远　吴连朋　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 刘彩红 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/90(2017.01) G06V 10/46(2022.01) G06V 10/75(2022.01) (54)发明名称 一种基于关键点识别的人脸重建方法及设 备 (57)摘要 本申请涉及三 维重建技术领域， 提供一种基 于关键点识别的人脸重建方法及设备， 根据正面 人脸图像与其余人脸图像间关键点的映射关系， 局部矫正其余人脸图像中关键点的颜色， 再将各 人脸关键点的颜色迁移到整幅图像中， 从而解决 了不同视角下由于光照不同造成后续特征点匹 配错误的问题， 丰富了匹配的特征点对的数量， 进而可以减少视角的数量， 确保在稀 疏视点下能 够重建出高精度的人脸模型， 降低了硬件成本； 同时， 在确定多个相机的目标相机参数时， 将存 在映射关系的人脸关键点对作为正则项加入到 投影误差能量函数中， 这样， 可 以将人脸关键点 间的语义匹配作为约束条件， 提高匹配的准确 性， 进而提高多视角3D人脸模型重建的重建精 度。 权利要求书3页 说明书14页 附图8页 CN 115239885 A 2022.10.25 CN 115239885 A 1.一种基于关键点识别的人脸重建方法， 其特 征在于， 包括： 获取多视角下的相机采集的人脸图像， 并将正面视角下的人脸图像作为参考图像， 其 余视角下的人脸图像作为临近图像； 分别识别每 个视角下 所述人脸图像中的人脸关键点； 针对每张临近图像， 根据所述参考图像中人脸关键点与 所述临近图像中人脸关键点间 的映射关系， 用所述 参考图像中像素点的颜色值， 矫 正所述临近图像中像素点的颜色值； 根据所述参考图像和各张临近图像， 确定多个相机的相机参数以将各张所述临近图像 与所述参考图像对齐； 根据所述 参考图像和各张所述临近图像， 采用多视角立体视 觉算法重建3D人脸模型。 2.如权利要求1所述的方法， 其特征在于， 所述根据 所述参考图像中人脸关键点与 所述 临近图像中人脸关键点间的映射关系， 用所述参考图像中像素点的颜色值， 矫正所述临近 图像中像素点的颜色值， 包括： 将所述参考图像和所述临近图像从RGB颜色空间转换到Lab颜色空间； 根据所述参考图像中人脸关键点与 所述临近图像中人脸关键点间的映射关系， 确定存 在映射关系的人脸关键点对在各自设定邻域内每个通道的颜色属 性， 并根据各颜色属 性， 矫正所述临近图像中相应人脸关键点在每 个通道的颜色值； 针对所述临近图像中的每个像素点， 根据矫正后所述临近图像中各人脸关键点的颜色 值， 确定所述像素点的目标颜色值； 将所述参考图像和调整后的临近图像从Lab颜色空间转换到RGB颜色空间。 3.如权利要求2所述的方法， 其特征在于， 所述颜色属性包括颜色均值和标准方差， 所 述根据所述参考图像中人脸关键点与所述临近图像中人脸关键点间的映射关系， 确定存在 映射关系的人脸关键点对在各自设定邻域内每个通道的颜色属 性， 并根据各颜色属 性， 矫 正所述临近图像中相应人脸关键点在每 个通道的颜色值， 包括： 针对所述临近图像中的每一个第一人脸关键点， 执 行以下操作： 根据所述参考图像中人脸关键点与 所述临近图像中人脸关键点间的映射关系， 确定所 述第一人脸关键点在所述 参考图像中对应的第二人脸关键点； 确定所述第一人脸关键点的设定邻域内各像素点在每个通道的第一颜色均值和第一 标准方差， 以及确定所述第二人脸关键点的设定邻域内各像素点在每个通道的第二颜色均 值和第二标准方差； 根据每个通道 的所述第一颜色均值、 所述第二颜色均值、 所述第一标准方差以及所述 第二标准方差， 矫 正所述第一人脸关键点的颜色值。 4.如权利要求3所述的方法， 其特征在于， 所述根据每个通道的所述第一颜色均值、 所 述第二颜色均值、 所述第一标准方差以及所述第二标准方差， 矫正所述第一人脸关键点的 颜色值， 包括： 获取所述第一人脸关键点分别在L 通道、 a通道和b通道的初始颜色值； 用所述L通道、 a通道和b通道的初始颜色值， 分别减去相应通道的第一颜色均值， 得到 所述第一人脸关键点在所述 L通道、 a通道和b通道的中间颜色值； 根据所述L通道、 a通道和b通道各自的第一标准方差和第 二标准方差， 对相应通道的中 间颜色值进行放缩；权　利　要　求　书 1/3 页 2 CN 115239885 A 2将所述L通道、 a通道和b通道缩放后的颜色值加上相应通道的第二颜色均值， 得到矫正 后所述第一人脸关键点在所述 L通道、 a通道和b通道的颜色值。 5.如权利要求2所述的方法， 其特征在于， 所述针对所述临近 图像中的每个像素点， 根 据矫正后所述临近图像中各 人脸关键点的颜色值， 调整所述像素点的颜色值， 包括： 确定所述像素点在自身设定邻域内对应的每 个通道的颜色均值； 计算所述像素点到所述临近图像中各 人脸关键点的距离； 根据所述像素点在每个通道的颜色均值， 各距离对应的权重以及矫正后各人脸关键点 在每个通道的颜色值， 确定所述像素点的目标颜色值。 6.如权利要求5所述的方法， 其特 征在于， 所述像素点的目标颜色值的计算公式为： 其中， L″、 a″、 b″分别表示所述像素点L通道、 a通道和b通道的目标颜色值， Li′、 ai′、 bi′ 分别表示第i个人脸关键点矫正后L通道、 a通道和b通道的颜色值， ml、 ma、 mb分别表示所述 像素点在自身设定邻域内L通道、 a通道和b通道的颜色均值， i表示人脸关键点数， i＝1， 2， 3...， n， ωi为所述像素点到第i个人脸关键点的距离对应的权 重。 7.如权利要求1所述的方法， 其特征在于， 所述根据所述参考图像和各张临近 图像， 确 定多个相机的相机参数， 包括： 针对每张临近图像， 执 行以下操作： 根据所述参考图像分别和所述临近图像中匹配的多个2D特征点对， 确定初始相机参数 以及2D特 征点对对应的第一3D点云； 根据所述参考图像和所述临近图像中存在映射关系的多个人脸关键点对， 确定人脸关 键点对对应的第二3D点云； 根据所述初始相机参数、 所述第一3D点云和所述第二3D点云， 构建所述参考图像和所 述临近图像的投影误差能量 函数； 优化所述投影误差能量函数以减小投影误差， 将最小投影误差对应的相机参数作为目 标相机参数。 8.如权利要求7 所述的方法， 其特 征在于， 所述投影误差能量 函数公式如下： 其中， Mj表示所述第一3D点云中的第j个3D点， V(j)表示能看到 所述第一3D点云中第j个 3D点的所有相机集合， Pi表示第i个相机的初始相机参数， 表示所述第一3D点云中第j个 3D点在第i张图像中对应的像素点， Mn表示所述第二3D点云中的第n个3D点， V(n)表示能看 到所述第二3D点云中第n个3D点的所有相机集合， 表示所述第二3D点云中第n个3D点在 第i张图像中对应的像素点， λ表示 正则项的权 重， E(P， M)表示所述投影误差能量 函数。权　利　要　求　书 2/3 页 3 CN 115239885 A 3