(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210994369.3 (22)申请日 2022.08.18 (71)申请人 江西科骏实业有限公司 地址 330100 江西省南昌市新建区长堎镇 子实路1589号2栋 (72)发明人 徐阳　刘小兰　黄晋　肖罡　 杨钦文　万可谦　魏志宇　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 谭武艺 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/90(2017.01) G06T 5/50(2006.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种几何不变量的预测和模型构建方法与 系统 (57)摘要 本发明公开了一种几何不变量的预测和模 型构建方法与系统， 本发明包括采集针对目标物 体在多种位置及光照环境下的图像， 将图像叠加 得到叠加图像； 对叠加图像通过预先训练好的特 征提取网络提取几何不变量， 所述几何不变量包 括视角特征和光照特征； 将叠加图像、 视角特征 和光照特征通过预先训练好的三维模型构建网 络， 得到目标物体对应的三维重建模型。 本发明 旨在克服现有基于多视图的三维稠密重建和基 于图像序列的三维稀疏重建两类方案对输入图 像的数量和光照条件要求较高的缺点， 通过获得 物体本身不随外界环境 （光照、 视角） 变化的几何 不变量特征， 能在任意光照和任意数量条件下的 图像输入进行三维重建。 权利要求书2页 说明书7页 附图4页 CN 115063542 A 2022.09.16 CN 115063542 A 1.一种几何不变量的预测 和模型构建方法， 其特 征在于， 包括： S1， 采集针对目标物体在多种位置及光照环境下的图像， 将图像叠加得到 叠加图像； S2， 对叠加图像通过预先训练好的特征提取网络提取几何不变量， 所述几何不变量包 括视角特 征和光照特 征； S3， 将叠加图像、 视角特征和光照特征通过预先训练好的三维模型构建网络， 得到目标 物体对应的三维重建模型。 2.根据权利要求1所述的几何不变量的预测和模型构建方法， 其特征在于， 步骤S1中多 种光照环境下， 目标物体与光源之间的距离、 目标物体与光源之间的方向、 光源构成三者之 间至少其 一不同， 所述 光源构成包括 光源数量、 光源组合布局方式以及单个光源强度。 3.根据权利要求1所述的几何不变量的预测和模型构建方法， 其特征在于， 步骤S1中将 图像叠加得到叠加图像时， 待叠加的图像为图像I1,I2,...,In共n幅图像， 且每一张图像均 包含红色、 绿色、 蓝色三个通道， 且图像的尺寸为H ×W×3， 其中H为图像的高度， W为图像的 宽度， 且按照下式所示的颜色通道叠加方式叠加得到尺寸 为H×W×3n的叠加图像： (R1,G1,B1, R2,G2,B2,...,Rn,Gn,Bn); 上式中， R1, R2,…,Rn分别为图像I1,I2,...,In的红色通道， G1, G2,…,Gn分别为图像I1, I2,...,In的绿色通道， B1, B2,…,Bn分别为图像I1,I2,...,In的蓝色通道。 4.根据权利要求1所述的几何不变量的预测和模型构建方法， 其特征在于， 步骤S2中对 叠加图像通过预先训练好的特征提取网络提取几何不变量时， 提取视角特征所采用的特征 提取网络由依 次级联的两个第一编码器和两个第一解码器构成， 每个第一编码器为5层卷 积层， 串联的两个第一编码器将输入的大小为H ×W×3n的叠加图像卷积成为大小为H/2 × W/2×16的特征图以实现对输入的非指定视角和光照的图像进行深度特征提取； 每个第一 解码器同样为5层卷积层， 串联的两个第一解码器将输入的大小为H/2 ×W/2×16的特征图 还原成为大小为N ×C的特征向量以作为提取得到的视角特征以实现对输入图像视角特征 的抽象描述， 其中N 为指定的视角数量， C为指定的特 征通道数量。 5.根据权利要求1所述的几何不变量的预测和模型构建方法， 其特征在于， 步骤S2中对 叠加图像通过预先训练好的特征提取网络提取几何不变量时， 提取光照特征所采用的特征 提取网络由依 次级联的灰度归一化模块、 两个第二编码器和两个第二解码器， 所述灰度归 一化模块用于将输入的大小为H ×W×3n的叠加图像的像素点颜色值 从0～255归一化到0～ 1之间； 所述两个第二编 码器和两个第二解码 器均由三个卷积层构成， 用于将归一化后的大 小为H×W×3n的叠加图像依次卷积为大小为H ×W×k、 H/2×W/2×k、 H/4×W/4×k、 1×k的 特征向量以实现对输入的非指 定视角和光照的图像进 行深度特征提取， 并将最后得到的大 小为1×k的特征向量作为提取得到的光照特征以实现对输入图像光照特征的抽象描述， 其 中k为指定的特 征通道数量。 6.根据权利要求5所述的几何不变量的预测和模型构建方法， 其特征在于， 所述特征提 取网络在训练过程中采用的损失函数为： L = α LCD + β LEMD 上式中，L为特征提取网络在训练过程中采用的损失函数， α和β为权重参数， LCD为倒角 距离损失函数， LEMD为推土机距离损失函数。 7.根据权利要求1所述的几何不变量的预测和模型构建方法， 其特征在于， 步骤S3 中三权　利　要　求　书 1/2 页 2 CN 115063542 A 2维模型构建网络由第三编码器、 特征重复模块、 特征拼接模块、 第三解码器构成， 其中所述 第三编码器为5层卷积层， 用于将输入的大小为H ×W×3n的叠加图像卷积成为大小为N ×k 的特征向量 实现混合特征提取； 所述特征重复模块用于将采用大小为1 ×k的特征向量表 示 的光照特征重复N次得到尺寸为N ×k的特征向量； 所述特征拼接模块用于将第三编码器输 出的尺寸为N×k的特征向量、 特征重复模块输出的尺 寸为N×k的特征向量、 采用大小为N × C的特征向量表示的视角特征拼接成为N ×(2k+C)的特征向量； 所述第三解码器由2个反卷 积层组成， 用于将输入的大小为N ×(2k+C)的特征向量经过反卷积将2k+C的通道变为3通 道， 得到尺寸为H ×W×3的特征图作为以点云形式重建出的目标物体对应的维度为n ×3的 三维重建模型， 其中n=H ×W为三维重建模型中点云的点数， ×3表示每个点对应的(x,y,z) 坐标值。 8.根据权利要求7所述的几何不变量的预测和模型构建方法， 其特征在于， 步骤S3 中三 维模型构建网络在训练时采用的损失函数的函数表达式为： ， 上式中， G为用于从三维重建模型中提取特征的三维模型特征提取模块， minG为表示最 小化三维模 型特征提取误差， D为利普希茨连续条件函数， maxD∈DD为最大化利普希茨连续条 件函数，DD表示全部利普希茨连续条件函数的集合， 为对生成的第一组三维重建 模型的期 望值，D(x)为通过三维模 型特征提取模块G对三 维重建模型x的特征提取， y～ 表示从 中提取三 维重建模型样本 y， 为生成的第一组三 维重建模型， 为 对生成的第二组三维重建模型的期望值， ～ 为从 中提取的三维重建模型样 本 ， 为生成的第二组三维重建模型， λ为判别损失函数的计算权重， D( )为通过 三维模型 特征提取模块G对三维重建模型样本 的特征提取。 9.一种几何不变量的预测和模型构建系统， 包括相互连接的微处理器和存储器， 其特 征在于， 所述微处理器被编程或配置以执行权利要求 1～8中任意一项 所述几何不变量的预 测和模型构建方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质中存储有计算机程序， 其特征 在于， 所述计算机程序用于被微处理器编程或配置以执行权利要求 1～8中任意一项 所述几 何不变量的预测 和模型构建方法的步骤。权　利　要　求　书 2/2 页 3 CN 115063542 A 3