(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210912976.0 (22)申请日 2022.07.31 (71)申请人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 陈丽芳　苏将沪　谢振平　刘渊　 陆菁　张晓婷　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 赵荔 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多特征融合的单张图像三维服装 重建方法 (57)摘要 本发明公开了一种基于多特征融合的单张 图像三维服装重建方法， 本发明从单张图像中多 方面提取特征， 并对这些特征进行融合， 实现了 输入单张正视角彩色图像即可进行服装建模， 针 对几种典型的服装模板， 设计其特有的特征线， 基于特征线的变形将服装模板变化成各类不同 拓扑结构 的服装， 利用 深度学习方法， 设计了服 装参数回归网络， 并结合几种现有的特征提取网 络提出一种新的服装网络结构， 专门用于端到端 重建三维服装。 权利要求书2页 说明书7页 附图3页 CN 115272579 A 2022.11.01 CN 115272579 A 1.一种基于多特 征融合的单张图像三维服装重建方法， 其特 征在于： 包括， 建立二维图像到三维网格之间的关系； 提取RGB图像中人体 轮廓和服装语义分割特 征； 将提取的特 征进行融合后输入网络， 在网络中输出参数的预测结果； 将预测得到的参数进行模板网格 变形， 使人体形状、 姿态和服装尺寸趋向目标网格； 结合变形后的服装网格和人体网格， 输出 结果。 2.如权利要求1所述的基于多特征融合的单张图像三维服装重建方法， 其特征在于： 将 人体Mb(·)和服装Mg(·)网格模型进行参 数化表示， 使用包括SMPL模型参数， 服装轮廓参 数 α， 以及服装模板的特征线参数L来表示三维人体网格和三维服装网格， SMPL模型参数包括 形状参数β 和姿态参数θ， 其中服装轮廓参数α ∈R64， 形状参数β ∈R10， 姿态参数θ∈R72。 3.如权利要求1或2所述的基于多特征融合的单张图像三维服装重建方法， 其特征在 于： 人体网格模型Mb(·)通过如下公式表示， Mb( β, θ )＝W(Tb( β, θ ),J( θ ), θ,Wb) 服装网格模型Mg(·)通过如下公式表示， Mg( β, θ, α,L)＝ W(Tg( β, θ, α,L),J( θ ), θ,Wg( α, β )) 人体模板变形后网格Tb通过如下公式表示， Tb( β, θ )＝T ′b+Bs( β )+Bp( θ ) 其中， W(·)表示标准蒙 皮操作， 从点 云变成网格， J表示人体骨 骼点， Wb表示人体网格顶 点蒙皮权重， Wg表示服装网格顶点权重， Tg表示服装模板变形后网格， T ′g表示 服装模板基础网格， Bs(·)表示人体网格形状 变形， Bp(·)表示人体网格姿态变形。 4.如权利要求3所述的基于多特征融合的单张图像三维服装重建方法， 其特征在于： 输 入一张二 维穿衣人体的RGB图像， 通过目标检测、 轮廓提取和语义分割子网络模 型提取图像 中人体轮廓和服装语义分割特 征。 5.如权利要求4所述的基于多特征融合的单张图像三维服装重建方法， 其特征在于： 特 征提取模块的整体损失通过如下公式表示， L1＝a·Lseg+b·Ledge 其中L1表示特征提取模块的整体损失， Lseg表示语义分割损失， Ledge表示轮廓预测损失， a和b表示损失权 重。 6.如权利要求5所述的基于多特征融合的单张图像三维服装重建方法， 其特征在于： 参 数预测模块的整体损失通过如下公式表示， L2＝Lbody‑camera+Lclassifier+Lgarment+Lgeometry 其中， L2表示参数预测模块的整体损失， Lbody‑camera表示参数预测中的人体和相机参数 损失， Lclassifier表示参数预测中的服装分类 参数损失， Lgarment表示参数预测中的服装尺寸参 数损失， Lgeometry表示参数预测中的人体和服装几何形状损失。 7.如权利要求6所述的基于多特征融合的单张图像三维服装重建方法， 其特征在于： 在 人体网格模型Mb(·)中， 将线性位移添加到T形姿态的基础网格T ′b上， 用标准蒙皮W( ·)来 获得设定的人体网格模型Mb(·)， 通过Bp(·)对骨骼J做 姿态变形， 其中 J∈R24×3，权　利　要　求　书 1/2 页 2 CN 115272579 A 2Bp(·)代表变形操作中的姿态变形。 8.如权利要求7所述的基于多特征融合的单张图像三维服装重建方法， 其特征在于： 在 服装网格中， 将服装归类为长袖上衣、 短袖上衣、 长裤、 短裤、 长裙和短裙， 其均有 各自的T形 姿态的服装模板， 通过P CA降维网络将服装表示为轮廓参数α， 捕捉T 型姿态下服装的整体尺 寸， 特征线参数L的预测结果， 通过特征线参数L和特征线的关系， 对特征线进行网格变形， 并以特征线为句柄带动其 余网格变形， 完成服装的局部尺寸做变形。 9.如权利要求7或8所述的基于多特征融合的单张图像三维服装重建方法， 其特征在 于： 征线参数L和特 征线的关系通过如下公式表示， Mg( β, θ, α,L)＝ W(Tg( β, θ, α,L),J( θ ), θ,Wg( α, β )) Tg( β, θ, α,L)＝T'g+Bb( β, θ )+Bpca( α )+Bline(L) Bb( β, θ )＝Bs( β )+Bp( θ ) 其中， Bline(·)表示服装局部变形， Bpca(·)表示服装整体 变形。 10.如权利要求9所述的基于多特征融合的单张图像三维服装重建方法， 其特征在于： 将变形后的服装模型映射到人体模型上， 通过关系矩阵对服装模型进行姿态调整， 总体的 网格通过如下公式表示， 其中， M表示总体的网格， W表示顶点权重， 表示人体网格顶点和服装网格顶点的对 应关系矩阵。权　利　要　求　书 2/2 页 3 CN 115272579 A 3