(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210862126.4 (22)申请日 2022.07.20 (71)申请人 深圳数联天下智能科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南七道20号深圳国 家工程实验室大楼B16 01 (72)发明人 陈仿雄　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 唐梦云 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 40/10(2022.01)G06T 5/50(2006.01) G06Q 30/06(2012.01) (54)发明名称 训练解析模 型的方法、 虚拟试衣 方法及相关 装置 (57)摘要 本申请实施例涉及图像处理技术领域， 尤其 涉及一种训练解析模型的方法、 虚拟试衣方法及 相关装置， 采用获取若干个图像组对应的衣服变 形图像和局部解析图像对图像生成网络进行训 练， 得到解析模型。 其中， 衣服变形图像作为先验 条件， 有效指导图像生成网络在生成预测解析图 像时使得衣服轮廓准确。 此外， 局部解析图像保 留了模特的躯干特征， 指导图像生成 网络在生成 预测解析图像时使得躯干轮廓准确。 基于衣服变 形图像的指导作用和局部解析图像不受模特身 上原衣服的影 响， 使得预测解析图像能够准确适 应试穿衣服。 上述方式对图像生成网络进行训 练， 训练得到的解析模型能够生成更加稳定的自 适应衣服 风格的解析图像 。 权利要求书2页 说明书18页 附图7页 CN 115272822 A 2022.11.01 CN 115272822 A 1.一种训练解析模型的方法， 其特 征在于， 包括： 获取若干个图像组， 所述图像组包括衣服图像和模特图像， 所述模特图像中的模特穿 有所述衣服图像中的衣服； 对所述衣服图像按所述模特图像中模特的人体结构进行初步变形， 得到衣服变形图 像； 对所述模特图像进行人体解析， 得到真实解析图像， 并从所述真实解析图像中提取模 特躯干区域， 得到局部解析图像； 将所述局部解析图像和所述衣服变形图像输入图像生成网络， 得到预测解析图像； 采用损失函数计算所述预测解析图像和所述真实解析图像之间的损失， 并根据 所述若 干个图像组对应的损失和， 对所述图像生成网络进 行迭代训练， 直至收敛， 得到所述解析模 型。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述衣服图像按所述模特图像 中模 特的人体结构进行初步变形， 得到衣服变形图像， 包括： 对所述模特图像进行关键点检测， 得到关键点图像； 采用几何匹配模块分别对所述关键点图像和所述衣服图像进行计算处理， 生成变换参 数； 利用所述变换参数对所述衣服图像进行变形处 理， 得到所述衣服变形图像。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 将所述关键点图像上的每个关键点转化为1通道的热图， 并将每个关键点对应的热图 按通道进行拼接， 得到姿势热图； 所述采用几何匹配模块分别对所述关键点图像和所述衣服图像进行计算处理， 生成变 换参数， 包括： 采用所述几何匹配模块分别对所述姿势热图和所述衣服图像进行计算处理， 生成所述 变换参数。 4.根据权利要求1所述的方法， 其特征在于， 所述图像生成网络包括连接的编码器、 融 合模块和解码器； 所述方法还 包括： 获取所述衣服图像对应的服装类别文本信息； 对所述服装类别文本信息进行 特征编码， 得到服装类别向量； 所述将所述局部解析图像和所述衣服变形图像输入图像生成网络， 得到预测解析图 像， 包括： 所述局部解析图像和所述衣服变形图像拼接后， 输入所述编码器进行下采样特征提 取， 输出编码特 征图； 所述编码特征图与 所述服装类别向量输入所述融合模块进行融合处理， 输出融合特征 图； 所述融合特 征图输入所述 解码器进行 上采样特 征提取， 输出 所述预测解析图像。 5.根据权利要求4所述的方法， 其特征在于， 所述融合模块采用以下方式对所述编码特 征图与所述 服装类别向量进行融合处 理： 将所述服装类别向量进行维度转化， 转化为与 所述编码特图大小相同的服装类别特征权　利　要　求　书 1/2 页 2 CN 115272822 A 2图； 将所述编码特征图和所述服装类别特征图进行对应位置相乘操作， 得到所述融合特征 图。 6.根据权利要求3所述的方法， 其特征在于， 所述损 失函数包括解析损 失、 变形区域损 失和变形特征损失， 其中， 所述解析损失反映所述真实解析图像和所述预测 解析图像之间 的差异， 所述变形区域损失反映所述衣服变形图像中衣服区域和所述预测解析图像中衣服 区域之间的差异， 所述变形特征损失反映所述模特图像中衣服特征和所述衣服变形图像中 衣服特征之间的差异。 7.根据权利要求6所述的方法， 其特 征在于， 所述损失函数包括： 其中， Lloc为所述变形区域损失， LGMM为所述变形特征损失， Lc为所述解析损失， Xmask为所 述衣服变形图像中衣服区域， Ymask为所述预测解析图像中衣服区域， Tij为所述真实解析图 像， Pij为所述预测解析图像， M* L为所述真实解 析图像或所述预测解析图像的分辨率， C为 所 述衣服图像， Tθ(C)为所述衣服变形图像， Ct为所述模特图像中的衣服图像， VGGi(Tθ(C))为 采用VGG网络对所述Tθ(C)进行特征提取得到的第i层特征图， VGGi(Ct)为采用所述VGG网络 对所述Ct进行特征提取得到的第i层特 征图， V是VG G网络的层数。 8.一种虚拟试衣方法， 其特 征在于， 包括： 获取待试穿衣服图像和用户图像； 采用解析模型基于所述待试穿衣服图像和所述用户图像， 进行人体解析， 得到解析图 像， 其中， 所述 解析模型采用如权利要求1 ‑7中任意一项训练解析模型的方法训练得到； 对所述用户图像和所述待试穿衣服图像进行融合， 并在融合的过程中基于所述解析图 像中的衣服区域， 对所述待试穿衣服图像进行变形， 得到试衣图像。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器， 以及 与所述至少一个处 理器通信连接的存 储器， 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑8任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令用于使计算机设备执行如权利要求1 ‑8任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115272822 A 3