(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210524910.4 (22)申请日 2022.05.13 (71)申请人 每平每屋 （上海） 科技有限公司 地址 200127 上海市中国 （上海） 自由贸易 试验区环龙路6 5弄1号三层、 四层 (72)发明人 唐立军　唐忠樑　 (74)专利代理 机构 北京同钧律师事务所 16 037 专利代理师 杜叶蕊　许怀远 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 15/00(2011.01) (54)发明名称 特征提取模型训练、 材质贴图处理方法、 装 置及电子设备 (57)摘要 本申请提供一种特征提取模 型训练、 材质贴 图处理方法、 装置及电子设备。 特征提取模型训 练方法包括： 获取初始样本数据集， 初始样本数 据集包括： 至少一个样本数据， 每个样本数据包 括： 一个样 本材质贴图， 以及， 该样本材质贴图的 用于表征该样本材质贴图所属的材质类型的硬 标签； 将初始样本数据集中样 本材质贴图的硬标 签转换为与样本材质贴图的样本层级聚类结果 相关的软标签， 得到训练样本数据集； 软标签用 于表征样 本材质贴图属于每种材质类型的概率； 样本层级聚类结果包括： 颜色结果和/或纹理聚 类结果； 使用训练样本数据集训练神经网络模 型， 得到特征提取模型， 特征提取模型用于提取 图像的材质特征。 本申请提高了材质贴图处理的 效率和准确性。 权利要求书3页 说明书24页 附图6页 CN 114926832 A 2022.08.19 CN 114926832 A 1.一种特 征提取模型训练方法， 其特 征在于， 所述方法包括： 获取初始样本数据集， 所述初始样本数据集包括： 至少一个样本数据， 每个样本数据包 括： 一个样本材质贴图， 以及， 该样本材质贴图的硬标签； 所述硬标签用于表征该样本材质 贴图所属的材质类型； 将所述初始样本数据集中样本材质贴图的硬标签转换为软标签， 得到训练样本数据 集； 所述软标签用于表征样本材质贴图属于每种 材质类型 的概率； 所述软标签与样本材质 贴图的样本层级聚类结果相关， 所述样本层级聚类结果包括： 颜色结果和/或纹理聚类结 果； 使用所述训练样本数据集训练神经网络模型， 得到特征提取模型， 所述特征提取模型 用于提取图像的材质特 征。 2.根据权利要求1所述的方法， 其特征在于， 所述样本层级聚类结果包括： 基于颜色对 样本材质贴图聚类得到的第一样本聚类结果、 基于纹理对样本材质贴图聚类得到的第二样 本聚类结果、 基于颜色和纹理对样本材质贴图聚类得到的第三样本聚类结果； 所述第一样 本聚类结果和所述第二样本聚类结果均为所述样本层级聚类结果中的一级样本聚类结果， 所述第三样本聚类结果 为所述样本层级聚类结果中的二级样本聚类结果； 所述将所述初始样本数据集中样本材质贴图的硬标签转换为软标签， 得到训练样本数 据集， 包括： 根据所述第一样本聚类结果、 所述第二样本聚类结果、 所述第三样本聚类结果， 以及， 每个样本材质贴图的硬标签， 得到每 个样本材质贴图的软 标签； 使用每个样本材质贴图， 以及， 每个样本材质贴图的软标签， 得到所述训练样本数据 集。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第一样本聚类结果、 所述第 二样本聚类结果、 所述第三样本聚类结果， 以及， 每个样本材质贴图的硬标签， 得到每个样 本材质贴图的软 标签， 包括： 针对每个样本材质贴图， 根据样本材质贴图的硬标签， 以及， 预设的软标签概率分配方 式， 确定所述样本材质贴图的初始软 标签； 根据所述第一样本聚类结果、 所述第 二样本聚类结果、 所述第三样本聚类结果， 对所述 样本材质贴图的初始软 标签中的概 率进行调整， 得到所述样本材质贴图的软 标签。 4.根据权利要求2或3所述的方法， 其特 征在于， 所述方法还 包括： 获取所述第一样本聚类结果、 所述第二样本聚类结果； 根据所述第一样本聚类结果、 所述第二样本聚类结果， 得到所述第三样本聚类结果。 5.一种材质贴图处 理方法， 其特 征在于， 所述方法包括： 获取目标图像； 将所述目标图像输入特征提取模型， 得到所述目标图像的材质特征； 所述特征提取模 型为采用如权利要求1 ‑4任一项所述的方法得到的； 根据所述目标图像的材质特征、 利用所述特征提取模型提取的材质贴图库中每个材质 贴图的材质特征， 以及， 所述材质贴图库中材质贴图基于颜色和纹理的层 级聚类结果， 获取 与所述目标图像材质匹配的K个材质贴图； 所述K为大于或等于1的整数。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述目标图像的材质特征、 利用权　利　要　求　书 1/3 页 2 CN 114926832 A 2所述特征提取模型提取 的材质贴图库中每个材质贴图的材质特征， 以及， 所述材质贴图库 中材质贴图基于颜色和纹理的层级聚类结果， 获取与所述 目标图像材质匹配的K个材质贴 图， 包括： 根据所述目标图像的材质特征、 所述材质贴图库中每个材质贴图的材质特征， 获取所 述目标图像与每 个材质贴图的相似度； 按照相似度从大到小的排序顺序， 获取 前N个材质贴图； 所述 N为大于或等于2的整数； 根据所述材质贴图库中材质贴图基于颜色和 纹理的层级聚类结果， 获取N个材质贴图 的聚类得分； 按照聚类得分从大到小的顺序， 获取前K个材质贴图作为与所述目标图像材质匹配的 材质贴图。 7.根据权利要求6所述的方法， 其特征在于， 所述层级聚类结果包括： 基于颜色对材质 贴图聚类得到的第一聚类结果、 基于纹理对材质贴图聚类得到的第二聚类结果、 基于颜色 和纹理对材质贴图聚类得到的第三聚类结果； 所述第一聚类结果和所述第二聚类结果均为 所述层级聚类结果中的一级聚类结果， 所述第三聚类结果为所述层级聚类结果中的二级聚 类结果； 所述根据所述材质贴图库中材质贴图基于颜色和 纹理的层级聚类结果， 获取N个材质 贴图的聚类得分， 包括： 根据N个材质贴图的相似度排序， 获取N个材质贴图的初始聚类得分； 根据N个材质贴图的初始聚类得分， 以及， 所述第 一聚类结果， 获取N个材质贴图的第一 聚类得分； 根据N个材质贴图的初始聚类得分， 以及， 所述第 二聚类结果， 获取N个材质贴图的第二 聚类得分； 根据N个材质贴图的初始聚类得分， 以及， 所述第 三聚类结果， 获取N个材质贴图的第三 聚类得分； 根据N个材质贴图的初始聚类得分、 第一聚类得分、 第 二聚类得分、 第三聚类得分， 得到 N个材质贴图的聚类得分。 8.根据权利要求5 ‑7任一项所述的方法， 其特征在于， 所述获取与所述目标图像材质匹 配的K个材质贴图之后， 所述方法还 包括： 输出所述K个材质贴图。 9.根据权利要求5 ‑7任一项所述的方法， 其特征在于， 所述获取与所述目标图像材质匹 配的K个材质贴图之后， 所述方法还 包括： 从所述K个材质贴图中确定目标 材质贴图； 使用所述目标 材质贴图对目标对象的模型框架进行渲染， 得到所述目标对象的模型； 输出所述目标对象的模型。 10.根据权利要求9所述的方法， 其特征在于， 所述使用所述目标材质贴图对目标对象 的模型框架进行渲染， 得到所述目标对象的模型之前， 所述方法还 包括： 构建所述目标对象的模型框架。 11.一种特 征提取模型训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取初始样本数据集， 所述初始样本数据集包括： 至少一个样本数据，权　利　要　求　书 2/3 页 3 CN 114926832 A 3