(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210788336.3 (22)申请日 2022.07.06 (71)申请人 杭州王道控股有限公司 地址 310052 浙江省杭州市滨江区长河街 道众创路355号云际创新中心1幢1601 室 (72)发明人 谢家柯　唐勇　熊伟　王铮　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王娇娇 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/194(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像抠图方法、 装置、 电子设备及存 储介质 (57)摘要 本发明提供一种图像抠图方法、 装置、 电子 设备及存储介质， 能够预先对三 分支编码器训练 得到抠图模 型， 抠图模型中的第一编码器分支用 于提取彩色图的特征； 抠图模型中的第二编码器 分支用于提取三分图的特征； 抠图模 型中的第三 编码器分支用于提取彩色图与三分图的叠加图 的特征， 在叠加图的特征中融合彩色图的特征和 三分图的特征， 并基于融合后的叠加图的特征输 出消光图。 对于待处理的目标彩色图及其对应的 目标三分图， 通过将目标彩色图、 目标三 分图、 以 及目标彩色图与 目标三分图的目标叠加图分别 输入至抠图模 型中的第一编码器分支、 第二编码 器分支和第三编码器分支， 即可获得由所述抠图 模型中的第三编码器分支所输出的目标消光图， 以此完成背景去除。 权利要求书3页 说明书10页 附图2页 CN 115035135 A 2022.09.09 CN 115035135 A 1.一种图像抠图方法， 其特 征在于， 所述方法包括： 获取待处 理的目标彩色图、 以及所述目标彩色图对应的目标三分图； 调取抠图模型； 其中， 所述抠图模型是预先对三分支编码器训练得到的； 所述抠图模型中的第 一编码器分支 用于提取彩色图的特征； 所述抠图模型中的第二编码器分支用于提取三分图的特征； 所述 抠图模型中的第三编码器分支用于提取所述彩色图与所述三分图的叠加图的特征， 在所述 叠加图的特征中融合所述彩色图的特征和所述三分图的特征， 并基于融合后的叠加图的特 征输出消光图； 将所述目标彩色图、 所述目标三分图、 以及所述目标彩色图与所述目标三分图的目标 叠加图分别输入至所述抠图模型中的第一编码器分支、 第二编码器分支和第三编码器分 支， 并获取由所述 抠图模型中的第三编码器分支所输出的目标消光图。 2.根据权利要求1所述的方法， 其特征在于， 对所述三分支编码器训练得到所述抠图模 型的过程， 包括： 获取用于本次训练的样本彩色图、 以及所述样本彩色图对应的样本三分图， 所述样本 彩色图和所述样本三分图被标注有标准消光图； 将所述样本彩色图、 所述样本三分图、 以及所述样本彩色图与所述样本三分图的样本 叠加图分别输入至所述三分支编码器中的第一编码器分支、 第二编 码器分支和 第三编码器 分支中， 以实现： 所述三分支编码器中的第 一编码器分支提取所述样本彩色图的特征； 所述三分支编码 器中的第二编 码器分支提取所述样本三分图的特征； 所述三分支编 码器中的第三编 码器分 支提取所述样本叠加图的特征， 并在提取所述样本叠加图的特征 的下采样阶段/上采样阶 段， 在高频信息与低频信息之间对下采样阶段所挖掘的特征/上采样阶段所重建的特征中 融合所述样本彩色图的特 征和所述样本三分图的特 征； 获取所述三分支编码器中第 三编码器分支所输出的预测消光图， 并根据 所述标注消光 图与所述预测 消光图确定所述 三分支编码器的损失函数值； 如果所述损失函数值不满足对应的条件， 则返回执行所述获取用于本次训练 的样本彩 色图、 以及所述样本彩色图对应的样本三分图， 这 一步骤； 如果所述损 失函数值满足对应的条件， 则结束对所述三分支编码器的训练， 并将训练 后的所述 三分支编码器作为所述 抠图模型。 3.根据权利要求2所述的方法， 其特征在于， 所述对下采样 阶段所挖掘的特征/上采样 阶段所重建的特 征中融合所述样本彩色图的特 征和所述样本三分图的特 征， 包括： 将所述样本彩色图的特征作为查询向量和键值向量， 通过预设相似度算法确定所述样 本彩色图的特征与下采样阶段所挖掘的特征/上采样阶段所重 建的特征之 间相似度； 以及， 将所述样本三分图的特征作为查询向量和键值向量， 通过预设相似度算法确定所述样本三 分图的特 征与下采样阶段 所挖掘的特 征/上采样阶段 所重建的特 征之间相似度； 根据所述样本彩色图的特征所对应的相似度、 以及所述样本三分图的特征所对应的相 似度分别确定所述样本彩色图的特 征和所述样本三分图的特 征各自的权 重； 按照所述样本彩色图的特征和所述样本三分图的特征各自的权重， 将样本彩色图的特 征和所述样本三分图的特征融合至下采样阶段所挖掘的特征/上采样阶段所重建的特征权　利　要　求　书 1/3 页 2 CN 115035135 A 2中。 4.根据权利要求2所述的方法， 其特征在于， 所述三分支编码器中的第 一编码器分支包 括残差网络Resnet34， 并且所述Resnet34的卷积层设置为三个连续的第一卷积层、 第二卷 积层和第三卷积层； 其中， 所述第一卷积层、 所述第 二卷积层和所述第三卷积层的内核大小均为3， 通道数分别为 16、 24、 128， 步幅均为2。 5.根据权利要求2所述的方法， 其特征在于， 所述三分支编码器中的第 二编码器分支包 括Resnet18。 6.根据权利要求2所述的方法， 其特征在于， 所述三分支编码器中的第 三编码器分支包 括Resnet5 0、 三方信息特 征挖掘组件和三方信息特 征聚合组件； 其中， 所述Resnet50， 用于提取所述样本叠加图的特征； 所述三方信息特征挖掘组件， 用于在 提取所述样本叠加图的特征的下采样阶段， 在高频信息与低频信息之 间对下采样阶段所挖 掘的特征中融合所述样本彩色图的特征和所述样本三分图的特征； 所述三方信息特征聚合 组件， 用于在提取所述样本叠加图的特征 的上采样阶段， 在高频信息与低频信息之间对上 上采样阶段 所重建的特 征中融合所述样本彩色图的特 征和所述样本三分图的特 征。 7.一种图像抠图装置， 其特 征在于， 所述装置包括： 抠图模型训练模块， 用于对三分支编码器训练得到抠图模型； 其中， 所述抠图模型中的 第一编码器分支用于提取彩色图的特征； 所述抠图模型中的第二编 码器分支用于提取三分 图的特征； 所述抠图模型中的第三编 码器分支用于提取所述彩色图与所述三分图的叠加图 的特征， 在所述叠加图的特征中融合所述彩色图的特征和所述三分图的特征， 并基于融合 后的叠加图的特 征输出消光图； 图像获取模块， 用于获取待处理的目标彩色图、 以及所述目标彩色图对应的目标三分 图； 图像抠图模块， 用于调取所述抠图模型； 将所述目标彩色图、 所述目标三分图、 以及所 述目标彩色图与所述目标三分图的目标叠加图分别输入至所述抠图模型中的第一编码器 分支、 第二编码器分支和第三编码器分支， 并获取 由所述抠图模型中的第三编码器分支所 输出的目标消光图。 8.根据权利要求7 所述的装置， 其特 征在于， 所述 抠图模型训练模块， 具体用于： 获取用于本次训练的样本彩色图、 以及所述样本彩色图对应的样本三分图， 所述样本 彩色图和所述样 本三分图被标注有标准消光图； 将所述样 本彩色图、 所述样 本三分图、 以及 所述样本彩色图与所述样本三分图的样本叠加图分别输入至所述三分支编码器中的第一 编码器分支、 第二编 码器分支和 第三编码器分支中， 以实现： 所述三分支编 码器中的第一编 码器分支提取所述样本彩色图的特征； 所述三分支编 码器中的第二编 码器分支提取所述样 本三分图的特征； 所述三分支编码器中的第三编码器分支提取所述样本叠加图的特征， 并 在提取所述样本叠加图的特征 的下采样阶段/上采样阶段， 在高频信息与低频信息之间对 下采样阶段所挖掘的特征/上采样阶段所重建的特征中融合所述样本彩色图的特征和所述 样本三分图的特征； 获取所述三分支编码器中第三编码器分支所输出 的预测消 光图， 并根 据所述标注消光图与所述预测消光图确定所述三分支编 码器的损失函数值； 如果所述损失 函数值不满足对应的条件， 则返回执行所述获取用于本次训练的样本彩色图、 以及所述样权　利　要　求　书 2/3 页 3 CN 115035135 A 3