(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210166797.7 (22)申请日 2022.02.23 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 杨猛　曹心姿　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06V 10/77(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于浅层特征背景抑制的弱监督目标定位 方法及装置 (57)摘要 本发明公开了一种基于浅层特征背景抑制 的弱监督目标定位方法及装置， 方法为： 获取图 像数据集； 基于神经网络构建目标定位分类网 络， 包括分类器、 生成器、 评价器； 分类器生成浅 层特征图并对生成器进行初始化， 得到前景激活 图； 前景激活图与浅层特征图进行点乘， 输入评 价器中得到分类结果并计算其与原始标签的前 景交叉熵损失； 使用PCA方法对训练数据集中的 每张图进行背景主成分分析， 通过聚类得到背景 激活图， 输入评价器计算背景分类损失； 引入前 景‑背景对抗损失并使用Transformer辅助生成 器学习， 获得总损失函数； 输入测试数据集获得 定位结果。 本方法利用浅层特征信息来抑制背景 以训练目标定位网络， 将分类与定位任务解绑， 避免了分类对定位效果的限制。 权利要求书3页 说明书10页 附图5页 CN 114596471 A 2022.06.07 CN 114596471 A 1.基于浅层特征背景抑制的弱监 督目标定位方法， 其特 征在于， 包括下述 步骤： 获取图像数据集并划分为训练数据集和 测试数据集； 基于神经网络构建目标定位分类网络； 所述目标定位分类网络包括分类器、 生成器、 评 价器； 将训练数据集输入分类 器中， 生成浅层特 征图； 使用浅层特 征图对生成器进行初始化， 得到前 景激活图； 将前景激活图与浅层特征图进行点乘， 输入评价器 中进行训练， 得到分类结果， 并计算 分类结果和训练数据集原 始标签的前 景交叉熵损失； 使用PCA方法对训练数据集中的每张图进行背景主成分分析， 通过聚类得到背景激活 图， 输入评价器 计算背景分类损失； 引入前景 ‑背景对抗损失， 并使用Transformer辅助生成器学习， 获得目标定位分类网 络的总损失函数； 将测试数据集输入目标定位分类网络中获得定位结果。 2.根据权利要求1所述的基于浅层特征背景抑制的弱监督目标定位方法， 其特征在于， 所述生成浅层特 征图， 具体为： 对于训练数据集中的图片I， 分类器网络结构为F1， 对应网络参数为W1， 选取第一个卷 积块后的特 征作为浅层特 征， 得到浅层特征图f： f＝F1(I,W1) 其中， 浅层特征图f的大小为b ×c×h×w,b为一个GPU一次训练的图片数量， c为浅层 特 征的通道数目， h ×w是浅层特 征图的大小。 3.根据权利要求2所述的基于浅层特征背景抑制的弱监督目标定位方法， 其特征在于， 所述得到前 景激活图具体为： 将浅层特 征f输入生成器G中， 生成前 景激活图a： a＝G(f,Wg) 其中， 生成器网络参数为 Wg， 前景激活图a的大小为b ×1×h×w。 4.根据权利要求3所述的基于浅层特征背景抑制的弱监督目标定位方法， 其特征在于， 所述得到分类结果具体为： 所述评价器为预训练好的分类器， 用于评价激活图的效果； 所述评价器网络结构为F2， 评价器网络的特 征提取参数为 W2， 评价器网络的全连接层分类参数为 W3； 将前景激活图与浅层特 征图进行点乘， 输入评价器中进行训练， 得到分类结果： f2＝F2(a ×f,W2) 其中， a为前景激活图， f为浅层特征图， f2为评价器提取的特征， 为评价器的分类结 果， Liner()为全连接层； 所述计算分类结果和训练数据集原 始标签的前 景分类损失， 具体为： 对分类结果 和训练数据集原 始标签y计算前 景交叉熵损失： 5.根据权利要求4所述的基于浅层特征背景抑制的弱监督目标定位方法， 其特征在于，权　利　要　求　书 1/3 页 2 CN 114596471 A 2所述得到背景激活图， 具体为： 引入PCA方法对训练数据集中的每张图进行背景主成分分析， 计算每张图像特征的平 均值为x， 求得该值的协方差矩阵Cov(x)， 同时得到协方差矩阵的特征向量{ξ1, …, ξ d}， 选 择最大的特 征方向ξ 1， 得到每张特 征图中的背景区域 为： b＝ξ 1(f2 ‑x) fb＝F2(b ×f,W2) 其中， b为训练数据集中每张图的背景激活 图， fb为背景特征， 为根据背景特征获得 的分类结果； 将每张特 征图中的背景区域进行聚类得到背景激活图， 作为 新的类别； 由于前景与背景共享评价器的分类权重， 故将背景激活图输入评价器中计算背景分类 损失： 6.根据权利要求5所述的基于浅层特征背景抑制的弱监督目标定位方法， 其特征在于， 所述引入前 景‑背景对抗损失， 具体为： 为了保证背景接 近于整体背景， 引入前 景‑背景对抗损失： Larea＝‑(logMf+logMb) Mf＝{a>γ} Mb＝{a<γ} γ是一个超参数,当前景激活图a中的值大于γ时， 则表明分类器训练出的是前景区 域， Mf是前景激活图a中大于超参数γ的前景区域， Mb是前景激活图a小 于超参数γ的背景区 域。 7.根据权利要求6所述的基于浅层特征背景抑制的弱监督目标定位方法， 其特征在于， 所述使用Transformer辅助生成器学习， 具体为： 分类器生成浅层特 征图后， 得到训练数据集中各图像对应的张量(C,H,W)； 利用1x1的卷积， 对浅层 特征图的大小进行约减， 得到浅层 特征图对应的张量(d,H,W), 其中d<<C； 将浅层特征特征图对应的张量压缩为(d,HW)， 得到d个向量序列， 输入到Transformer 中； Transformer输出向量序列Q， 并通过多个CNN块， 交替使用卷积层和两倍上采样操作来 恢复到训练集中对应图像的原分辨 率， 得到一个Mask矩阵； 使用Mask矩阵监 督生成器学习， 得到分割损失： 其中， a是生成器得到的前景激活图， m是采用阈值法对Transformer生成的Mask矩阵计 算得到， 当高于阈值时， m＝1， 否则m＝0 。 8.根据权利要求7所述的基于浅层特征背景抑制的弱监督目标定位方法， 其特征在于， 所述获得目标定位分类网络的总损失函数， 具体为：权　利　要　求　书 2/3 页 3 CN 114596471 A 3