(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210161385.4 (22)申请日 2022.02.22 (71)申请人 山东融瓴科技 集团有限公司 地址 250000 山东省济南市历下区中国自 由贸易试验区济南片区舜泰北路933 号博晶大厦1409室 (72)发明人 高文飞　王瑞雪　王辉　王磊　 郭丽丽　 (74)专利代理 机构 济南龙瑞知识产权代理有限 公司 37272 专利代理师 李颖 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/194(2017.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于风格不变性的空气污染源分割方法 (57)摘要 本发明属于计算机视觉、 人工智能技术领 域， 涉及一种图像分割技术， 尤其涉及一种基于 风格不变性的空气污染源分割方法。 步骤包括， 数据集准备， 图像预训练， 获取目标区， 分离目标 区域内容和风格， 风格特征变换， 特征叠加预测， 计算分割损失和一致性损失。 本发 明通过分离特 征图的高频特征和低频特征， 并对高平特征施加 变换， 增加风格的复杂性， 从而使模型学习风格 不变性， 增强对复杂风格的泛化 性。 权利要求书1页 说明书4页 附图1页 CN 114549554 A 2022.05.27 CN 114549554 A 1.基于风格不变性的空气污染源分割方法,其特 征在于， 步骤如下： S1： 数据集 准备 搜集已有的空气污染源数据集图像， 标注出分割区域的语义掩码， 并进行等比例缩放， 然后进行旋转、 平 移、 随机裁剪操作， 得到备用图像集； S2： 图像预训练 使用deeplabv3+作为基线模型， 以备用图像集作为输入， 以像素级交叉熵作为损失函 数， 将备用图像集输入到网络中进行初步的训练， 使网络具备初步的判断能力， 得到预测网 络； S3： 获取目标区 将待处理图像输入预测网络中， 获取对待处理图像的密集预测图以及中间特征图f， 根 据密集预测图中 高概率的像素获取中间特 征图f前景目标区域图； S4： 分离目标区域内容和风格 对前景目标区域图施加平均池化操作后进行最邻 近上采样， 得到目标区域的低频特征 图， 前景目标区域图减去低频 特征图得到高频 特征图； S5： 风格特 征变换 对高频特征图进行 聚类， 使用k ‑means对每个位置所有通道组成的向量进行聚类， 得到 语义掩码中类别数量的簇， 对每个簇的元素求均值和方差； 每个簇从参数为该簇均值和方 差的高斯分布中随机采样， 得到新的高频 特征图a； S6： 特征叠加预测 步骤S5中高频特征图a与 步骤S4中的低频特征图进行像素级相加得到新的特征图b； 将 新的特征图b和原中间特征图f输入到预测网络中， 得到原中间特征图f和新的特征图b的概 率map； S7： 计算分割损失和一 致性损失 使用交叉熵分别对原特征图f和转换后特征图b得到的概率map与语义掩码计算像素级 损失， 并计算转换后的特征图b的概率map与原特征图f概率map的KL散度， 以缩小变换后特 征图与原特 征图的差异。 2.根据权利要求1所述基于风格不变性的空气污染源分割方法,其特征在于， 所述步骤 S5中k‑means公式如下： 其中， d为距离， u1为第一个点横坐标位置， u2为第二个点的横坐标位置， v1为第一个像 素的纵坐标位置， v2为第二个像素的纵坐标位置， 为在坐标 （u1,v1） 空间位置处点的各 个通道组成的特 征向量， 为在坐标 （u2,v2） 空间位置处点的各个通道组成的特 征向量。权　利　要　求　书 1/1 页 2 CN 114549554 A 2基于风格不变性的空 气污染源分割方 法 技术领域 [0001]本发明属于计算机视觉、 人工智能技术领域， 涉及一种图像分割技术， 尤其涉及一 种基于风格不变性的空气污染源分割方法。 背景技术 [0002]随着深度学习技术的出现， 国内外的学者纷纷采用深度学习来解决各行各业的难 题， 尤其在图像分类， 分割等领域展现出巨大的价值。 其中图像 分割在各领域有着广泛的应 用， 分割算法将前景目标与背 景区域分割出来， 在环境资源监测， 自然灾害评估中扮演者不 可缺少的角色。 [0003]虽然图像分割领域的研究逐年深入， 出现了各式各样性能优异的分割模型， 其泛 化性仍旧是不可忽视的短板。 通常训练的较为出色的模型， 面对真实场景时往往表现出明 显的性能下降。 尽管增大数据的多样性能有效缓解该问题， 但是获取场景丰富的数据需要 高昂的代价。 况且在特定任务的图像标注需要较高的专业知识和耐心， 例如空气 污染源， 需 要专家根据图像进行判断污染源从而进行标注， 而且空气污染源所处环境多变， 会随着昼 夜， 季节， 光照等的变化而 呈现出不同的风格， 对标注 者同样有着极大的考验。 因此， 通常在 特定数据集下训练的出的模型， 对其 他风格的图像泛化 性较差。 [0004]随着近些年的对机器视觉的研究深入， 出现了如迁移 学习， 领域自适应， 领域泛化 等方法可以提高模型对真实场景下的图像的泛化能力， 这种真实场景下的图像域被称为目 标域。 而风格迁移 等任务的出现， 让图像可以被分解为风格信息和内容信息， 消除风格差异 的影响可以有效提高模型的鲁棒性和泛化性， 因此针对风格不变性 实现对未知目标域的泛 化是目前的一个 研究热点。 发明内容 [0005]本发明针对传统特定数据集下训练的出的模型， 对其他风格的图像泛化性较差的 问题提出一种新型的基于风格不变性的空气污染源分割方法， 提高了对风格多样化的图像 的泛化能力。 [0006]为了达到上述目的， 本发明是采用下述的技 术方案实现的： [0007]一种基于风格不变性的空气污染源分割方法， 步骤如下： [0008](1)数据集准备： 将现有图像数据， 等比例缩放到512*512尺寸， 不足5像素长度不 足512的地方填充0 。 施加旋转， 平 移， 随机裁剪等增强方式到图像和其对应的语义掩码。 [0009](2)图像预训练： 使用deeplabv3 +作为基线模型， 将污染源图像输入到网络中进行 少量的训练， 使网络具 备初步的判断能力。 [0010](3)获取目标区： 图像输入网络中， 得到对该图像的密集预测图。 然后依据密集预 测中高概率的像素获取中间特 征图中前 景目标区域。 [0011](4)分离目标区域内容和风格： 对获取的目标区域施加平均 池化操作， 然后对其使 用最邻近上采样， 得到目标区域的低频特征(内容信息)fL， 原始的目标区域特征图f减去低说　明　书 1/4 页 3 CN 114549554 A 3