(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210776160.X (22)申请日 2022.07.04 (65)同一申请的已公布的文献号 申请公布号 CN 114842206 A (43)申请公布日 2022.08.02 (73)专利权人 江西师范大学 地址 330096 江西省南昌市紫阳 大道99号 (72)发明人 胡蕾　李云洪　翁梦倩　凌杰　 (74)专利代理 机构 南昌丰择知识产权代理事务 所(普通合伙) 36137 专利代理师 吴称生 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/70(2022.01) G06V 20/13(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 刘婉莹 (54)发明名称 基于双层全局卷积的遥感图像语义分割系 统及方法 (57)摘要 本发明属于图像处理技术领域， 涉及基于双 层全局卷积的遥感图像语义分割系统及方法， 该 模型包括特征提取网络、 用于处理不同层特征的 上层分支和下层分支、 特征融合网络； 特征提取 网络输出的高层特征和低层特征分别经过上层 分支和下层分支增强后， 然后进行特征融合； 上 层分支包括补丁注意力模块 Ⅰ、 全局卷积模块 Ⅰ； 下层分支包括补丁注意力模块 Ⅱ、 全局卷积模块 Ⅱ、 注意力嵌入模块、 全局卷积模块 Ⅲ。 本发明采 用注意力嵌入模块将局部注意力从高层特征嵌 入到低层特征中， 能使低层特征中嵌入上下文信 息； 采用全局卷积模块以组合卷积的形式扩大感 受野， 提升大尺寸 地物目标的分割性能。 权利要求书1页 说明书5页 附图2页 CN 114842206 B 2022.09.30 CN 114842206 B 1.基于双层全局卷积的遥感图像语义分割系统， 其特征是： 包括特征提取网络、 用于处 理不同层特征 的两个并行分支、 特征融合网络； 特征提取网络输出 的高层特征和低层特征 分别经过两个并行分支增强后， 增强后的高层特征和 低层特征经特征融合网络进 行特征融 合后输出最终特 征图； 两个并行分支是指用于处理高层特征的上层 分支和用于处理低层特征的下层分支； 所 述上层分支包括补丁注 意力模块 Ⅰ、 全局卷积模块 Ⅰ； 在上层分支中， 高层特征通过补丁注 意 力模块Ⅰ进行特征增强， 补丁注意力模块 Ⅰ后连接全局卷积模块 Ⅰ； 所述下层 分支包括补丁注意力模块 Ⅱ、 全局卷积模块 Ⅱ、 注意力嵌入模块、 全局卷积模 块Ⅲ； 在下层分支中， 低层特征首先通过补丁注 意力模块 Ⅱ进行特征增强， 然后通过注意力 嵌入模块从高层嵌入语义信息； 补丁注意力模块 Ⅱ后连接全局卷积模块 Ⅱ； 注意力嵌入模 块后连接全局卷积模块 Ⅲ； 补丁注意力模块 Ⅰ、 补丁注意力模块 Ⅱ和注意力嵌入模块后分别连接的全局卷积模块 Ⅰ、 全局卷积模块 Ⅱ、 全局卷积模块 Ⅲ都采用GC M+模块； GCM+模块设有三个卷积分支； 输入特征图经过三个卷积分支， 每个 卷积分支都有两层卷 积； 第一个卷积分支的首层卷积是采用k ×1大小的卷积核进行卷积的， 第一个卷积分支的 次层卷积是采用1 ×k大小的卷积核进 行卷积的； 第二个卷积分支的首层卷积和次层卷积都 是采用1×1大小的卷积核进 行卷积的； 第三个卷积分支的首层卷积是采用1 ×k大小的卷积 核进行卷积的； 第三个卷积分支的次层卷积是采用k ×1大小的卷积核 进行卷积的。 2.根据权利要求1所述的基于双层全局卷积的遥感图像语义分割系统， 其特征是： 所述 特征提取网络采用ResNet5 0并引入漏斗 激活函数 FReLU。 3.根据权利要求1所述的基于双层全局卷积的遥感图像语义分割系统， 其特征是： 将经 过第一个卷积分支和 第二个卷积分支的特征图进 行加和操作， 相加后的结果再与经过第三 个卷积分支得到的特 征图进行加 和操作， 加 和操作后的输出为GC M+模块特征图。 4.一种基于双 层全局卷积的遥感图像 语义分割方法， 其特 征是， 步骤如下： S1： 选择进行语义分割的高分辨率遥感图像数据集， 对选定的高分辨率遥感图像数据 集进行预处理操作， 制作训练集、 验证集、 测试集； S2： 构建权利要求1 ‑3任意一项所述的基于双 层全局卷积的遥感图像 语义分割 系统； S3： 使用训练集训练基于双层全局卷积的遥感图像语义分割系统， 并使用验证集进行 验证， 使用测试集进行测试； S4： 利用训练好的基于双层全局卷积的遥感图像语义分割系统进行遥感图像语义分 割。权　利　要　求　书 1/1 页 2 CN 114842206 B 2基于双层全局卷积的遥感图像语 义分割系统及方 法 技术领域 [0001]本发明属于图像处理技术领域， 具体涉及 一种基于双层全局卷积的遥感图像语义 分割系统及方法。 背景技术 [0002]遥感图像已成为获取地表信息的主要数据来源， 遥感图像语义分割广泛应用于土 地监测、 道路检测、 环境监控等领域。 随着卫星遥感技术的不断发展， 遥感图像的分辨率有 很大的提高， 高分辨率遥感图像中细小目标得到呈现， 地物目标 的尺寸差异大成为遥感 图 像语义分割的新挑战。 遥感图像中不同类别的地物可能共享相似的光谱特征， 因此需要使 用卷积神经网络来提升 分割效果。 虽然经典的语义分割网络不断地在获取更丰富的空间上 下文信息中探索， 但是由于遥感图像背 景复杂、 类间尺寸差异大等特点， 难以提取地物之间 丰富的空间上下文信息， 从而导致分割边界比较粗糙、 细 小目标容易被漏分、 大目标难以完 整地被分割 出来。 引入注意力机制， 获取全局特征和产生空间依赖关系 可以更好地提取遥 感图像上 下文信息、 细化分割边界。 发明内容 [0003]本发明针对已有的技术的不足之处， 对局部注意力网络模型进行改进， 提出了一 种基于双 层全局卷积的遥感图像 语义分割 系统及方法。 [0004]本发明通过下述技术方案来实现。 基于双层全局卷积的遥感图像语义分割系统， 包括特征提取网络、 用于处理不同层特征的两个并行分支、 特征融合网络； 特征提取网络输 出的高层特征和 低层特征分别经过两个并行分支增强后， 增强后的高层特征和 低层特征经 特征融合网络进行 特征融合后输出最终特 征图； [0005]两个并行分支是指用于处理高层特征的上层分支和用于处理低层特征的下层分 支； 所述上层分支包括补丁注意力模块 Ⅰ、 全局卷积模块 Ⅰ； 在上层分支中， 高层特征通过补 丁注意力模块 Ⅰ进行特征增强， 补丁注意力模块 Ⅰ后连接全局卷积模块 Ⅰ； [0006]所述下层分支包括补丁注意力模块 Ⅱ、 全局卷积模块 Ⅱ、 注意力嵌入模块、 全局卷 积模块Ⅲ； 在下层分支中， 低层特征首先通过补丁注意力模块 Ⅱ进行特征增强， 然后通过注 意力嵌入模块从高层嵌入语义信息； 补丁注意力模块 Ⅱ后连接全局卷积模块 Ⅱ； 注意力嵌 入模块后连接全局卷积模块 Ⅲ。 [0007]进一步优选， 所述特征提取 网络采用ResNet50并引入漏斗激活函数FReLU， 用于提 升细小地物目标的分割效果。 [0008]进一步优选， 补丁注意力模块 Ⅰ、 补丁注意力模块 Ⅱ和注意力嵌入模块后分别连接 的全局卷积模块 Ⅰ、 全局卷积模块 Ⅱ、 全局卷积模块 Ⅲ都采用GC M+模块。 [0009]进一步优选， GCM+模块设有三个卷积分支； 输入特征图经过三个卷积分支， 每个卷 积分支都有两层卷积。 [0010]进一步优选， 第一个卷积分支的首层卷积是采用k ×1大小的卷积核进行卷积的，说　明　书 1/5 页 3 CN 114842206 B 3