(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221076916 0.7 (22)申请日 2022.06.30 (71)申请人 国家能源投资集团有限责任公司 地址 100000 北京市东城区安定门西滨河 路22号 申请人 北京低碳清洁能源研究院 　 中国矿业大 学 （北京） 　 国家能源集团新疆能源 有限责任公 司 (72)发明人 李全生　郭俊廷　李军　贺安民　 陈建强　常博　郑三龙　李鹏　 丁雅欣　杜守航　张成业　杨飞　 (74)专利代理 机构 成都华辰智合知识产权代理 有限公司 513 02 专利代理师 秦华云(51)Int.Cl. G06V 20/13(2022.01) G06V 20/10(2022.01) G06V 20/70(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/54(2022.01) G06V 10/58(2022.01) G06V 10/764(2022.01) G06V 10/771(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种多源数据融合的矿区精细用地分类方 法 (57)摘要 本发明公开了一种多源数据融合的矿区精 细用地分类方法， 首先获取多源 数据进行预处理 并多尺度分割得到影像对象， 并对影像对象裁剪 高分影像块用于深度特征提取； 然后， 多分支卷 积神经网络模型自动提取特征列向量和深度语 义特征； 利用多源特征深度融合模块进行特征融 合并利用特征重要性权重计算模块计算多源数 据深度特征重要性权重， 实现有效信息的自适应 融合； 最后通过随机森 林分类器利用深度融合特 征进行矿区地物精细分类， 得到矿区用地精细分 类结果。 本发 明提供一种多源数据融合的矿区精 细用地分类方法， 实现了矿区精细用地分类， 为 矿区用地监测、 管理和矿区生态环 境保护提供基 础数据支持， 对于矿区用地监测管理与生态环境 保护具有重要意 义。 权利要求书3页 说明书10页 附图6页 CN 115170979 A 2022.10.11 CN 115170979 A 1.一种多源数据融合的矿区精细用地分类方法， 其特 征在于： 其方法如下： A、 采集多源数据进行融合处理得到高分影像数据， 多源数据包括多光谱遥感影像、 SAR 影像和高分辨率遥感影像， 对高分影像数据集中的高分影像数据分割得到影像对 象， 计算 各个影像对象的多光谱影像光谱特征、 SAR影像纹理特征， 并对各个影像对象构建高分影像 数据集； B、 搭建多分支卷积神经网络模型， 多分支卷积神经网络模型对高分影像数据集进行深 度特征提取及深度特 征融合处 理； B1、 多分支卷积神经网络模型包括两个1D ‑Net特征提取网络， 两个1D ‑Net特征提取网 络分别对应提取得到光谱特征、 纹理特征两个特征列向量， 1D ‑Net特征提取网络依次包括 第一卷积层、 第一最大池化层、 第二卷积层、 第二最大池化层和全连接层， 第一卷积层含有 四个尺寸为3、 步长为 1的卷积核， 激活函数为 ReLU， 经过第一卷积层 会生成数量与卷积核个 数相同的特征图， 第一最大池化层对第一卷积层的特征图进行下采样； 第二卷积层含有八 个尺寸为3、 步长为 1的卷积核， 激活函数为ReLU， 经过第二卷积层 会生成数量与卷积核个数 相同的特征图， 第二最大池化层对第二卷积层的特征图进行下采样； 全连接层对特征进行 重新提取并输出由特 征列向量得到的深度语义特 征； 多分支卷积神经网络模型还包括空洞卷积Dilated ‑ResNet50， 空洞卷积Dilated ‑ ResNet50包括Conv Block模块和Identity  Block模块， 空洞卷积Dilated ‑ResNet50对影像 对象进行深度特 征提取； B2、 多分支卷积神经网络模型还包括多源特征深度融合模块， 多源特征深度融合模块 对步骤B1得到的深度语义特 征及深度特 征进行特征融合处 理， 融合后得到融合深度特 征； C、 制作矿区各用地类型的样本数据集， 样本数据集与高分影像数据集相对应， 通过样 本数据集对多分支卷积神经网络模型进行模型训练； D、 将高分影像数据集输入训练后的多分支卷积神经网络模型中得到每个影像对象的 融合深度特 征， 然后输入到随机森林分类 器中进行矿区用地类型分类。 2.按照权利要求1所述的一种 多源数据融合的矿区精细用地分类方法， 其特征在于： 步 骤A包括如下 方法： A1、 多源数据 中的多光谱遥感影像选择含云量最小的一景Sentinel ‑2L1C级多光谱遥 感影像或/和高分数据影像； 多源 数据中的SAR影像数据选择相关联或相邻日期Sentinel ‑1 的干涉宽幅模式双极化 地距影像； A2、 通过SNAP软件对高分影像数据中的多光谱遥感影像进行大气校正， 剔除60米分辨 率波段数据、 保留10米和20米的波段数据， 并对5、 6、 7、 8b、 11、 12波 段进行重采样， 得到涵盖 包括可见光、 红边、 近红外、 短波红外在内空间分辨率为10米的多光谱波段集； 通过SNAP软 件对高分影像数据中的SAR影像数据进行轨道校正、 辐射定标、 红外热噪声去除、 地形校正、 滤波、 重投影和裁剪的预处理， 并对其进行重采样， 使空间分辨率达到10米， 再进行几何校 正； A3、 从高分影像数据中的多光谱遥感影像提取10个光谱波段和 12个光谱特征； 从高分 影像数据中的SAR影像计算得到两个后向散射系数， 再选择5 ×5的滤波器窗口， 利用灰度共 生矩阵方法分别基于 0°,45°,90°， 135°这四种角度进行计算 提取32个纹 理特征； A4、 采用ESP工具自动获得最佳分割尺度并利用多尺度分割算法对高分影像数据进行权　利　要　求　书 1/3 页 2 CN 115170979 A 2面向对象分割得到分割结果。 3.按照权利要求1或2所述的一种多源数据融合的矿区精细用地分类方法， 其特征在 于： 步骤C中多分支卷积神经网络模型的模型训练方法如下： C1、 样本数据集中的样本数据为采集的矿区遥感影像数据， 对样本数据集的样本数据 进行分类标注， 标注的分类类别包括露天采场、 排土场、 煤堆、 矿山建筑、 乔木、 灌木、 高/中/ 低覆盖度草地、 草灌乔混交、 水体、 道路和裸地； 然后按照6： 2： 2的比例将每个类别的样 本数 据随机分为训练集、 验证集和 测试集； C2、 利用训练集对多分支卷积神经网络模型进行迭代训练， 利用验证集检验每次迭代 训练后的模型精度， 训练过程中采用交叉熵损失函数， 交叉熵损失函数的表达式如下： 其中y表示真实类别， 表示模型 预测类别， S为影 像对象数量， L 为模型损失值； C3、 设置多分支卷积神经网络模型的迭代训练次数， 并利用梯度下降算法降低模型损 失值， 同时优化并更新模型的参数； C4、 将影像对象的融合深度特征输入到随机森林分类器， 利用训练集训练随机森林分 类器， 通过随机森林分类 器进行矿区用地类型分类。 4.按照权利要求2所述的一种 多源数据融合的矿区精细用地分类方法， 其特征在于： 步 骤A4还包括如下方法： 对分割结果创建每一个分割对象的最小外包矩形来生成高分影像 块， 该高分影 像块作为影 像对象构建高分影 像数据集。 5.按照权利要求2所述的一种 多源数据融合的矿区精细用地分类方法， 其特征在于： 在 步骤B1中， 空洞卷积Dilated ‑ResNet50的Conv  Block模块、 Identity  Block模块均包括主 干与残差边两个部分， Conv  Block模块的主干部分包括卷积处理、 标准化处理， Conv  Block 模块采用激活函数ReLU， 卷积处理包括使用尺寸为1 ×1的卷积核对特征图像进行 降维处 理、 利用dilation  rate＝2的3 ×3空洞卷积核做卷积处理； Conv  Block模块的残差边部分 包括1×1的卷积处 理和标准 化处理。 6.按照权利要求2所述的一种 多源数据融合的矿区精细用地分类方法， 其特征在于： 在 步骤B2中， 多分支卷积神经网络模型的多源特征深度融合模块还包括特征重要性权重计算 模块， 通过特征重要性权重计算模块 获得每一 维的特征权重， 方法如下： 对步骤B1得到的深 度语义特征及深度特征进 行重排列， 然后利用全局平均池化对重排列的深度语义特征及深 度特征分别以三个特征列向量为单位进行均值化， 再通过两个全连接层计算得到多源数据 特征重要性的三个权 重值； 将权重值和多分支卷积神经网络模型提取的深度语义特征及深度特征的特征列向量 求乘积， 并利用co ncat方法将赋权后的特 征列向量进行融合。 7.按照权利要求6所述的一种 多源数据融合的矿区精细用地分类方法， 其特征在于： 在 步骤B2中还 包括如下 方法： 多源特征深度融合模块还包括特征冗余剔除模块， 特征冗余剔除模块对融合深度 特征 剔除不相关或冗余的特 征。 8.按照权利要求3所述的一种 多源数据融合的矿区精细用地分类方法， 其特征在于： 还权　利　要　求　书 2/3 页 3 CN 115170979 A 3