(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084942 9.2 (22)申请日 2022.07.19 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 杨华　姜宇扬　黄开基　尹周平　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 胡佳蕾 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多层特征自身差异融合的动态特征提 取与描述方法 (57)摘要 本发明属于图像处理领域， 并公开了一种基 于多层特征自身差异融合的动态特征提取与描 述方法。 首先， 基于特征提取模块对输入的图像 进行特征提取； 其次， 多层特征自身差异检测模 块对不同网络层的输出计算对应的特征自身差 异图， 然后将它们融合来获得具有多层信息的检 测分值图； 在训练方面， 近似关键点距离检测损 失函数使用softargmax近似回归局部区域极大 值点坐标作为关键点坐标， 使得涉及关键点坐标 的计算能够被反向传播； 最后， 提出正匹配与误 匹配比例描述损失函数指导网络学习可靠的描 述子， 进一步提升匹配性能。 如此， 本发 明能够提 高当前联合特征提取与描述方法的关键点检测 精度与匹配精度， 对光照变化、 仿射变换等干扰 都有较高鲁棒 性。 权利要求书3页 说明书8页 附图3页 CN 115331021 A 2022.11.11 CN 115331021 A 1.一种基于多层特征自身差异融合的动态特征提取与描述模型的构建方法， 其特征在 于， 包括： S1， 搭建特 征提取与描述模型； 其中， 所述特 征提取与描述模型包括： 特征提取模块， 用于对输入的图像进行 特征提取， 得到不同层级的特 征图； 多层特征自身差异检测模块， 用于根据某一层级的特征图， 计算每个像素特征维度各 特征值与平均特征值之间的差异， 以得到对应层级的特征自身差异分值图； 并将若干层级 的特征自身差异分值图进行融合， 得到关键点检测分值图； S2， 计算损失函数， 并将损失反向传播训练所述特 征提取与描述模型； 所述损失函数包括关键点检测精确度损失函数和回归精确度损失函数， 所述关键点检 测精确度损失函数表征第一关键点检测分值图和 第二关键点检测分值图划分的对应patch 分别通过soft argmax回归得到的近似可导极大值点坐标之间的平均距离， 其中， 第一关键 点检测分值图为第一图像通过特征提取与描述模型得到的关键点检测分值图， 所述第二关 键点检测分值图为根据同一场景下的第一图像和第二图像之间的真值匹配图映射的所述 第二图像的关键点检测分值图； 所述回归精确度损失函数表征关键点检测分值图划分的各 patch通过softargmax回归 得到的近似可导极大值点坐标与通过argmax 得到的不可导极大 值点坐标之间的平均距离 。 2.根据权利要求1所述的基于多层特征自身差异融合的动态特征提取与描述模型的构 建方法， 其特征在于， 所述损失函数还包括正匹配比例损失函数和误匹配比例损失函数， 所 述正匹配比例损失函数用于训练特征提取与描述模型时通过使正样本和 最难的负样本之 间的比例尽可能小以增加正确匹配的数量； 所述误匹配比例损失函数用于训练特征提取与 描述模型时通过使难以成为正确匹配的点的最近邻与次近邻距离尽可能大， 从而通过比例 匹配过滤掉所述难以成为 正确匹配的点。 3.根据权利要求2所述的基于多层特征自身差异融合的动态特征提取与描述模型的构 建方法， 其特 征在于， 令F和F′为第一图像I和第二 图像I′的描述子特征图， 选取第一关键点检测分值 图S中 最大的K个像素作为关键点， 并且在描述子特征图F中选取这些关键点的描述子集D＝{d1, d2,d3,…,dK}； 同时， 根据真值匹配图M在描述子特征图F ′中找到对应的描述子D ′＝{d′1,d ′2,d′3,…,d′K}； 计算描述子集D与D ′的欧氏距离得到大小为K ×K的距离矩阵J， 距离矩阵J 对角线上的元 素表示对应点对的描述子距离； 所述正匹配比例 损失函数表示 为： 其中， E(·)是度量两个描述子的欧氏距 离函数， cp是常数系数， 用于忽略已经被区分的 比较好的样本， dk和d′k是对应点的描述子， d ′n是D′中除了匹配对外与dk欧氏距离最小的描 述子， dn是D中除了匹配对外与d ′k欧氏距离最小的描述子； 所述误匹配比例 损失函数表示 为：权　利　要　求　书 1/3 页 2 CN 115331021 A 2其中， Q是距离矩阵J对角线上元素， Jq,min1和Jq,min2分别是难以成为正确匹配的点所在 行的最小值与次小值， cn是一个常数系数。 4.根据权利要求1所述的基于多层特征自身差异融合的动态特征提取与描述模型的构 建方法， 其特 征在于， 令S和S′为第一图像I和第二图像I ′的关键点检测分值图， 令S ′M为根据真值匹配图M映 射的第二图像I ′的检测分值图， 将关键点检测分值图S和S ′M平均分为 N个patch； 所述关键点检测精确度损失函数表示 为： 其中， xn和yn是关键点检测分值图S第n个patch通过softargm ax回归得到的近似可导极 大值点坐标， xn′和yn′是关键点检测分值图S ′M第n个patch通过softargmax回归得到的近似 可导极大值 点坐标； 所述回归精确度损失函数表示 为： 其中， 和 是关键点检测分值图S第n个patch通过argmax得到的不可导极大值点坐 标， 和 是关键点检测分值图S ′M第n个patc h通过argmax得到的不可导极大值 点坐标。 5.根据权利要求1所述的基于多层特征自身差异融合的动态特征提取与描述模型的构 建方法， 其特 征在于， 所述特 征提取模块包括级联的若干标准卷积层和动态 注意卷积层。 6.一种基于多层特 征自身差异融合的动态特 征提取与描述方法， 其特 征在于， 包括： 将待处理图像输入到采用权利要求1至5任一项所述的基于多层特征自身差异融合的 动态特征提取与描述模型的构建方法所构建的特征提取与描述模型中， 得到所述待处理图 像对应的描述子特 征图和关键点检测分值图。 7.一种图像匹配方法， 其特 征在于， 包括： 将待匹配的两张图像输入到采用权利要求1至5任一项所述的基于多层特征自身差异 融合的动态特征提取与描述模型的构建方法所构建的特征提取与描述模型中， 得到各自对 应的描述子特 征图和关键点检测分值图； 对两张关键点检测分值图进行非极大值抑制并选取相应最大的K个关键点 和 根据这些关键点在描述子特 征图中选取对应的描述子 和 对两个描述子 和 应用最近邻与次近邻比例匹配来获得匹配关系。权　利　要　求　书 2/3 页 3 CN 115331021 A 3