(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221087076 3.6 (22)申请日 2022.07.22 (71)申请人 苏州大学 地址 215000 江苏省苏州市吴中区石湖西 路188号 (72)发明人 邹玮　浦嘉成　王加俊　胡丹峰　 方二喜　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 陈华红子 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度特征动态融合的行人重识别方 法 (57)摘要 本发明涉及一种基于多尺度特征动态融合 的行人重识别方法， 包括构建包括主干网络和三 条分支网络的神经网络， 主干网络根据输入图像 得到行人的多尺度全局特征图， 三条分支网络根 据行人的多尺度全局特征图提取全局特征和多 维度的局部特征； 根据全局特征和多维度的局部 特征训练包括主干网络和三条分支网络的神经 网络得到训练完成的神经网络， 将待识别图像作 为输入图像输入所述训练完成的神经网络得到 行人重识别结果。 本发明可以得到丰富且具有辨 别性的特 征、 提高行 人重识别的精度。 权利要求书2页 说明书8页 附图3页 CN 115294601 A 2022.11.04 CN 115294601 A 1.一种基于多尺度特 征动态融合的行 人重识别方法， 其特 征在于， 包括以下步骤： 构建包括主干网络和三条分支网络的神经网络， 所述主干网络根据输入图像得到行人 的多尺度全局特征图， 所述三条分支网络根据所述行人的多尺度全局特征图提取全局特征 和多维度的局部特 征； 根据所述全局特征和多维度的局部特征训练所述包括主干网络和三条分支网络的神 经网络得到训练完成的神经网络； 将待识别图像作为输入图像输入所述训练完成的神经网络得到行 人重识别结果。 2.根据权利要求1所述的基于多尺度 特征动态融合的行人重识别方法， 其特征在于： 所 述主干网络包括七层， 分别为： 第一层卷积层、 第二层最大池化层、 第三层统一聚合门、 第四 层平均池化层、 第五层统一聚合门、 第六层平均池化层、 第七层统一聚合门； 输入图像经过第 一层卷积层后经下采样操作进入第 二层最大池化层， 然后经过第 三层 统一聚合门后经下采样操作进入第四层平均池化层， 接着经过第五层统一聚合门后经下采 样操作进入第六层平均池化层， 最后经过第七层的统一聚合门后得到行人的多尺度全局特 征图。 3.根据权利要求1所述的基于多尺度 特征动态融合的行人重识别方法， 其特征在于： 所 述三条分支网络分别为Par t‑1分支、 Par t‑2分支和Par t‑3分支， 所述Part‑1分支从所述行 人的多尺度全局特 征图中提取全局特 征， 所述Part ‑2分支和所述Part ‑3分支分别从所述行人的多尺度全局特征图中提取不同 维度的局部特 征。 4.根据权利要求3所述的基于多尺度 特征动态融合的行人重识别方法， 其特征在于： 所 述Part‑1分支包括带指数参数p的广义平均池化层， 所述带指数参数p的广义平均池化层从所述行人的多尺度全局特征图中提取全局特征 5.根据权利要求3所述的基于多尺度 特征动态融合的行人重识别方法， 其特征在于： 所 述Part‑2分支包括两个卷积核不相同的全局最大池化层， Part ‑2分支的一个全局最大池化 层从所述行人的多尺度全局特征图中提取局部特征 Part‑2分支的另一个全局最大池 化层从所述行 人的多尺度全局特 征图中提取n个局部特 征 所述Part ‑3分支包括两个卷积核不相同的全局最大池化层， Part ‑3分支的一个全局最 大池化层从所述行人 的多尺度全局特征图中提取局部特征 Part‑3分支的另一个全局 最大池化层从所述行 人的多尺度全局特 征图中提取m个局部特 征 所述n与m取值 不同。 6.根据权利要求5所述的基于多尺度 特征动态融合的行人重识别方法， 其特征在于： 所 述Part‑2分支的另一个全局最大池化层从所述行人的多尺度全局特征图中提取n个局部特 征 具体为： 将所述行人的多尺度全局特征图的图谱分成上下两部分得到上半身多尺度全局特征 图和下半身多尺度全局特征图， 分别对所述上半身多尺度全局特征图和下半身多尺度全局权　利　要　求　书 1/2 页 2 CN 115294601 A 2特征图进行局部特 征提取和降维， 得到2个局部特 征 和 7.根据权利要求5所述的基于多尺度 特征动态融合的行人重识别方法， 其特征在于： 所 述Part‑3分支的另一个全局最大池化层从所述行人的多尺度全局特征图中提取m个局部特 征 具体为： 将所述行人的多尺度全局特征图的图谱分成上下三部分得到头部多尺度全局特征图、 腹胸多尺度全局特征图和腿部多尺度全局特征图， 分别对所述头部多尺度全局特征图、 腹 胸多尺度全局特征图和腿部多尺度全局特征图进行局部特征提取和降维， 得到3个局部特 征 和 8.根据权利要求5所述的基于多尺度 特征动态融合的行人重识别方法， 其特征在于： 根 据所述全局特征和多维度的局部特征训练所述包括主干网络和 三条分支网络的神经网络 得到训练完成的神经网络， 具体为： 使用所述局部特征 和局部特征 构建分类学 习的损失函数L1， 使用所述全局特 征和局部特征 构建度量学习的损失函数L2； 根据所述分类学习的损失函数L1和度量学习的损 失函数L2建立所述包括主干网络和 三条分支网络的神经网络的联合训练的损失函数L ＝L1+α L2， 其中α 为加权因子； 获取训练集并使用训练集训练所述包括主干网络和三条分支网络的神经网络， 直到所 述联合训练的损失函数L收敛 结束训练， 得到所述训练完成的神经网络 。 9.根据权利要求8所述的基于多尺度 特征动态融合的行人重识别方法， 其特征在于： 所 述分类学习的损失函数L1为Softmax损失函数， 所述度量学习的损失函数L2为三元组损失 函数。 10.根据权利要求3 ‑9任一项所述的基于多尺度特征动态融合的行人重识别方法， 其特 征在于： 所述Part ‑1分支从所述行人的多尺度全局特征图中提取全局特征时， 在所述行人的多 尺度全局特 征图进入所述Par t‑1分支时会进行 下采样操作； 所述Part ‑2分支和所述Part ‑3分支分别从所述行人的多尺度全局特征图中提取不同 维度的局部特征时， 在所述行人的多尺度全局特征图进入 所述Part ‑2分支和所述Part ‑3分 支时不进行 下采样操作。权　利　要　求　书 2/2 页 3 CN 115294601 A 3