(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210897792.1 (22)申请日 2022.07.28 (71)申请人 深圳职业 技术学院 地址 518000 广东省深圳市南 山区西丽 街 道西丽湖镇西丽湖畔 (72)发明人 连国云　李焱超　张文宇　杨金锋　 (74)专利代理 机构 深圳市道勤知酷知识产权代 理事务所(普通 合伙) 44439 专利代理师 张文兴 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于异构网络特征交互的行人重识别方法、 装置及设备 (57)摘要 本发明公开了一种基于异构网络特征交互 的行人重识别方法、 装置及设备， 属于图像处理 技术领域， 该方法包括： 基于卷积神经网络和视 觉变压器的异构网络特征设计行人重识别初始 模型； 基于双重损失计算所述行人重识别初始模 型的损失值， 基于损失值确定所述行人重识别初 始模型收敛并停止训练， 获得行人重识别模型； 基于所述行人重识别模型对目标行人图像进行 重识别。 由此基于卷积神经网络和视觉变压器的 异构网络 特征构建行人重识别模 型， 对浅层特征 特征、 深层特征特征进行融合， 由此既能利用图 像的基础特征， 又能利用图像的全局特征， 从而 获得大量的图像特 征， 使得识别结果更加准确。 权利要求书2页 说明书10页 附图5页 CN 115393953 A 2022.11.25 CN 115393953 A 1.一种基于异构网络特 征交互的行人重识别方法， 其特 征在于， 所述方法包括： 基于卷积神经网络和视 觉变压器的异构网络特 征设计行 人重识别初始模型； 基于双重损失计算所述行人重识别初始模型的损失值， 基于损失值确定所述行人重识 别初始模型收敛并停止训练， 获得 行人重识别模型； 基于所述行 人重识别模型对目标 行人图像进行重识别。 2.根据权利要求1所述的方法， 其特征在于， 所述基于卷积神经网络和视觉变压器的异 构网络特 征设计行 人重识别初始模型的步骤 包括： 构建所述行 人重识别初始模型的卷积神经网络分支； 和 构建所述行 人重识别初始模型的视 觉变压器分支； 将所述卷积神经网络分支的浅层异质特征和所述视觉变压器分支的深层异质特征进 行融合， 获得 所述行人重识别初始模型。 3.根据权利要求2所述的方法， 其特征在于， 所述构建所述行人重识别初始模型的视觉 变压器分支包括： 将输入的行 人图像表示 为包括多个图像块的图像块序列； 将所述图像块序列进行线性映射， 获得 所述图像块的多个D维嵌入表示； 将类令牌与多个所述D维嵌入表示进行串联， 并为每个所述图像块加入位置编码和相 机编码， 生产嵌入图像块序列； 将所述嵌入图像块序列通过归一化、 多头注意力机制以及多层感知机顺序处理， 获得 所述视觉变压器分支。 4.根据权利要求2所述的方法， 其特征在于， 所述将所述卷积神经网络分支的浅层异质 特征和所述视 觉变压器分支的深层异质特 征进行融合包括： 通过1×1的卷积将卷积神经网络分支的三维浅层异质特征变换为二维， 并将卷积神经 网络分支的浅层异质特征进行全局平均池化操作保留焦点特征， 将所述焦点特征流入所述 视觉变压器分支。 5.根据权利要求4所述的方法， 其特征在于， 所述将所述卷积神经网络分支的浅层异质 特征和所述视 觉变压器分支的深层异质特 征进行融合还 包括： 通过1×1的卷积将所述视觉变压器分支的深层异质特征进行维度对齐， 获得三维的深 层异质特征， 再将三维的所述深层异质特征进行归一化处理， 并基于插值将特征分辨率对 齐后获得待交换 特征， 将所述待交换 特征流入所述卷积神经网络分支； 将所述卷积神经网络分支和所述视觉变压器分支获得的全局特征向量进行拼接， 获得 行人重识别特 征向量。 6.根据权利要求1所述的方法， 其特征在于， 所述基于双重损失计算所述行人重识别初 始模型的损失值， 基于损失值确定所述行 人重识别初始模型收敛并停止训练包括： 设置计算卷积神经网络分支损失函数的第 一分类器， 并设置计算视觉变压器分支损失 函数的第二分类 器； 基于所述第 一分类器计算的第 一损失函数、 第 二分类器获得的第 二损失函数之和确定 所述行人重识别初始模型收敛并停止训练。 7.根据权利要求1所述的方法， 其特征在于， 所述基于所述行人重识别模型对目标行人 图像进行重识别包括：权　利　要　求　书 1/2 页 2 CN 115393953 A 2基于所述行人重识别模型对目标行人图像与多个候选行人图像的特征进行相似性度 量获得识别距离矩阵； 将对应于识别距离矩阵最小的候选行 人图像中的候选行 人确定为目标 行人。 8.根据权利要求1所述的方法， 其特征在于， 在所述基于双重损失计算所述行人重识别 初始模型 的损失值， 基于损失值确定所述行人重识别初始模型收敛并停止训练， 获得行人 重识别模型之后， 还 包括： 对所述行 人重识别模型进行测试， 获得评价指标； 基于所述评价指标对所述行人重识别模型的网络结构参数进行对比实验， 确定目标网 络结构参数， 以供基于所述目标网络结构参数对所述行 人重识别模型进行优化。 9.一种基于异构网络特 征交互的行人重识别装置， 其特 征在于， 包括： 模型构建模块， 用于基于卷积神经网络和视觉变压器的异构网络特征设计行人重识别 初始模型； 计算模块， 用于基于双重损 失计算所述行人重识别初始模型的损 失值， 基于损 失值确 定所述行 人重识别初始模型收敛并停止训练， 获得 行人重识别模型； 重识别模块， 用于基于所述行 人重识别模型对目标 行人图像进行重识别。 10.一种基于异构网络特征交互的行人重识别设备， 其特征在于， 包括存储器、 处理器 以及存储在所述存储器上的基于异构网络特征 交互的行人重识别程序， 所述基于异构网络 特征交互的行人重识别程序被所述处理器运行时实现权利要求1 ‑8中任一项 所述的基于异 构网络特 征交互的行人重识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115393953 A 3