(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210895044.X (22)申请日 2022.07.28 (71)申请人 长沙海信智能系统研究院有限公司 地址 410006 湖南省长 沙市岳麓区洋湖街 道潇湘南路一段368号中盈广场C座5 层502号 (72)发明人 闾凡兵　蒋孜博　曹达　秦拯　 (74)专利代理 机构 长沙市岳麓慧专利代理事务 所(普通合伙) 43270 专利代理师 王中华 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 行人重识别方法、 装置及电子设备 (57)摘要 本发明提供一种行人重识别方法、 装置及电 子设备。 所述方法依照同一相机下红外与可见光 图像中行人内容信息不变， 将 两种模态图像进行 图像融合， 训练生成对抗网络模 型生成难以辨别 的伪融合图像， 并用伪融合图像取代原有的可见 光图像或红外图像作为输入， 伪融合图像中含有 原有的可见光图像或红外图像的信息， 在提取特 征进行相似度排序时可降低误检率， 能够降低两 种输入模态之间的差异， 在跨模态行人重识别过 程中具有更高的准确性。 权利要求书2页 说明书9页 附图9页 CN 115188028 A 2022.10.14 CN 115188028 A 1.一种行 人重识别方法， 其特 征在于， 包括如下步骤： 获取训练样本集， 所述训练样本集包括多个第 一训练图像及 分别与所述多个第 一训练 图像对应的多个第二训练图像， 所述第一训练图像的模态为可见光图像和红外图像中一 个， 所述第二训练图像的模态为可 见光图像和红外图像中另一个； 通过预设的卷积神经网络模型融合第 一训练图像及及其对应的第 二训练图像， 得到真 实融合图像； 用所述真实融合图像及第 一训练图像训练预设的生成对抗网络模型， 使得所述生成对 抗网络模型根据第一训练图像生成的伪融合图像达 到预设标准； 利用所述真实融合图像、 伪融合图像及第二训练图像组成优化后的训练样本集， 用优 化后的训练样本集训练行 人重识别网络， 得到训练后的行 人重识别网络； 获取待检测的图像集， 所述待检测的图像集包括多个第一图像及多个第二图像， 所述 第一图像的模态为可见光图像和红外图像中一个， 所述第二图像的模态为可见光图像和红 外图像中另一个； 将所述第一图像输入训练后的生成对抗网络模型， 得到该第一图像对应的伪融合图 像； 将所述伪融合图像和所述第 二图像输入训练后的行人重识别网络进行行人匹配， 得到 行人重识别结果。 2.如权利要求1所述的行人重识别方法， 其特征在于， 通过预设的卷积神经网络模型融 合各个第一训练图像及第二训练图像， 得到真实融合图像具体包括： 通过第一卷积层和第二卷积层分别提取所述第一训练图像及第二训练图像的图像特 征； 通过预设的元素级融合规则融合所述第 一训练图像及第 二训练图像的图像特征， 得到 真实融合图像特 征； 通过第三卷积层和第四卷积层从真实融合图像特 征重建图像， 得到真实融合图像。 3.如权利要求2所述的行人重识别方法， 其特征在于， 所述预设的元素级融合算法为： ； 其中， 表示第i张第一训练图像或第二训练图像通过第二卷积层提取 的第j个特征 图， 是真实融合图像特 征的第j个通道， fuse 是元素融合规则， i， j和N均为 正整数。 4.如权利要求1所述的行人重识别方法， 其特征在于， 用所述真实融合图像及第 一训练 图像训练预设的生成对抗网络模型 具体包括： 将第一训练图像转换包括可 见光图像和红外图像两张模态信息的伪融合图像； 将伪融合图像和真实融合图像转换到同一特征空间中， 以减少伪融合图像和真实融合 图像之间的特 征差异； 接收由伪融合图像或真实融合图像生成的图像 ‑特征对， 当图像 ‑特征对中的图像为真 实融合图像且特征为真实融合图像的特征， 且该图像和特征对应的ID相同时， 判别结果为 真， 否则判别结果 为假； 当判别结果的准确率达标时， 完成所述 生成对抗网络模型的训练。权　利　要　求　书 1/2 页 2 CN 115188028 A 25.如权利要求1所述的行人重识别方法， 其特征在于， 所述行人重识别网络通过计算所 述伪融合图像和所述第二图像的特征向量的余弦相似性来匹配所述伪融合图像和所述第 二图像。 6.如权利要求4所述的行人重识别方法， 其特征在于， 在所述将第 一训练图像转换包括 可见光图像和红外图像两张模态信息的伪融合图像的步骤中： 采用预设的循环一致性损 失使得所述第一训练图像和伪融合图像保持相同的结构内 容信息； 采用预设的身份损失使得 所述第一训练图像和伪融合图像保持相同的ID。 7.如权利要求4所述的行人重识别方法， 其特征在于， 在将伪融合图像和真实融合图像 转换到同一特 征空间的步骤中： 采用一基于卷积神经网络的特征生成器通过最小化分类损失和三元组损失来编码伪 融合图像与真实融合图像至同一特 征空间中。 8.一种行 人重识别装置， 其特 征在于， 包括： 第一获取单元， 用于获取训练样本集， 所述训练样本集包括多个第一训练图像及分别 与所述多个第一训练图像对应的多个第二训练图像， 所述第一训练图像的模态为可见光图 像和红外图像中一个， 所述第二训练图像的模态为可 见光图像和红外图像中另一个； 融合单元， 用于通过预设的卷积神经网络模型融合第 一训练图像及及其对应的第 二训 练图像， 得到真实融合图像； 第一训练单元， 用于用所述真实融合图像及第 一训练图像训练预设的生成对抗网络模 型， 使得所述生成对抗网络模型根据第一训练图像生成的伪融合图像达 到预设标准； 第二训练单元， 利用所述伪融合图像及第二训练图像组成优化后的训练样本集， 用优 化后的训练样本集训练行 人重识别网络， 得到训练后的行 人重识别网络； 第二获取单元， 用于获取待检测的图像集， 所述待检测的图像集包括多个第一图像及 多个第二图像， 所述第一图像的模态为可见光图像和红外图像中一个， 所述第二图像的模 态为可见光图像和红外图像中另一个； 生成单元， 用于将所述第一图像输入训练后的生成对抗网络模型， 得到该第一图像对 应的伪融合图像； 识别单元， 用于将所述伪融合图像和所述第 二图像输入训练后的行人重识别网络进行 行人匹配， 得到行 人重识别结果。 9.一种电子设备， 其特征在于， 包括： 存储器和处理器， 所述存储器存储有计算机程序， 所述计算机程序被所述处理器执行时， 使得所述处理器执行如权利要求1 ‑7中任一项所述 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115188028 A 3