(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210820445.9 (22)申请日 2022.07.13 (71)申请人 南开大学 地址 300000 天津市南 开区卫津路94 号 (72)发明人 王恺　马志　刘蒙蒙　李涛　 (74)专利代理 机构 天津睿勤专利代理事务所 (普通合伙) 12225 专利代理师 孟福成 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01)G06V 10/80(2022.01) (54)发明名称 一种基于多模态信息的跨外观行人重识别 方法 (57)摘要 本发明提供了一种基于多模态信息的跨外 观行人重识别方法， 包括以下步骤： 预处理跨外 观行人重识别数据集； 从视觉图像中获取行人的 轮廓图像与部件语义图像； 利用网络模型提取特 征矩阵； 将三个特征矩阵拼接为融合特征矩阵； 对四个特征矩阵， 分别进行池化下采样获取特 征； 再分别使用批次归一化和全 连接层获取分类 特征； 计算损失； 损失层梯度反向传播， 更新网络 模型及其全连接层的权值参数； 重复上述步骤， 直至网络模型收敛， 或者达到最大迭代次数； 使 用融合推理特征作为行人特征表 示进行检索， 融 合推理特征由融合特征采用批次归一化获取。 本 发明有效地缓解了网络过于关注行人外观信息 的问题， 提升了跨外观行人重识别模 型的检索性 能。 权利要求书2页 说明书7页 附图4页 CN 115376159 A 2022.11.22 CN 115376159 A 1.一种基于多模态信息的跨外观行 人重识别方法， 其特 征在于： 包括以下步骤： 步骤1： 利用数据增强策略预处 理跨外观行 人重识别数据集； 步骤2： 使用预训练的轮廓识别网络和语义分割 网络分别从预处理过的图像中获取行 人的轮廓图像与部件语义图像； 步骤3： 利用非共享权重的轮廓特征提取网络模型、 视觉特征提取网络模型和语义特征 提取网络模型分别对应从轮廓图像、 视觉图像和部件语义图像提取出行人的高维轮廓特征 矩阵、 高维视 觉特征矩阵和高维语义特 征矩阵； 步骤4： 将高维轮廓特征矩阵、 高维视觉特征矩阵、 高维语义特征矩阵拼接为融合特征 矩阵； 步骤5： 对高维轮廓特征矩阵、 高维视觉特征矩阵、 高维语义特征矩阵和融合特征矩阵， 分别进行池化下采样获取高维轮廓特 征、 高维视 觉特征、 高维语义特 征和融合特 征； 步骤6： 对高维轮廓特征、 高维视觉特征、 高维语义特征和融合特征， 分别使用批次归一 化和全连接层获取高维轮廓分类特征、 高维视觉分类特征、 高维语义分类特征和融合分类 特征； 步骤7： 分别计算高维轮廓特征、 高维视觉特征、 高维语义特征和融合特征的最难三元 损失， 再分别计算高维轮廓分类特征、 高维视觉分类特征、 高维语义分类特征和融合分类特 征的身份分类损失， 然后加权求和得到总损失； 步骤8： 损 失层梯度反向传播， 更新轮廓特征提取网络模型、 视觉特征提取网络模型和 语义特征提取网络模型及其全连接层的权值 参数； 步骤9： 重复步骤2 ‑8， 直至轮廓特征提取网络模型、 视觉特征提取网络模型和语义特征 提取网络模型收敛， 或者达 到最大迭代次数， 完成模型训练； 步骤10： 查询图像和图库图像输入完成训练的模型中， 使用融合推理特征作为行人特 征表示进行检索， 融合推理特 征由融合特 征使用批次归一 化获取。 2.如权利要求1所述的基于多模态信息的跨外观行人重识别方法， 其特征在于： 步骤1 中， 数据增强策略包 含： 缩放、 随机水平翻转、 填充、 随机 裁切、 减均值除方差和随机擦除。 3.如权利要求1所述的基于多模态信息的跨外观行人重识别方法， 其特征在于： 步骤2 中， 使用预训练的轮廓识别网络和语义分割网络分别从预 处理过的行人的视觉图像中分别 提取出轮廓图像和部件语义图像， 三种不同模态的图像均使用RGB彩色图像进行表示。 4.如权利要求1所述的基于多模态信息的跨外观行人重识别方法， 其特征在于： 步骤7 中， 最难三元损失： 其中， α表示间隔参数， D表示距离度量， 表示批次中第p个人的第k张图像 的 高维特征， 1≤p≤P， 1≤k≤K， p ′为第p′个人的， k ′为第k′张图像； 身份分类损失：权　利　要　求　书 1/2 页 2 CN 115376159 A 2其中xi、 yi分别表示图像及其身份类别， p(yi|xi)表示图像xi被模型识别为身份类别yi 的概率， 1≤i≤N。 5.如权利要求4所述的基于多模态信 息的跨外观行人重识别方法， 其特征在于： 分支损 失： L＝ λ1LHardTri+λ2LID 其中， λ1和 λ2分别表示 最难三元损失和身份分类损失的权 重参数； 总损失为轮廓、 视 觉、 部件语义和融合特 征的四个分支损失的和。 6.如权利要求5所述 的基于多模态信息的跨外观行人重识别方法， 其特征在于： λ1和 λ2 均为1.0。权　利　要　求　书 2/2 页 3 CN 115376159 A 3