(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210762702.8 (22)申请日 2022.06.30 (71)申请人 小米汽车 科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十街15号院5号楼6层618 室 (72)发明人 周天宝　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 张丽 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G01C 21/26(2006.01) G01S 13/86(2006.01) G01S 17/86(2020.01) (54)发明名称 模型训练方法、 物体识别方法、 装置、 车辆及 存储介质 (57)摘要 本公开涉及自动驾驶领域， 涉及一种模型训 练方法、 物体识别方法、 装置、 车辆及存储介质， 所述方法包括： 获取相机对第一对象采集得到的 第一图像以及雷达对第一对象采集得到的第一 点云数据； 通过雷达特征提取网络提取第一点云 数据的特征， 得到第一特征； 通过相机特征提取 网络提取第一图像的特征， 得到第二特征； 将第 一特征转换至鸟瞰图表征空间， 得到对应于第一 点云数据的第一鸟瞰图特征； 将第二特征转换至 鸟瞰图表征空间， 得到对应于第一图像的第二鸟 瞰图特征； 根据第一鸟 瞰图特征、 第二鸟瞰图特 征对雷达特征提取网络和相机特征提取网络进 行训练。 这样能够利用相机和雷达采集的无标签 数据进行模 型训练， 从而减少了模 型训练过程对 标注样本的依赖 。 权利要求书3页 说明书17页 附图6页 CN 114973178 A 2022.08.30 CN 114973178 A 1.一种模型训练方法， 其特 征在于， 包括： 获取相机对第一对象采集得到的第一图像以及雷达对所述第一对象采集得到的第一 点云数据； 通过雷达特征提取网络提取 所述第一 点云数据的特 征， 得到第一特 征； 通过相机特 征提取网络提取 所述第一图像的特 征， 得到第二特 征； 将所述第一特征转换至鸟瞰图表征空间， 得到对应于所述第 一点云数据的第 一鸟瞰图 特征； 将所述第二特征转换至所述鸟瞰图表征空间， 得到对应于所述第 一图像的第 二鸟瞰图 特征； 根据所述第 一鸟瞰图特征、 所述第 二鸟瞰图特征对所述雷达特征提取网络和所述相机 特征提取网络进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第一鸟瞰图特征、 所述第二 鸟瞰图特 征对所述雷达特 征提取网络和所述相机特 征提取网络进行训练， 包括： 根据所述第一鸟瞰图特 征以及所述第二鸟瞰图特 征计算目标损失值； 根据所述目标损失值对所述雷达特 征提取网络和所述相机特 征提取网络进行训练。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一鸟瞰图特征以及所述第 二鸟瞰图特 征计算目标损失值， 包括： 根据所述第一鸟瞰图特 征以及所述第二鸟瞰图特 征计算中心核损失值； 计算所述第一鸟瞰图特 征以及所述第二鸟瞰图特 征之间的对比学习损失值； 其中， 所述目标损失值包括所述中心核损失值以及所述对比学习损失值。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述第 一鸟瞰图特征以及所述第 二鸟瞰图特 征计算目标损失值， 包括： 通过如下计算式计算目标损失值 loss： 其中， loss1为中心核损失值， L为所述第一鸟瞰图特征的核函数， K为所述第二鸟瞰图特 征的核函数， HSIC为希尔伯特 ‑施密特独立性指标， loss2为对比学习损失值， CE为交叉熵损 失函数， Le为第一鸟瞰图特 征， Ie为第二鸟瞰图特 征， R=0,1,2,⋯,n； n为模型训练的批量大小值， t为超参数， α 为权 重系数。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 所述通过雷达特征提取网络 提取所述第一 点云数据的特 征， 得到第一特 征， 包括： 基于所述第一 点云数据生成雷达图像； 通过雷达特征提取网络提取 所述雷达图像的特 征， 得到所述第一特 征。 6.根据权利要求1至4中任一项所述的方法， 其特征在于， 所述将所述第二特征转换至权　利　要　求　书 1/3 页 2 CN 114973178 A 2所述鸟瞰图表征空间， 得到对应于所述第一图像的第二鸟瞰图特 征， 包括： 通过特征转换网络将所述第 二特征转换至所述鸟瞰图表征空间， 得到对应于所述第 一 图像的第二鸟瞰图特 征； 所述根据 所述第一鸟瞰图特征、 所述第 二鸟瞰图特征对所述雷达特征提取网络和所述 相机特征提取网络进行训练， 包括： 根据所述第一鸟瞰图特征、 所述第二鸟瞰图特征对所述雷达特征提取网络、 所述相机 特征提取网络以及所述特 征转换网络进行训练。 7.一种物体识别方法， 其特 征在于， 包括： 获取相机对第二对象采集得到的第二图像以及雷达对所述第二对象采集得到的第二 点云数据； 通过雷达特征提取网络提取 所述第二 点云数据的特 征， 得到第三特 征； 通过相机特 征提取网络提取 所述第二图像的特 征， 得到第四特 征； 将所述第三特 征和所述第四特 征输入至识别网络， 得到所述第二对象的识别结果； 其中， 所述雷达特征提取网络以及所述相机特征提取网络通过权利要求1至6 中任一项 所述的模型训练方法训练得到 。 8.一种模型训练装置， 其特 征在于， 包括： 第一获取模块， 被配置为获取相机对第 一对象采集得到的第 一图像以及雷达对所述第 一对象采集得到的第一 点云数据； 第一特征提取模块， 被配置为通过雷达特征提取网络提取所述第一点云数据的特征， 得到第一特 征； 第二特征提取模块， 被配置为通过相机特征提取网络提取所述第一图像的特征， 得到 第二特征； 第一特征转换模块， 被配置为将所述第一特征转换至鸟瞰图表征空间， 得到对应于所 述第一点云数据的第一鸟瞰图特 征； 第二特征转换模块， 被配置为将所述第二特征转换至所述鸟瞰图表征空间， 得到对应 于所述第一图像的第二鸟瞰图特 征； 训练模块， 被配置为根据所述第一鸟瞰图特征、 所述第二鸟瞰图特征对所述雷达特征 提取网络和所述相机特 征提取网络进行训练。 9.一种模型训练装置， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处 理器被配置为执 行权利要求1至 6中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 该程序指令 被处理器执行时实现权利要求1至 6中任一项所述方法的步骤。 11.一种物体识别装置， 其特 征在于， 包括： 第二获取模块， 被配置为获取相机对第 二对象采集得到的第 二图像以及雷达对所述第 二对象采集得到的第二 点云数据； 第三特征提取模块， 被配置为通过雷达特征提取网络提取所述第二点云数据的特征， 得到第三特 征；权　利　要　求　书 2/3 页 3 CN 114973178 A 3