(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210387579.6 (22)申请日 2022.04.13 (71)申请人 中冶赛迪信息技 术 （重庆） 有限公司 地址 401329 重庆市九龙坡区白市驿镇农 科大道66号2幢5-6号 (72)发明人 刘娟　杨东海　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 唐勇 (51)Int.Cl. G06V 20/10(2022.01) G06T 3/00(2006.01) G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/30(2017.01) G06T 7/80(2017.01) (54)发明名称 基于三维点云及图像数据的车辆自适应识 别方法、 系统 (57)摘要 本发明提供一种基于三维点云及 图像数据 的车辆自适应识别方法、 系统， 包括： 获取待识别 车辆停靠在目标区域的三维点云数据和图像数 据； 对三维点云数据进行预处理， 获取有效车辆 点云数据； 从图像数据中获取车辆分割线区域， 并将有效车辆点云数据投影成像映射至图像数 据中， 获取分割线区域点云； 将分割线区域点云 投影至地面， 并按照投影后的最长直线段进行分 割， 获取有效车身点云和有效车头点云； 基于有 效车身点云和有效车头点云对待识别车辆进行 识别， 获取待识别车辆的车身信息和车头信息。 本发明通过将三维点云数据和图像数据进行交 叉结合来识别待识别车辆的车身信息和车头信 息， 解决了现有技术在识别车型时普适性较低的 问题。 权利要求书3页 说明书15页 附图3页 CN 114898207 A 2022.08.12 CN 114898207 A 1.一种基于三维点云及图像数据的车辆自适应识别方法， 其特征在于， 所述方法包括 以下步骤： 获取待识别车辆停靠在目标区域的三维点云数据和图像数据； 对所述三维点云数据进行 预处理， 获取有效车辆点云数据； 从所述图像数据中获取车辆分割 线区域， 并将所述有 效车辆点云数据投影成像映射至 所述图像数据中， 获取位于所述车辆分割线区域内的点云作为分割线区域 点云； 将所述分割 线区域点云投影至地面， 并按照投影后的最长直线段对所述有 效车辆点云 数据进行分割， 获取有效车身点云和有效车头点云； 基于所述有 效车身点云和有效车头点云对所述待识别车辆进行识别， 获取所述待识别 车辆的车身信息和车头信息 。 2.根据权利要求1所述的基于三维点云及图像数据的车辆自适应识别方法， 其特征在 于， 所述方法还 包括： 获取所述待识别车辆在所述目标区域的停靠角度， 并将所述有效车身点云按照所述停 靠角度的数值大小 进行顺时针旋转； 从顺时针旋转后的有效车身点云中切割出车身侧板所在点云， 并将剩余点云按照所述 停靠角度的数值大小 进行逆时针旋转后作为有效载货区域 点云； 从所述图像数据中获取有 效物料区域， 并将所述有 效载货区域点云投影成像映射至所 述图像数据中， 获取位于所述有效物料区域内的点云， 作为所述待识别车辆的有效车载物 料点云； 基于所述有 效车载物料点云对所述待识别车辆进行识别， 获取所述待识别车辆的车载 物料信息 。 3.根据权利要求2所述的基于三维点云及图像数据的车辆自适应识别方法， 其特征在 于， 将所述有效载货区域 点云投影成像映射至所述图像数据后， 所述方法还 包括： 获取位于所述有效物料区域外的其 他点云， 记为所述待识别车辆的车厢底板点云； 基于所述车厢底板点云对所述待识别车辆进行识别， 获取所述待识别车辆的车厢底板 信息。 4.根据权利要求1所述的基于三维点云及图像数据的车辆自适应识别方法， 其特征在 于， 对所述 三维点云数据进行 预处理， 获取有效车辆点云数据的过程包括： 根据预设车位区域阈值对所述 三维点云数据进行直 通滤波， 滤除非停车位区域 点云； 对直通滤波后的三维点云数据进行聚类分割， 提取 车辆簇点云； 根据预设车箱高度阈值对所述车辆簇点云进行Z轴直通滤波， 滤除低于所述预设车厢 高度阈值的点云数据， 并将剩余点云数据作为有效车辆点云数据； 其中， 所述Z轴垂直所述 目标区域所在平面。 5.根据权利要求1所述的基于三维点云及图像数据的车辆自适应识别方法， 其特征在 于， 获取待识别车辆停靠在目标区域的三维点云数据和图像数据的过程包括： 将预设标志 物放置所述目标区域； 利用三维激光扫描仪采集包含所述预设标志物的场景点云， 以及利用图像拍摄设备拍 摄包含所述预设标志 物的图像数据； 根据所述场景点云标定计算所述 三维激光扫描仪的标定参数；权　利　要　求　书 1/3 页 2 CN 114898207 A 2根据预设算法和包含所述预设标志物的图像数据对所述图像拍摄设备进行标定， 获取 图像拍摄设备的畸变系数和内参矩阵； 根据包含所述预设标志物的图像数据和点云数据同时对所述三维激光扫描仪、 图像拍 摄设备进行配准， 获取 所述图像拍摄设备的外参矩阵； 在所述待识别车辆停靠所述目标区域后， 利用三维激光扫描仪进行扫描， 获取当前时 刻的三维点云数据， 并根据所述标定参数对当前时刻的三维点云数据进行标定校准， 获取 待识别车辆停靠在目标区域的三维点云数据； 以及， 在所述待识别车辆停靠所述目标区域后， 利用图像拍摄设备进行拍摄， 获取当前时刻 的图像数据， 并根据所述图像拍摄设备 的畸变系 数、 内参矩阵和外参矩阵对当前时刻的图 像数据进行 标定校准， 获取待识别车辆停靠在目标区域的图像数据。 6.根据权利要求1所述的基于三维点云及图像数据的车辆自适应识别方法， 其特征在 于， 从所述图像数据中获取 车辆分割线区域的过程包括： 获取多个车辆图像数据， 所述车辆图像数据至少包括所述待识别车辆在多种状态下的 图像数据， 所述多种状态包括： 颜色、 形状、 体积、 在目标区域的停靠角度、 载货量； 对所述多个车辆图像数据进行车身和车头标注， 并将标注后的车辆图像数据输入至神 经网络中进行训练， 获取 车辆分割线提取模型； 将待识别车辆停靠在目标区域的图像数据输入至所述车辆分割 线提取模型中， 获取待 识别车辆的车辆分割线区域。 7.根据权利要求2所述的基于三维点云及图像数据的车辆自适应识别方法， 其特征在 于， 从所述图像数据中获取有效物料区域的过程包括： 获取多个车辆 图像数据， 所述车辆 图像数据至少包括所述待识别车辆在满载、 空载和 半载状态下的图像数据； 对所述多个车辆图像数据进行物料状态标注， 并将标注后的车辆图像数据输入至神经 网络中进行训练， 获取有效物料提取模型； 将待识别车辆停靠在目标区域的图像数据输入至所述有效物料提取模型中， 获取待识 别车辆的有效物料区域。 8.一种基于三维点云及图像数据的车辆自适应识别系统， 其特征在于， 所述系统包括 有： 数据采集模块， 用于获取待识别车辆停靠在目标区域的三维点云数据和图像数据； 预处理模块， 用于对所述 三维点云数据进行 预处理， 获取有效车辆点云数据； 车辆分割模块， 用于从所述图像数据中获取车辆分割线区域， 并将所述有效车辆点云 数据投影成像映射至所述图像数据中， 获取位于所述车辆 分割线区域内的点云作为分割线 区域点云； 以及将所述分割线区域点云投影至地面， 并按照投影后的最长直线段对所述有 效车辆点云数据进行分割， 获取有效车身点云和有效车头点云； 自适应识别模块， 用于根据 所述有效车身点云和有 效车头点云对所述待识别车辆进行 识别， 获取 所述待识别车辆的车身信息和车头信息 。 9.根据权利要求8所述的基于三维点云及图像数据的车辆自适应识别系统， 其特征在 于， 自适应识别模块还用于根据所述有效车载物料点云对所述待识别车辆进行识别， 获取 所述待识别车辆的车 载物料信息；权　利　要　求　书 2/3 页 3 CN 114898207 A 3