(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210785604.6 (22)申请日 2022.07.05 (71)申请人 同济大学 地址 201804 上海市嘉定区曹 安公路480 0 号同济大 学 (72)发明人 毕欣　仝盼盼　杨士超　熊璐　 翁才恩　张博　 (74)专利代理 机构 江苏长德知识产权代理有限 公司 32478 专利代理师 刘威威 (51)Int.Cl. G01S 7/40(2006.01) G01S 7/497(2006.01) G06T 7/13(2017.01) G06T 7/80(2017.01)G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01) (54)发明名称 一种智能汽车多传感器时空融合的自动在 线标定方法 (57)摘要 本发明涉及传感器融合技术领域， 具体涉及 一种智能汽车多传感器时空融合的自动在线标 定方法， 包括： 同步触发多组传感器进行采集获 得与传感器对应的多组采集数据。 通过帧间关联 的方式获得目标A的轨迹Li。 将目标A的轨迹Li进 行同一目标关联。 对目标A的轨迹Li进行匹配并 获得粗标定外参。 对多组采集数据投影后， 进行 特征提取获得对应的边缘特征。 将各种边缘特征 进行原始时间戳的对准并进行特征匹配。 计算获 得精标定外参， 通过迭代得T2。 实时判断特征匹 配误差是否 大于上述所述最优的阈值T2， 如果是 持续在线标定。 多传感器有相互重叠的视场就能 够在重叠的视场中实现自动 在线标定， 减少人工 标定的繁琐过程， 提高标定效率。 权利要求书2页 说明书7页 附图1页 CN 115144828 A 2022.10.04 CN 115144828 A 1.一种智能汽车多传感器时空融合的自动在线标定方法， 其特征在于， 所述的智能汽 车多传感器时空融合的自动在线标定方法包括： S1、 通过接收触发信号， 同步触发多组传感器进行采集获得与传感器对应的多组采集 数据； S2、 对采集数据进行投影， 并通过帧间关联的方式获得目标A在一个预先设置时间段t 的轨迹Li； S3、 通过软件时间同步的方式， 将目标A的轨 迹Li进行同一目标关联； S4、 对目标A的轨迹Li进行匹配并获得粗标定外参， 记录粗标定外参并计算粗标定误 差； S5、 对多组采集数据投影后， 进行 特征提取获得对应的边 缘特征； S6、 通过时间同步， 将各种边 缘特征进行原 始时间戳的对准并进行 特征匹配； S7、 在粗标定外参的基础上对各组传感器的边缘特征进行匹配， 并计算获得精标定外 参， 特征匹配误差迭代得到一个最优的精标定误差阈值T2， 并记录精标定 外参； S8、 实时判断特 征匹配误差是否大于上述所述 最优的阈值T2， 如果是， 则执 行S5。 2.根据权利要求1所述的一种智能汽车多传感器时空融合的自动在线标定方法， 其特 征在于， 所述传感器包括激光雷达、 相 机、 毫米波雷达中三种组合； 所述采集数据包括激光 雷达采集周围的激光点云数据、 毫米波雷达采集其探测范围的毫米波点云数据、 相 机采集 其视角范围的图像数据。 3.根据权利要求2所述的一种智能汽车多传感器时空融合的自动在线标定方法， 其特 征在于， 所述采集数据进行投影方法包括： 先对于激光雷达获得激光雷达采集周围的激光 点云数据， 然后去除地面上 的激光点云数据后， 选择一个预设高度与地面平行 的平面作为 点云投影平面， 将激光 点云数据进行 俯视图投影到该平面。 4.根据权利要求3所述的一种智能汽车多传感器时空融合的自动在线标定方法， 其特 征在于， 所述帧间关联的方式包括： 利用点云聚类算法获得当前帧Pi， 计算获得当前帧Pi的 聚类的方框计算中心， 对于前一帧Pi‑1点云也是通过同样的方式计算中心， 通过匈牙利匹配 将这两帧的中心点关联， 同时之后的多帧也是利用连续的两帧点云不断关联后， 就产生了 运动目标的跟踪轨 迹。 5.根据权利要求2所述的一种智能汽车多传感器时空融合的自动在线标定方法， 其特 征在于， 同一目标关联为： 1、 根据 观测到目标A的同一时间段t内的激光雷达目标轨迹L1、 相 机目标轨迹L2、 毫米波 雷达目标轨迹L3， 在这三条轨迹中通过插值的方式， 使 得三个传感器 采集的数据在时间上对齐， 三个传感器对目标的轨迹Li， 得到时间 ‑位置、 时间 ‑速度曲线用 于三个轨迹匹配； 2、 将得到的三个时间 ‑位置轨迹， 通过欧几里得距离计算这些轨迹， 计算 两两传感器轨迹中关键点的欧几里得距离， 以轨迹 关键点距离之和最小的为同一目标的轨 迹， 完成三个传感器对同一目标的轨 迹关联。 6.根据权利要求2所述的一种智能汽车多传感器时空融合的自动在线标定方法， 其特 征在于， 所述误差数值分数 的计算方法由两部分组成， 一部分是图像下三个传感器匹配好 的轨迹Li， 对相机图像上点轨迹L2、 激光雷达点的轨迹L 1、 毫米波雷达点的轨迹L3两两 关键 点的坐标相减的范数； 另一部分为在图像正视图上轨迹匹配好的目标A的三个传感器中心 坐标点进行轨 迹中每一帧的两 两相减的范 数； 然后将这两个范 数相加， 获得误差数值分数。权　利　要　求　书 1/2 页 2 CN 115144828 A 27.根据权利要求1所述的一种智能汽车多传感器时空融合的自动在线标定方法， 其特 征在于， 所述关联优化形式： ， 其中含义： 每个雷达点pt分别在鸟瞰图关键点特征Fh和正视图关键点特征Fv上迭代， 系 数α 为鸟瞰图关键点特征与正视图关键点特征分配不同的权重， α 为自定义值， w是滑动窗口 的大小， 通过考虑前面 w个帧来计算帧t的分数。 8.根据权利要求1所述的一种智能汽车多传感器时空融合的自动在线标定方法， 其特 征在于， 精标定 外参获得 方法为： 采用一个预先设置系列的预处理方法对RGB图像和点云数据进行特征提取， 获得灰度 图像的线特 征和点云数据的边 缘点特征； 通过特征过滤进行细化； 通过对粗标定外参添加扰动， 将点云边缘特征投影到灰度图像上， 粗标定外参通过基 于目标轨迹的自动标定方式计算激光点云数据的边缘点特征与灰度图像分别相乘求和得 到一个分数值并优化每 个扰动的得分， 最后得分最大的为优化的精标定 外参。 9.根据权利要求8所述的一种智能汽车多传感器时空融合的自动在线标定方法， 其特 征在于， 所述特征过滤进 行细化方法为： 在图像处理中， 首先将RGB图像转换成灰度； 在激光 点云数据 处理过程中， 利用距离不连续性来获取更多的边界线特征； 采用局部映射的方法 将三帧点云数据合并为 一帧。 10.根据权利要求9所述的一种智能汽车多传感器时空融合的自动在线标定方法， 其特 征在于， 所述边界线特征提取方法为： 利用正态分布变换方法计算当前帧和前两 帧之间的 变换矩阵获得点云密度图； 点云密度图转换为图像形式， 图像形式中每个像素存储对应激 光雷达点的距离信息； 通过比较当前点和邻近点之 间的距离， 通过剔除距离过远的离群点， 提取边界线特 征。权　利　要　求　书 2/2 页 3 CN 115144828 A 3