(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210854459.2 (22)申请日 2022.07.20 (65)同一申请的已公布的文献号 申请公布号 CN 114926726 A (43)申请公布日 2022.08.19 (73)专利权人 陕西欧卡电子智能科技有限公司 地址 710000 陕西省西安市高新区高新 二 路14号i创途众创公园A-A10 6室 (72)发明人 程宇威　朱健楠　许浒　池雨豪　 虞梦苓　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 周永敬 (51)Int.Cl. G06V 20/00(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G01S 13/86(2006.01) G01S 17/86(2020.01) G01S 19/45(2010.01) G01S 19/47(2010.01) G01C 21/16(2006.01) (56)对比文件 CN 114627363 A,2022.06.14 CN 111178253 A,2020.0 5.19 Yuwei Cheng et al. .Are We Ready for Unmanned Surface Vehicles i n Inland Waterways? The USVI nland Multisensor Dataset and Benc hmark. 《IE EE Robotics and Automati on Letters》 .2021,第6卷(第2期), 王海 等.基 于激光雷达与毫米波雷达融合 的车辆目标检测算法. 《江苏 大学学报(自然科 学 版)》 .2021,第42卷(第4期), 审查员 苏晓燕 (54)发明名称 基于多任务网络的无人船感知方法及相关 设备 (57)摘要 本发明提供了一种基于多任务网络的无人 船感知方法及相关设备， 方法包括， 使用无人船 的传感器采集不同条件下的水域场景原始数据； 将水域场景原始数据转化为多任务感知网络训 练数据； 根据多任务感知网络训练数据对多任务 感知网络进行训练， 得到训练好的多任务感知网 络模型； 无人船实时运行训练好的多任务感知模 型， 得到初步 感知结果， 包含目标检测、 水域岸边 分界线分割、 摄像头脏污识别、 船只运动预测、 水 面垃圾识别、 深度估计； 对多任务感知模型的感 知结果进行融合， 得到融合感知结果。 本发明的 有益效果在于： 相对于多个单任务网络相比， 多 任务网络节约了计算资源又提高了感知 的鲁棒性， 大大提高了无人船感知环境的准确率和效 率。 权利要求书3页 说明书11页 附图5页 CN 114926726 B 2022.10.28 CN 114926726 B 1.一种基于多任务网络的无 人船感知方法， 其特 征在于： 包括 步骤， S10、 使用无 人船的传感器采集 不同条件下的水域场景原 始数据； S20、 将水域场景原 始数据转 化为多任务感知网络训练数据； S30、 根据多任务感知网络训练数据对多任务感知网络进行训练， 得到训练好的多任务 感知网络模型； S40、 无人船实时运行训练好的多任务感知模型， 得到初步感知 结果， 包含目标检测、 水 域岸边分界线分割 、 摄像头脏污识别、 船只运动预测、 水面垃圾识别、 深度估计； S50、 对多任务感知模型的感知结果进行融合， 得到融合感知结果； 步骤S20具体包括， S21、 从水域场景原始数据中获取无人船采集的图像数据， 进行数据标注， 数据标注包 括但不限于目标检测标注、 水域岸边分界线分割 标注、 摄像头脏污标注、 船只标注、 水面垃 圾标注； 标注完的数据得到目标检测标签数据集、 水域岸边分 界线分割标签数据集、 摄像头 脏污标签数据集、 水面垃圾标签数据集； S22、 对水域场景原始数据中的图像数据、 激光雷达点云位置数据、 毫米波雷达点云位 置数据、 GP S位置数据、 IMU数据进行 数据时间同步； S23、 将同步后的激光雷达点云位置数据、 毫米波雷达点云位置数据投影到图像上， 对 投影位置进行高斯核卷积后得到深度估计标签结果； S24、 匹配激光雷达点云位置数据、 毫米波雷达点云位置数据和船只标注结果， 匹配成 功得到船只点云数据， 融入船只的GP S位置数据， 作为船只运动预测标签结果； S25、 将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预 测标签结果分别集 合， 得到深度估计标签数据集及船只运动预测标签数据集。 2.如权利要求1所述的基于多任务网络的无人船感知方法， 其特征在于： 步骤S10具体 包括， S11、 对无人船搭载的摄像头进行标定得到摄像头内参， 将摄像头与激光雷达进行联合 标定得到摄 像头外参； S12、 以无人船的上电时刻位置为原点， 以无人船前朝向为y  轴正方向， 无人船右朝向 为x 轴正方向建立无 人船坐标系； S13、 在不同水域场景下， 无人船采集传感器原始数据； 传感器原始数据包括， 图像数 据、 激光雷达点云位置数据、 毫米波雷达点云位置数据、 GP S位置数据、 IMU数据； S14、 在相同水域场景下， 无人船在不同天气， 不同光线条件， 不同季节下采集传感器原 始数据； S15、 将多艘无 人船的传感器原 始数据汇聚后得到用于网络训练的水域场景原 始数据。 3.如权利要求2所述的基于多任务网络的无人船感知方法， 其特征在于： 所述步骤S30 具体包括， S31、 获取同一时刻的若干张图像数据和对应的标签数据输入到多任务感知网络模型； S32、 通过多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像 特征； S33、 将全局图像特征放入多任务感知网络模型的子任务分支网络， 得到子任务感知结 果；权　利　要　求　书 1/3 页 2 CN 114926726 B 2S34、 对子任务感知结果进行模型损失计算得到 子任务的模型损失值； S35、 将每个子任务的模型损失值相加， 得到模型损失值， 将模型损失值进行模型反向 传播， 更新子任务网络 权重和主干特 征提取网络 权重， 保存该次多任务感知模型权 重； S36、 将新的多任务感知模型权重迭代进行下一 次模型的训练， 在多任务感知网络训练 数据依次获取新 一时刻的训练数据； S37、 在多任务感知网络训练数据依次对每一组数据进行训练， 当模型损失值小于预定 阈值时， 终止训练， 得到训练好的多任务感知模型权 重。 4.如权利要求3所述的基于多任务网络的无人船感知方法， 其特征在于： 步骤S40具体 包括， S41、 将无人船采集的同一时刻的若干张图像数据、 GPS位置数据作为训练好的多任务 感知模型的数据输入； S42、 通过训练好的多任务感知网络模型的主干特征提取网络进行图像特征提取得到 全局图像特 征； S43、 将全局图像特征放入训练好的多任务感知网络模型的子任务分支网络， 得到子任 务感知结果。 5.如权利要求1所述的基于多任务网络的无人船感知方法， 其特征在于： 步骤S50具体 包括， S51、 判断摄像头脏污的置信度是否大于预设的置信度阈值,  如果摄像头脏污的置信 度大于置信度阈值， 则脏 污感知结果 为摄像头脏污， 屏蔽该时刻其 他感知结果； S52、 若摄像头处于非脏污状态， 则将图像水域岸边分界线分割结果、 目标检测结果、 垃 圾估计结果、 深度估计结果、 船只预测结果输入至数据融合模块进 行数据融合， 得到融合感 知结果。 6.如权利要求3所述的基于多任务网络的无人船感知方法， 其特征在于： 步骤S32中， 主 干特征提取网络采用共享模型权重， 主干特征提取网络包含四组到八组的特征提取子网 络。 7.一种基于多任务网络的无 人船感知装置， 其特 征在于： 包括， 数据采集模块， 用于使用无 人船的传感器采集 不同条件下的水域场景原 始数据； 数据转换模块， 用于将水域场景原 始数据转 化为多任务感知网络训练数据； 网络训练模块， 用于根据多任务感知网络训练数据对多任务感知网络进行训练， 得到 训练好的多任务感知网络模型； 无人船感知模块， 用于无人船实时运行训练好的多任务感知模型， 得到初步感知结果， 包含目标检测、 水域岸边分 界线分割、 摄像头脏污识别、 船只运动预测、 水面垃圾识别、 深度 估计； 感知结果融合模块， 用于对多任务感知模型的感知结果进行融合， 得到融合感知结果； 数据转换模块具体包括， 数据标注单元， 用于从水域场景原始数据中获取无人船采集的图像数据， 进行数据标 注， 数据标注包括但不限于目标检测标注、 水域岸边分界线分割 标注、 摄像头脏污标注、 船 只标注、 水面垃圾标注； 标注完的数据得到目标检测标签数据集、 水域岸边分 界线分割标签 数据集、 摄 像头脏污标签数据集、 水面垃圾标签数据集；权　利　要　求　书 2/3 页 3 CN 114926726 B 3