(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210750687.5 (22)申请日 2022.06.29 (71)申请人 星逻人工智能技 术 （上海） 有限公司 地址 200120 上海市浦东 新区自由贸易试 验区临港新片区海洋一路333号1号 楼、 2号楼 (72)发明人 肖素枝　郑炜　胡金磊　钱茂冬　 王海滨　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/10(2022.01) G06V 20/54(2022.01)G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于无人机的河道船只检测方法、 装置、 设 备及存储介质 (57)摘要 本发明公开了一种基于无人机的河道船只 检测方法， 包括以下步骤： 获取河道图像并逐帧 进行解析以获取解析结果； 对所述解析结果进行 河道语义分割以进行背景分离， 并根据所述河道 语义分割输出的点集在图中标注河道区域的轮 廓； 对所述解析结果进行船只目标检测以确定船 只的位置坐标、 方框大小以及倾斜角度； 将背景 分离和船只目标检测的检测结果进行信息融合， 判断是否存在违规停靠的船只并输出判断结果。 能够利用无人机的视觉感知数据， 借助图像语义 分割算法， 逐帧、 实时地识别图中河道区域来判 断船只是否按照规定停泊。 权利要求书2页 说明书6页 附图3页 CN 115240086 A 2022.10.25 CN 115240086 A 1.一种基于无 人机的河道船只检测方法， 其特 征在于， 包括以下步骤： 获取河道图像并逐帧进行解析以获取解析 结果； 对所述解析结果进行河道语义分割以进行背景分离， 并根据所述河道语义分割输出的 点集在图中标注河道区域的轮廓； 对所述解析结果进行 船只目标检测以确定船只的位置坐标、 方框大小以及倾 斜角度； 将背景分离和船只目标检测的检测结果进行信 息融合， 判断是否存在违规停靠的船只 并输出判断结果。 2.根据权利要求1所述的基于无人机的河道船只检测方法， 其特征在于， 所述对所述解 析结果进行河道语义分割以进行背景分离包括： 通过双边分割网络BiSeNetV2的细节分支对所述解析结果进行实时检测以获取低级特 征响应； 通过双边分割网络BiSeNetV2的语义分支对所述解析结果进行实时检测以获取高级特 征响应； 利用所述高级特征响应指导所述低级特征响应， 在不同的尺度引导下捕 获不同的尺度 特征表示。 3.根据权利要求2所述的基于无人机的河道船只检测方法， 其特征在于， 所述根据 所述 河道语义分割输出的点 集在图中标注河道区域的轮廓： 获取所述尺度特征表示， 通过opencv的findContours函数对其进行运算以获取河道边 缘坐标； 其中， 所述 opencv的fi ndContours函数的i nt型的mode定义 为CV_RETR_EXTERNAL。 4.根据权利要求1所述的基于无人机的河道船只检测方法， 其特征在于， 所述对所述解 析结果进行 船只目标检测以确定船只的位置坐标、 方框大小包括： 获取经过解析的视频流， 通过Mosaic数据增强、 自适应锚框计算、 自适应图片缩放生成 相应的自适应锚框； 采用Focus结构对图片进行切片操作， 从高分辨率图像 中， 周期性的抽出像素点重构到 低分辨率图像中； 采用CSP结构将基础层的特征映射划分为两部分， 然后通过跨阶段层次结构将它们合 并； 通过上述方式训练获取的YOLOv5模型， 能够对船只进行目标检测， 确定船只的位置坐 标、 方框大小。 5.根据权利要求1所述的基于无人机的河道船只检测方法， 其特征在于， 所述对所述解 析结果进行 船只目标检测以确定船只的倾 斜角度包括： 使用最长边表示法来表示目标方框， 包扩x_c， y_c， longside， short side， 以及θ； 其中， x_c与y_c表示旋转矩形框的中心坐标， longside表示最长的边； shortside是与longside对 应的另一条边； θ表示 最长边到x轴逆时针旋转的夹角， 逆时针方向角度为负， θ∈[ ‑180,0)； 将θ 由回归问题转为分类问题， 在YOLOv5原本的框架中， 修改数据加载、 预测部分、 损失 函数部分的代码， 从而实现旋转目标的检测以及确定船只的倾 斜角度。 6.根据权利要求1所述的基于无人机的河道船只检测方法， 其特征在于， 所述将背景分 离和船只目标检测的检测结果进 行信息融合， 判断是否存在违规停靠的船只并输出判断结 果包括：权　利　要　求　书 1/2 页 2 CN 115240086 A 2获取船只的位置坐标、 方框大小以及倾 斜角度信息； 扩大船只的长宽为原本的两倍， 遍历河道边缘坐标判断河道边缘与扩大后的船只长宽 是否存在交集； 如果存在交集则通过de ep‑sort记录此船只， 并赋予其对象ID； 对出现目标船只之后的每一帧进行检测， 得到目标的边界框， 通过目标的外观特征和 运动特征计算代价矩阵， 从而根据所述代价矩阵进行目标 的匹配， 通过此方式完成对目标 船只的跟踪； 在符合预设条件的情况 下， 输出该船只处在河道边 缘的结果。 7.一种基于无 人机的河道船只检测装置， 其特 征在于， 包括： 图像获取模块， 用于获取河道图像并逐帧进行解析以获取解析 结果； 河道检测模块， 用于对所述解析结果进行河道语义分割以进行背景分离， 并根据所述 河道语义分割输出的点 集在图中标注河道区域的轮廓； 船只检测模块， 用于对所述解析结果进行船只目标检测以确定船只的位置坐标、 方框 大小以及倾 斜角度； 判断模块， 用于将背景分离和船只目标检测的检测结果进行信息融合， 判断是否存在 违规停靠的船只并输出判断结果。 8.一种电子设备， 其特 征在于， 包括： 存储器， 所述存 储器用于存 储处理程序； 处理器， 所述处理器执行所述处理程序时实现如权利要求1至6 中任意一项所述的基于 无人机的河道船只检测方法。 9.一种可读存储介质， 其特征在于， 所述可读存储介质上存储有处理程序， 所述处理程 序被处理器执行时实现如权利要求1至6中任意一项所述的基于无人机的河道船只检测方 法。权　利　要　求　书 2/2 页 3 CN 115240086 A 3