(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211008215.9 (22)申请日 2022.08.22 (71)申请人 山东大学 地址 264209 山 东省威海市文化西路180号 (72)发明人 宋勇　徐振东　庞豹　许庆阳　 袁宪锋　李贻斌　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06T 17/05(2011.01) G06T 17/00(2006.01) G06T 7/73(2017.01) G06V 10/10(2022.01) G06V 10/30(2022.01)G06V 10/40(2022.01) G01C 21/00(2006.01) (54)发明名称 基于深度学习的室内动态场景的视觉SLAM 方法及系统 (57)摘要 本公开提供了一种基于深度学习的室内动 态场景的视觉SLAM 方法及系统， 其属于视觉SLA M 技术领域， 所述方案包括： 实时获取室内动态场 景下的图像信息； 基于GCNv2算法对所述图像信 息进行特征提取； 基于提取的特征， 利用动态点 去除算法去除所述图像信息中的动态特征点； 基 于图像信息中剩余的静态特征点， 获得图像信息 中的静态关键帧， 并基于获得的静态关键帧进行 点云地图构建， 生成基于静态关键帧的稠密点 云； 获取静态关键帧位姿， 并根据静态关键帧在 三维空间中的位置对所述稠密点云进行拼接和 滤波， 获得静态场景点云地图。 权利要求书2页 说明书11页 附图6页 CN 115393538 A 2022.11.25 CN 115393538 A 1.一种基于深度学习的室内动态场景的视 觉SLAM方法， 其特 征在于， 包括： 实时获取室内动态场景 下的图像信息； 基于GCNv2算法对所述图像信息进行 特征提取； 基于提取的特 征， 利用动态点去除算法去除所述图像信息中的动态特 征点； 基于图像信息中剩余的静态特征点， 获得图像信息中的静态关键帧， 并基于获得的静 态关键帧进行点云地图构建， 生成基于静态关键帧的稠密点云； 获取静态关键帧位姿， 并根据静态关键帧在三维空间中的位置对所述稠密点云进行拼 接和滤波， 获得静态场景点云地图。 2.如权利要求1所述的一种基于深度学习的室内动态场景的视觉SLAM方法， 其特征在 于， 所述利用动态点去除算法去除所述图像信息中的动态特征点， 具体为： 利用Yolo ‑ Fastest目标检测算法去除动态环 境中先验动态物体上的特征点， 利用Far neback光流法去 除目标检测模型中未定义的动态 物体上的特 征点。 3.如权利要求1所述的一种基于深度学习的室内动态场景的视觉SLAM方法， 其特征在 于， 所述根据静态关键帧在三维空间中的位置对所述稠密点云进行拼接和滤波， 获得静态 场景点云地图， 具体为： 通过回环检测线程得到关键帧位姿， 然后根据静态关键帧在三 维空 间中的位置对稠密点云建图模块中生成的稠密点云进 行拼接和滤波， 获得稠密点云场景地 图。 4.如权利要求3所述的一种基于深度学习的室内动态场景的视觉SLAM方法， 其特征在 于， 对于获得的稠密点云场景地图， 利用机器人操作系统的octomap_server建图功能包在 线实时生成可以用于移动机器人导 航的八叉树 地图和二维栅格地图。 5.如权利要求3所述的一种基于深度学习的室内动态场景的视觉SLAM方法， 其特征在 于， 所述回环检测线程， 被配置为： 对于筛选后的关键帧检测回环； 计算Sim3； 回环融合； 位 姿图优化； 全局BA(Bundle  Adjustment)优化， 获得关键帧位姿。 6.如权利要求1所述的一种基于深度学习的室内动态场景的视觉SLAM方法， 其特征在 于， 所述图像信息包括RGB图像信息和深度图像信息 。 7.一种基于深度学习的室内动态场景的视 觉SLAM系统， 其特 征在于， 包括： 数据获取 单元， 其用于实时获取室内动态场景 下的图像信息； 特征提取单元， 其用于基于GCNv2算法对所述图像信息进行 特征提取； 动态特征点去 除单元， 其用于基于提取的特征， 利用动态点去 除算法去 除所述图像信 息中的动态特 征点； 稠密点云生成单元， 其用于基于 图像信息中剩余的静态特征点， 获得图像信息中的静 态关键帧， 并基于获得的静态关键帧进行点云地图构建， 生成基于静态关键帧的稠密点云； 静态场景点云地图构建单元， 其用于获取静态关键帧位姿， 并根据静态关键帧在三维 空间中的位置对所述稠密点云进行拼接和滤波， 获得静态场景点云地图。 8.如权利要求7所述的一种基于深度学习的室内动态场景的视觉SLAM系统， 其特征在 于， 所述利用动态点去除算法去除所述图像信息中的动态特征点， 具体为： 利用Yolo ‑ Fastest目标检测算法去除动态环 境中先验动态物体上的特征点， 利用Far neback光流法去 除目标检测模型中未定义的动态 物体上的特 征点。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上运行的计算机程序， 其特征在权　利　要　求　书 1/2 页 2 CN 115393538 A 2于， 所述处理器执行所述程序时实现如权利要求1 ‑6任一项所述的一种基于深度学习的室 内动态场景的视 觉SLAM方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被 处理器执行时实现如权利要求 1‑6任一项所述的一种基于深度学习的室内动态场景的视觉 SLAM方法。权　利　要　求　书 2/2 页 3 CN 115393538 A 3