(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210954886.8 (22)申请日 2022.08.10 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 康来　刘星宇　张亚坤　张辉泽　 魏迎梅　蒋杰　谢毓湘　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 曾志鹏 (51)Int.Cl. G06T 17/00(2006.01) G06T 17/05(2011.01) G06V 20/40(2022.01) G06V 10/82(2022.01)G06V 10/75(2022.01) G01C 11/04(2006.01) (54)发明名称 基于视频数据的空间定位方法及相关 设备 (57)摘要 本申请提供一种基于视频数据的空间定位 方法及相关设备； 该方法包括： 从视频数据中选 取多个关键帧， 确定其中的特征点， 采用增量式 SfM算法对地面对象进行三维重建， 并确定三维 重建后的各个特征点的特征点信息； 选取三个特 征点， 并分别在第一坐标系和第二坐标系中确各 自的第一坐标和第二坐标， 基于第一坐标和第二 坐标确定旋转矩阵， 并确定三个特征点的第一质 心和第二质心， 利用第一质心和第二质心确定平 移向量和缩放比例； 利用旋转矩阵、 平移向量和 缩放比例确定转换公式， 利用转换 公式将三个特 征点之外的其他特征点在第一坐标系中的第一 坐标转换为预设的第二坐标系中的第二坐标， 根 据第二坐标对其他特征点在第二坐标系中进行 定位。 权利要求书3页 说明书15页 附图2页 CN 115330941 A 2022.11.11 CN 115330941 A 1.一种基于 视频数据的空间定位方法， 其特 征在于， 包括： 从视频数据中选取关于预设地面对象的多个关键帧， 确定每个所述关键帧中对应的多 个特征点， 基于全部所述关键帧， 采用增量式SfM算法对所述地面对象进行三维重建， 并确 定三维重建后的各个特 征点的特 征点信息， 并在每 个所述关键帧中标定对应的特 征点； 选取任意三个特征点， 在预设的第一坐标系中确定所述三个特征点各自的第一坐标， 在预设的第二坐标系中确定所述三个特征点各自的第二坐标， 基于所述三个特征点的所述 第一坐标和所述第二坐标确定旋转矩阵， 并确定所述三个特征点在所述第一坐标系中各自 的第一质心和在所述第二坐标系中各自的第二质心， 利用所述第一质心和所述第二质心确 定平移向量和缩放比例； 利用所述旋转矩阵、 所述平移向量和所述缩放比例确定转换公式， 利用所述转换公式 将所述三个特征点之外的其他特征点在所述第一坐标系中的第一坐标转换为预设的第二 坐标系中的第二坐标， 根据所述第二坐标对所述其他特征点在所述第二坐标系中进行定 位。 2.根据权利要求1所述的方法， 其特征在于， 所述从视频数据中选取关于预设地面对象 的多个关键帧， 包括： 从所述视频 数据中， 手动选取固定个数的关键帧； 所述从视频 数据中选取关于预设地 面对象的多个关键帧， 还 包括： 通过设置固定的采样间隔时间， 按照所述采样间隔时间自动截取多个关键帧。 3.根据权利要求1所述的方法， 其特征在于， 所述确定每个所述关键帧中对应的多个特 征点， 包括： 对于每个所述关键帧， 利用预训练的神经网络进行特征提取和特征匹配， 得到关于该 关键帧的多个特 征点。 4.根据权利要求3所述的方法， 其特征在于， 所述确定三维重建后的各个特征点的特征 点信息， 并在每 个所述关键帧中标定对应的特 征点， 包括： 在三维重建后， 通过对 全部所述特 征点进行检测， 确定 重建成功的特 征点； 对每个所述重建成功的特 征点， 通过检测获取 该特征点的特 征点信息； 所述特征点信息包括， 拍摄所述视频 数据的相机的相机信息、 图像信息和3D点信息； 为该特征点设置 3D点编号； 将每个所述重建成功的特征点对应的所述3D点编号存储为向量形式， 并按照所述3D点 编号将各个所述3D点信息存 储为矩阵形式。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述三个特征点的所述第 一坐标 和所述第二 坐标确定 旋转矩阵， 包括： 根据如下所示的公式， 利用所述三个特征点的所述第 一坐标确定所述第 一坐标系的三 个坐标轴， 利用所述 三个特征点的所述第一 坐标确定所述第一 坐标系的三个坐标： 权　利　要　求　书 1/3 页 2 CN 115330941 A 2其中， rl,1、 rl,2和rl,3分别表示所述三个特征点在所述第一坐标系中各自的第一坐标， rr,1、 rr,2和rr,3分别表示所述三个特征点在所述第二坐 标系中各自的第二坐 标， 和 分别表示所述第一坐标系的三个坐标轴， 和 分别表示所述第二坐标系的三个坐 标轴； 根据所述第 一坐标系的三个坐标轴和所述第 二坐标系的三个坐标轴， 采用如下所示的 公式， 确定所述旋转矩阵： R＝MrMlT 其中， R表示所述旋转矩阵， 6.根据权利要求1所述的方法， 其特征在于， 所述利用所述第 一质心和所述第 二质心确 定平移向量和缩放比例， 包括： 对于每个所述特征点， 将该特征点在所述第 一坐标系 进行旋转和缩放的第 一质心与 该 特征点的所述第二质心之 间的差值作为构成平移向量的一个元素， 并将所述差值表达为如 下所示的公式： ei＝r′r,i‑sR(r′l,i) 其中， r′r,i表示所述第二质心的坐标， r ′l,i表示所述第一质心的坐标， s表示所述缩放 比例， ei表示所述差值； 根据如下 所示的公式， 确定所述缩放比例： 7.根据权利要求6所述的方法， 其特 征在于， 所述缩放比例的确定， 还 包括： 响应于所述第 一坐标系和所述第 二坐标系具备不同精度， 利用如下所示的公式确定所 述差值： 并利用如下 所示的公式确定所述缩放比例： 8.一种基于视频数据的空间定位装置， 包括： 三维重建模块、 转换参量确定模块和转换 模块； 其中， 所述三维重建模块， 被配置为， 从视频数据中选取关于预设地面对象的多个关键 帧， 确定每个所述关键帧中对应的多个特征点， 基于全部所述关键帧， 采用增量式SfM算法 对所述地面对 象进行三维重建， 并确定三维重建后的各个特征点的特征点信息， 并在每个权　利　要　求　书 2/3 页 3 CN 115330941 A 3