(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210993110.7 (22)申请日 2022.08.18 (71)申请人 咪咕动漫有限公司 地址 361000 福建省厦门市集美区集美大 道1133号 申请人 咪咕文化科技有限公司 　 中国移动通信集团有限公司 (72)发明人 胡良军　罗德海　苏宗涛　王乐　 廖智勇　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 杨长河 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01)G06T 3/00(2006.01) G06V 10/762(2022.01) (54)发明名称 三维场景建模方法、 装置、 电子设备及可读 存储介质 (57)摘要 本申请公开了一种三维场景建模方法、 装 置、 电子设备及可读存储介质， 所述三维场景建 模方法包括： 获取目标三维场景的全局三维地图 以及至少一张二维场景图； 根据全局三维地图对 各二维场景图进行重定位， 确定各二维场景图中 二维特征点与全局三维地图中三维地图点之间 的位置映射 关系； 将各二维场景图转换为图像嵌 入向量， 依据各图像嵌入向量对 各二维场景图进 行聚类， 构建各二维场景图共同对应的目标图像 检索树； 依据目标图像检索树和位置映射关系， 将全局三维地图划分为各局部三维地图； 根据目 标图像检索树和各局部三维地图， 定位目标三维 场景下的二维场景图， 以对目标三维场景进行三 维场景建模。 本申请解决了利用三维场景建模实 时性差的技 术问题。 权利要求书3页 说明书15页 附图3页 CN 115393508 A 2022.11.25 CN 115393508 A 1.一种三维场景建模方法， 其特 征在于， 所述 三维场景建模方法包括： 获取目标三维场景的全局三维地图以及至少一张二维场景图； 根据所述全局三维地图对各所述二维场景图进行重定位， 确定各所述二维场景图中二 维特征点与所述全局三维地图中三维地图点之间的位置映射关系； 将各所述二维场景图转换为对应的图像嵌入向量， 依据 各所述图像嵌入向量对各所述 二维场景图进行聚类， 构建各 所述二维场景图共同对应的目标图像 检索树； 依据所述目标图像检索树和所述位置映射关系， 将所述全局三维地图划分为各局部三 维地图； 根据所述目标图像检索树和各所述局部三维地图， 定位所述目标三维场景下的二维场 景图， 以对所述目标三维场景进行三维场景建模。 2.如权利要求1所述三维场景建模方法， 其特征在于， 所述目标图像检索树至少包括根 节点， 所述根节点对应各所述二维场景图， 所述依据各所述图像嵌入向量对各所述二维场 景图进行聚类， 构建各 所述二维场景图共同对应的目标图像 检索树的步骤 包括： 依据各所述图像嵌入向量， 对所述根节点对应的所有二维场景图进行聚类， 得到至少 一个第一图像聚类 类别； 根据各所述第一图像聚类类别， 分裂所述根节点， 得到至少一个子节点， 其中， 所述子 节点与所述第一图像聚类 类别相对应； 依据所述子节点对应的各图像嵌入向量， 对所述子节点对应的所有二维场景图进行聚 类， 得到至少一个第二图像聚类 类别； 根据各所述第二图像聚类 类别， 判断所述子节点是否满足预设节点分裂条件； 若所述子节点满足预设节点分裂条件， 则继续分裂所述子节点， 直至分裂得到的子节 点不满足预设节点分裂条件， 得到所述目标图像 检索树。 3.如权利要求2所述三维场景建模方法， 其特征在于， 所述依据各所述图像嵌入向量， 对所述根节点对应的所有二 维场景图进行聚类， 得到至少一个第一图像聚类类别的步骤包 括： 依据各所述二维场景图的采集 时序信息， 将各所述二维场景图划分为至少一个图像分 类类别； 依据各所述图像嵌入向量， 计算所述图像分类 类别对应的图像 类别中心； 根据各所述图像嵌入向量与 所述图像类别中心之间的距离， 对各所述二维场景图进行 聚类， 得到 至少一个图像聚类 类别。 4.如权利要求2所述三维场景建模方法， 其特征在于， 所述根据 各所述第 二图像聚类类 别， 判断所述子节点是否满足预设节点分裂条件的步骤 包括： 获取所述第 二图像聚类类别对应的聚类类别中心， 计算所述图像聚类类别对应的各图 像嵌入向量至所述聚类 类别中心的类内距离； 若所述子节点对应的二维场景图数量大于预设图像数量阈值或者对应的最大类内距 离大于预设类内距离阈值， 则判定所述子节点满足预设节点分裂条件； 若所述子节点对应的二维场景图数量不大于预设图像数量阈值且对应的最大类内距 离不大于预设类内距离阈值， 则判定所述子节点 不满足预设节点分裂条件。 5.如权利要求1所述三维场景建模方法， 其特征在于， 在所述将各所述二维场景图转换权　利　要　求　书 1/3 页 2 CN 115393508 A 2为对应的图像嵌入向量， 依据各所述图像嵌入向量对各所述二维场景图进行聚类， 构建各 所述二维场景图共同对应的目标图像 检索树的步骤之后， 所述 三维场景建模方法还 包括： 获取新增二维场景图对应的新增图像嵌入向量， 将所述图像检索树的根节点作为所述 新增图像嵌入向量的当前对应节点； 获取所述当前对应节点的各子节点对应的预设聚类类别中心， 在各所述预设聚类类别 中心中查找与所述 新增图像嵌入向量距离最近的目标聚类中心； 将所述目标聚类中心对应的子节点重新作为所述 新增图像嵌入向量的当前对应节点； 返回执行步骤： 获取所述当前对应节点的各子节点对应的预设聚类类别 中心， 在各所 述预设聚类类别中心中查找与所述新增图像嵌入向量距离最近的目标聚类中心， 直至检测 到所述当前对应节点 为所述图像 检索树中叶子节点的父节点； 在所述图像检索树中生成所述新增二维场景图对应的新增叶子节点， 所述新增叶子节 点为所述当前对应节点的子节点。 6.如权利要求1所述三维场景建模方法， 其特征在于， 所述依据 所述目标图像检索树和 所述位置映射关系， 将所述全局三维地图划分为各局部三维地图， 包括： 通过遍历所述目标图像 检索树， 查询归属于同一预设上层节点的各目标叶子节点； 获取各所述目标叶子节点对应的目标二维场景图， 根据所述位置映射关系， 确定各所 述目标二维场景图中二维特 征点对应的目标三维地图点； 将各所述目标三维地图点保存为所述局部三维地图。 7.如权利要求1至6任一项所述三维场景建模方法， 其特征在于， 所述三维场景建模方 法还包括： 当新增二维场景图重定位成功后， 根据重定位位姿， 确定所述新增二维场景图中二维 特征点在所述局部三 维地图中的匹配三 维地图点， 并更新各所述匹配三 维地图点的匹配次 数； 在所述新增二维场景图中确定未匹配到所述局部三维地图中三维地图点的未匹配二 维特征点； 在所述局部三维地图中添加所述未匹配二维特征点对应的新增三维地图点， 并记录所 述新增三维地图点的匹配次数； 获取所述局部三维地图的当前总访问次数以及当前总地图点数量； 若所述当前总访问次数和所述当前总地图点数量满足预设动态更新条件， 则根据 所述 局部三维地图中各三 维地图点的匹配次数， 对 所述局部三维地图中各三 维地图点进行选择 性删减， 以动态更新所述局部三维地图。 8.一种三维场景建模 装置， 其特 征在于， 所述 三维场景建模 装置包括： 获取模块， 用于获取目标三维场景的全局三维地图以及至少一张二维场景图； 重定位模块， 用于根据所述全局三维地图对各所述二维场景图进行重定位， 确定各所 述二维场景图中二维特 征点与所述全局三维地图中三维地图点之间的位置映射关系； 检索树构建模块， 用于将各所述二维场景图转换为对应的图像嵌入向量， 依据各所述 图像嵌入向量对各所述二 维场景图进 行聚类， 构建各所述二 维场景图共同对应的目标图像 检索树； 局部三维地图划分模块， 用于依据所述目标图像检索树和所述位置映射关系， 将所述权　利　要　求　书 2/3 页 3 CN 115393508 A 3