(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210962015.0 (22)申请日 2022.08.11 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 吴志全　孙珂　杨舵　段伋　 尹鹤珠　张龙平　王显贺　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 孟洋 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/00(2011.01) (54)发明名称 基于数字孪生的实景渲 染方法、 装置及相关 设备 (57)摘要 本公开提出了基于数字孪生的实景渲染方 法、 装置及相关设备， 具体涉及图像处理、 数字孪 生以及虚拟现实技术等人工智能领域， 可应用在 智慧城市、 城市治理、 公安应急场景下。 方案为： 构建初始三维模 型； 根据相机对多个目标对象拍 摄得到的目标全 景图， 在设定球形区域内构建球 面全景图； 根据相机拍摄时距离水平 地面的高度 信息、 相机的设定视野半径以及设定球形区域的 半径， 确定目标缩放比例； 根据目标缩放比例， 将 初始三维模 型映射至设定球形区域内， 以得到目 标三维模型； 采用球面全景图对目标三维模型进 行渲染， 由此， 可降低机器处理的数据量， 从而降 低机器资源占用， 可应用在性能较低的电子设备 中， 提升了该方法的适用性。 权利要求书3页 说明书11页 附图8页 CN 115311414 A 2022.11.08 CN 115311414 A 1.一种基于数字 孪生的实景渲染方法， 包括： 根据多个目标对象的三维空间信息， 构建与多个所述目标对象对应的初始三维模型； 获取相机对多个所述目标对象拍摄得到的目标全景图， 并根据所述目标全景图， 在设 定球形区域内构建球面全景图； 根据所述相机拍摄时距离水平地面的高度信 息、 所述相机的设定视野半径以及所述设 定球形区域的半径， 确定目标缩放比例； 根据所述目标缩放比例， 将所述初始三维模型映射至所述设定球形区域内， 以得到目 标三维模型； 采用所述球面全景图对所述目标三维模型进行渲染。 2.根据权利要求1所述的方法， 其中， 所述根据所述目标缩放比例， 将所述初始三维模 型映射至所述设定球形区域内， 以得到目标三维模型， 包括： 根据所述目标缩放比例， 对所述初始三维模型进行缩放， 以得到缩放后的初始三维模 型； 将所述缩放后的初始三维模型的各目标对象， 与 所述球面全景图中各目标对象进行对 齐， 以得到所述目标三维模型。 3.根据权利要求2所述的方法， 其中， 所述将所述缩放后的初始三维模型的各目标对 象， 与所述球面全景图中各目标对象进行对齐， 以得到所述目标三维模型， 包括： 根据图像坐标系与世界坐标系之间的映射关系， 将所述球面全景图中的各个像素点变 换至所述世界坐标系下， 以得到所述球面全景图中的各目标对象的各点在所述世界坐标系 下的位姿信息； 将所述缩放后的初始三维模型中各目标对象的各点的位姿信息与所述各点在所述世 界坐标系下的位姿信息进行对齐， 以得到所述目标三维模型。 4.根据权利要求1所述的方法， 其中， 所述根据所述相机拍摄时距离水平地面的高度信 息、 所述相机的设定 视野半径以及所述设定球形区域的半径， 确定目标缩放比例， 包括： 根据所述相机拍摄时距离水平地面的高度信 息以及所述相机的设定视野半径， 确定目 标缩放参数； 将所述设定球形区域的半径与所述目标缩放 参数的比值， 作为所述目标缩放比例。 5.根据权利要求1所述的方法， 其中， 所述获取与多个所述目标对象对应的初始全景 图， 并根据所述初始全景图， 在设定球形区域内构建球面全景图， 包括： 对各所述目标对象进行环视拍摄， 以得到各 所述目标对象的初始全景图； 将各所述目标对象的初始全景图进行拼接， 以得到多个所述目标对象对应的目标全景 图； 将所述目标全景图在所述设定球形区域的球面进行映射， 以得到所述球面全景图。 6.根据权利要求1所述的方法， 其中， 所述采用所述球面全景图对所述目标三维模型进 行渲染， 包括： 获取所述目标三维模型中的各 所述目标对象的顶点的坐标信息； 根据各所述目标对象的顶点的坐标信息， 构建多个三角形面； 采用所述球面全景图， 对所述多个三角形面进行渲染。 7.根据权利要求1 ‑6中所述的方法， 其中， 所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 115311414 A 2响应于对所述球面全景图的触发操作， 确定所述球面全景图的触发点的位置信息； 对所述触发点的位置信息进行颜色标记， 以得到颜色标记后的位置信息； 对所述颜色标记后的位置信息进行展示。 8.一种基于数字 孪生的实景渲染装置， 包括： 第一构建模块， 用于根据多个目标对象的三维空间信息， 构建与多个所述目标对象对 应的初始三维模型； 第二构建模块， 用于获取相机对多个所述目标对象拍摄得到的目标全景图， 并根据所 述目标全景图， 在设定球形区域内构建球面全景图； 确定模块， 用于根据所述相机拍摄时距离水平地面的高度信息、 所述相机的设定视野 半径以及所述设定球形区域的半径， 确定目标缩放比例； 映射模块， 用于根据所述目标缩放比例， 将所述初始三维模型映射至所述设定球形区 域内， 以得到目标三维模型； 渲染模块， 用于采用所述球面全景图对所述目标三维模型进行渲染。 9.根据权利要求8所述的装置， 其中， 所述映射模块， 用于： 根据所述目标缩放比例， 对所述初始三维模型进行缩放， 以得到缩放后的初始三维模 型； 将所述缩放后的初始三维模型的各目标对象， 与 所述球面全景图中各目标对象进行对 齐， 以得到所述目标三维模型。 10.根据权利要求9所述的装置， 其中， 所述映射模块， 还用于： 根据图像坐标系与世界坐标系之间的映射关系， 将所述球面全景图中的各个像素点变 换至所述世界坐标系下， 以得到所述球面全景图中的各目标对象的各点在所述世界坐标系 下的位姿信息； 将所述缩放后的初始三维模型中各目标对象的各点的位姿信息与所述各点在所述世 界坐标系下的位姿信息进行对齐， 以得到所述目标三维模型。 11.根据权利要求8所述的装置， 其中， 所述确定模块， 用于： 根据所述相机拍摄时距离水平地面的高度信 息以及所述相机的设定视野半径， 确定目 标缩放参数； 将所述设定球形区域的半径与所述目标缩放 参数的比值， 作为所述目标缩放比例。 12.根据权利要求8所述的装置， 其中， 所述第二构建模块， 用于： 对各所述目标对象进行环视拍摄， 以得到各 所述目标对象的初始全景图； 将各所述目标对象的初始全景图进行拼接， 以得到多个所述目标对象对应的目标全景 图； 将所述目标全景图在所述设定球形区域的球面进行映射， 以得到所述球面全景图。 13.根据权利要求8所述的装置， 其中， 所述 渲染模块， 用于： 获取所述目标三维模型中的各 所述目标对象的顶点的坐标信息； 根据各所述目标对象的顶点的坐标信息， 构建多个三角形面； 采用所述球面全景图， 对所述多个三角形面进行渲染。 14.根据权利要求8 ‑13所述的装置， 其中， 所述装置还 包括： 获取模块， 用于响应于对所述球面全景图的触发操作， 确定所述球面全景图的触发点权　利　要　求　书 2/3 页 3 CN 115311414 A 3