(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210954894.2 (22)申请日 2022.08.10 (71)申请人 湖北中烟工业有限责任公司 地址 430040 湖北省武汉市东西湖区金山 大道1355号 (72)发明人 杜云鹏　王志强　魏斌　江志凌　 胡煜　叶明樵　李会平　陶智麟　 蔡力　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 赵佳 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/269(2017.01) G06T 3/00(2006.01) (54)发明名称 一种基于光流和时流的成像方法、 装置及电 子设备 (57)摘要 本发明公开了一种基于光流和时流的成像 方法、 装置及电子设备， 该方法包括获取目标场 景的现场实时图像， 基于光流法计算所述现场实 时图像的光流场运动矢量， 并聚类所述光流场运 动矢量得到全局运动矢量； 基于所述全局运动矢 量生成时流域窗口， 在所述时流域窗口中持续生 成时间图像； 获取虚拟视场角的角度参数， 基于 所述角度参数对 所述时间图像进行透视变换， 生 成并展示实时成像 贴图。 本发明实现了利用流水 线在光流和时流上的一致性， 将局部现场实时图 像的画面拼接成时间上的长画卷图像， 实现了对 流水线上固定物体 （即产线设备） 和流动物体 （即 产线物料） 的分别处理和融合成像， 图形展示效 果好。 权利要求书1页 说明书9页 附图2页 CN 115311413 A 2022.11.08 CN 115311413 A 1.一种基于光 流和时流的成像方法， 其特 征在于， 所述方法包括： 获取目标场景的现场实时图像， 基于光流法计算所述现场实时图像的光流场运动矢 量， 并聚类所述 光流场运动矢量得到全局运动矢量； 基于所述全局运动矢量 生成时流 域窗口， 在所述时流 域窗口中持续 生成时间图像； 获取虚拟视场角的角度参数， 基于所述角度参数对所述时间图像进行透视变换， 生成 并展示实时成像贴图。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取目标场景的现场实时图像， 包括： 获取目标场景中设置于不同拍摄角度的各相机所拍摄的相机图像， 对各所述相机图像 进行多角度融合成像， 得到所述目标场景对应翻滚角的现场实时图像。 3.根据权利要求1所述的方法， 其特征在于， 所述基于光流法计算所述现场实时图像的 光流场运动矢量之前， 还 包括： 对所述现场实时图像进行高斯滤波。 4.根据权利要求1所述的方法， 其特征在于， 所述基于光流法计算所述现场实时图像的 光流场运动矢量之后， 还 包括： 基于所述光流场运动矢量分解所述现场实时图像， 确定所述现场实时图像的流水线区 域边界。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述全局运动矢量生成时流域 窗 口之后， 还 包括： 基于透视变换对所述时流 域窗口进行倾 斜矫正。 6.根据权利要求1所述的方法， 其特征在于， 所述在所述 时流域窗口中持续生成时间图 像， 包括： 基于所述现场实时图像在所述 时流域窗口中生成时间图像， 并持续将新接收到的所述 现场实时图像添加至所述时间图像的末尾。 7.一种基于光 流和时流的成像装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取目标场景的现场实时图像， 基于光流法计算所述现场实时图像的 光流场运动矢量， 并聚类所述 光流场运动矢量得到全局运动矢量； 生成模块， 用于基于所述全局运动矢量生成时流域窗口， 在所述时流域窗口中持续生 成时间图像； 展示模块， 用于获取虚拟视场角的角度参数， 基于所述角度参数对所述时间图像进行 透视变换， 生成并展示实时成像贴图。 8.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑6任一项所述方 法的步骤。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现如权利要求1 ‑6任一项所述方法的步骤。权　利　要　求　书 1/1 页 2 CN 115311413 A 2一种基于光流和时流的成像方 法、 装置及电子 设备 技术领域 [0001]本申请涉及图像成像技术领域， 具体而言， 涉及一种基于光流和时流的成像方法、 装置及电子设备。 背景技术 [0002]目前对于产线流水线的图形化展示一般分两种方式。 一是使用现场安装的相机来 展示实时图像， 由于相机为固定安装方式， 也就无法实现自由视角变换； 二是使用3D建模和 仿真计算的方式， 通过输入各初始变量并实时模拟运算出车间的现场场景， 可以实现任意 的视角变换， 效果 非常好。 但是无法实时体现流水线物料实时情况， 往往模拟运算的结果和 实际现场会有不符的情况。 [0003]若想要使得图形化展示最优， 最好的方式是将二者结合， 然而因为现场的视频存 在镜头畸变， 视角畸变等， 很难和3D模型达到完美地契合。 导致目前对于如何将现场视频准 确地嵌入 模型中进行融合显示 这一难点还没有较好的解决方式。 发明内容 [0004]为了解决上述问题， 本申请实施例提供了一种基于光流和时流的成像方法、 装置 及电子设备。 [0005]第一方面， 本申请实施例提供了一种基于光 流和时流的成像方法， 所述方法包括： 获取目标场景的现场实时图像， 基于光流法计算所述现场实时图像的光流场运动 矢量， 并聚类所述 光流场运动矢量得到全局运动矢量； 基于所述全局运动矢量生成时流域窗口， 在所述时流域窗口中持续生成时间图 像； 获取虚拟视场角的角 度参数， 基于所述角 度参数对所述时间图像进行透视变换， 生成并展示实时成像贴图。 [0006]优选的， 所述获取目标场景的现场实时图像， 包括： 获取目标场景 中设置于不同拍摄角度的各相机所拍摄的相机图像， 对各所述相机 图像进行多角度融合成像， 得到所述目标场景对应翻滚角的现场实时图像。 [0007]优选的， 所述基于光 流法计算所述现场实时图像的光 流场运动矢量之前， 还 包括： 对所述现场实时图像进行高斯滤波。 [0008]优选的， 所述基于光 流法计算所述现场实时图像的光 流场运动矢量之后， 还 包括： 基于所述光流场运动矢量分解所述现场实时图像， 确定所述现场实时图像的流水 线区域边界。 [0009]优选的， 所述基于所述全局运动矢量 生成时流 域窗口之后， 还 包括： 基于透视变换对所述时流 域窗口进行倾 斜矫正。 [0010]优选的， 所述在所述时流 域窗口中持续 生成时间图像， 包括： 基于所述现场实时图像在所述时流域窗口中生成时间图像， 并持续将新接收到的说　明　书 1/9 页 3 CN 115311413 A 3