(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210463260.7 (22)申请日 2022.04.28 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区 (72)发明人 陆龙飞　林志赟　韩志敏　王博　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06T 7/269(2017.01) G06T 7/12(2017.01) G06T 7/136(2017.01) G06T 7/62(2017.01) G06V 10/762(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于光流和视图几何约束的图像静态 区域提取方法及装置 (57)摘要 本发明公开了一种基于光流和视图几何约 束的图像 静态区域提取方法及装置。 对获取图像 进行滤波预处理并提取带有方向信息的特征角 点； 预处理特征点集后， 对特征点集进行匹配， 使 用稀疏光流法计算光流矢量场， 初步分离静态特 征点； 再进一步对静态特征点使用对极几何约束 验证， 优化静态特征点的分离结果； 最后对非静 态特征点进行聚类， 划分其像素区域， 通过图像 形态学处理后， 输出图像静态区域， 提供给视觉 SLAM进行定位和地图构建。 本发明结合特征光流 和几何约束， 解决了动态目标对视觉SLA M系统的 干扰， 提升视觉SLAM系统在动态环境下的定位与 建图精度； 同时能保证系统的实时性， 实现可靠、 快速、 高精度、 低延迟的视 觉定位及建图系统。 权利要求书3页 说明书10页 附图2页 CN 114782499 A 2022.07.22 CN 114782499 A 1.一种基于光流和视图几何约束的图像静态区域提取方法， 其特征在于， 所述方法包 括如下步骤： 步骤1、 将待处 理的若干彩色图像转换为灰度图像； 步骤2、 对每一帧灰度图像进行高斯滤波后， 进行特征提取， 同时使用图像金字塔处理， 提取FAST角点并进行均匀化处理， 使用灰度质心法计算出FAST角点方向信息， FAST角点和 其方向信息构成一个特 征点， 每一帧灰度图像提取的特 征点构成一个特 征点集。 步骤3、 通过相邻 两帧灰度图像的特征点方向信息和欧式距离差， 过滤待 匹配的相邻 两 帧灰度图像特 征点集， 减小匹配的搜索范围； 步骤4、 对过滤的相邻两帧的特征点集进行光流计算， 得到光流矢量场； 对计算好的光 流矢量场， 基于强度和方向一致性去除误匹配， 聚类得到背 景光流矢量场， 同时得到背景光 流矢量场的特 征点集； 步骤5、 对背景光流矢量场的特征点集进行视图几何约束进一步验证匹配情况， 使用渐 进一致采样PROSA C(Progressive  Sampling  Consensus)方法求解本质矩阵， 进行对极几何 校验进一 步优化匹配结果； 步骤6、 在经过视图几何约束后， 对相邻 两帧灰度图像 中的剩余未匹配或匹配失败的特 征点进行聚类， 聚类后进行去 噪处理， 提取出每类特征点数量大于数量阈值的聚类后的点 集， 初步认定为动态物体上的特征点集， 使用最小凸变形包围各动态物体特征点集， 当凸包 面积小于面积阈值时， 认定为 误判， 保留大于面积阈值的点 集； 步骤7、 将各凸包所在像素位置叠加到二值化图像上， 去除动态物体区域， 得到剩下的 图像静态区域。 2.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法， 其 特征在于， 所述步骤2中， 对图像进行高斯滤波处理的具体过程为： 对整幅图像进行加权平 均， 具体如下： 图像中每一个像素点的值， 均由其本身和邻域内的其他像素值经过加权平均后得到， 高斯滤波公式如下： 其中σ 是邻域内所有像素点的值的标准差， x,y是像素坐标。 3.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法， 其 特征在于， 所述步骤2中， FAST角点均匀化的具体过程为： 将整幅图像进 行分块， 每一分块中 被检测出的角点按其V值大小进行排序， 保留V值大于检测阈值t的n个角点， 当出现有分块 所检测出 的角点不足n个时， 对该分块降低检测阈值t后重新检测角点； 防止角点在局部区 域聚簇， 使用邻近点剔除策略， 用一个滑动窗口对整幅图像进行处理， 保留滑动窗口内V值 最大的角点， 从而剔除邻近点， 避免角点聚簇； 检测角点得分函数计算公式如下： 其中， p是中心像素值， t是检测阈值， pixel  values是像素值， 对应于像素中心的N个相 邻像素。权　利　要　求　书 1/3 页 2 CN 114782499 A 24.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法， 其 特征在于， 所述 步骤3中， 进行 特征点匹配， 两特 征点的位移估算公式如下： 其中 为估算位移， f(xp,yp,tk)表示第k帧图像的第p个特征点， xp和yp分别表示第 p个特征点在图像像素坐 标系下的x坐 标及y坐标， tk表示图像流在时间序列上第k帧图像， d1 和d2是特征点在图像 像素坐标系下的偏移量， B表示该帧的特 征点集。 两特征点匹配的判定公式如下： 其中t为设置的判定阈值， 当T＝1时， 表示特 征点匹配。 5.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法， 其 特征在于， 所述步骤4中， 聚类背景光流矢量场的具体过程为： 根据同一 目标上的点的光流 近似相同， 将光 流进行聚类； 衡量两个光 流(u1,v1)和(u2,v2)相似性的测度函数为： 其中， η是误差的阶。 设定一个比较小的阈值Dth， 一旦两个光流矢量间的测度函数D ＜Dth 就将此二光流合并为一类， 并计算类的平均光流； 当判断某一光流矢量能否归并到某类中 时， 需衡量该光 流与类的平均光 流的测度函数。 6.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法， 其 特征在于， 所述 步骤4中， 其中基于强度和方向一 致性去除误匹配方法具体步骤如下： (1)设匹配点对连线长度的集 合为mapd， 其斜率集合为mapk； (2)统计每对匹配点对连线的长度dij∈mapd、 斜率kij∈mapk， 选取mapd中长度进行分段 统计， 选取包含长度样本数量最多的长度段的平均值作为长度的基准， 设为D， 选取mapk中 的斜率进行分段统计， 选取包含斜率样本数量最多的斜率段的平均值作为斜率的基准， 设 为K； (3)设置匹配连线长度的误差范围为m； 设置匹配连线斜 率的误差范围为 n。 (4)当D‑m≤dij≤D+m时， 保留该匹配点对连线， 否则删除； 同理， 当K ‑n≤kij≤K+n时， 保 留该匹配点对连线， 否则 删除。 7.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法， 其 特征在于， 所述 步骤5中， 视图几何约束的对极几何约束 描述为: 对于图像I1上的任意一个像素点 其在图像I2上的对应的极线li:Aix+Biy+Ci＝0和匹 配点 满足如下公式：权　利　要　求　书 2/3 页 3 CN 114782499 A 3