(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211004632.6 (22)申请日 2022.08.22 (71)申请人 东北大学秦皇岛分校 地址 066004 河北省秦皇岛市经济技 术开 发区泰山路143号 (72)发明人 沙晓鹏　曹加奇　肖乐　齐宁　 司晓鹏　李文超　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李珉 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/80(2017.01) G06T 7/33(2017.01) G06T 5/00(2006.01) (54)发明名称 未标定单目视 觉系统的三维重建方法 (57)摘要 本发明提供一种未标定单目视觉系统的三 维重建方法， 涉及三维重建技术领域。 本发明利 用Harr小波变换检测出在拍摄过程中由于运动 产生的模糊图像， 从而减小模糊图像在特征点匹 配时造成的误匹配问题； 其次， 对剔除模糊图像 后的数据集， 利用关键帧筛选算法， 筛选出数据 集中相邻图像间基线大的图像， 以减小计算量以 及提高后续特征匹配精度。 二是点云重建， 首先 从图像中利用相机自标定方程获取相机的内部 参数， 其次利用增量式运动恢复结构的方法从图 像序列中计算出目标物体的稀 疏点云结构信息， 再通过对稀疏点云优化 以及区域增长算法最终 得到目标物体的稠密点云结构信息 。 权利要求书3页 说明书6页 附图2页 CN 115375843 A 2022.11.22 CN 115375843 A 1.一种未 标定单目视 觉系统的三维重建方法， 其特 征在于， 包括以下步骤： 步骤1： 视频 数据获取， 使用单目摄 像机围绕重建的目标物体进行3 60°环绕拍摄； 步骤2： 对视频 数据进行 预处理； 步骤3： 进行 特征点检测与匹配， 得到特 征点匹配对； 步骤4： 去除误匹配特征点； 对步骤3得到的特征点匹配对， 利用随机采样一致性方法求 解最佳单应性矩阵H， 从而 去除误匹配的特 征点对， 获得正确匹配点对； 步骤5： 对相机进行自标定， 获取相机内部参数； 根据对视频分帧得到的图像， 利用图像 的高H、 宽W计算图像的中心点坐标， 根据步骤4得到的正确匹配点对， 利用归一化八点法计 算出基础矩阵F以及极点， 通过式(1)Krup pa自标定方程 求解出相机的内部参数焦距f： 其中， p0＝(u0,v0,1)、 p1＝(u1,v1,1)为待匹配的两幅 图像的中心点坐标， I＝diag(1,1, 0)， 从而获得相机内参矩阵K如式(2)， 其中倾 斜因子s＝0； 步骤6： 从步骤2获取的清晰且基线大的图像数据集中取出前2幅图像， 重复步骤3、 4获 得特征匹配点对， 根据图中二维点x与空间三维点X关系， 如式(3)， 计算出三维点 x＝K[R|t]X      (3) 其中， K为内参矩阵， R， t为相机的旋转矩阵和平 移向量； 步骤7： 稀疏点云结构生成； 利用增量式运动恢复结构的方法， 对清晰且基线大的图像 数据集进行三维点的计算， 从而恢复出目标物体的稀疏点云结构信息； 步骤8： 稀疏点云优化； 利用光束平差法对目标物体的稀疏点云结构进行全局优化， 如 式(4)所示， 对运动恢 复结构计算得到的相机位姿和三维结构优化， 通过最小化2D图像上的重投影 点P(Xi,Rj,tj)和真实点xi,j之间的距离derror来获得最佳相机的位姿即旋转矩阵R和平移向 量t， 以及空间三维点的3D坐标 X， 其中， P为投影矩阵， m,n 为特征点的数量； 步骤9： 稠密点云结构生成； 将步骤8优化后的三维点， 投影到对应的二维图像 中得到投 影点x， 分别对投影点x周围的4点、 8点、 24点灰度值， 计算相关性系数NCC， 并将NCC与设定阈 值B进行比较， 若满足设置的条件， 则将X邻域4点、 8点、 2 4点列入后续三 维点的计算过程， 若 不满足， 则进行下一投影点邻域点的判断， 依 次对稀疏点进行操作， 最终得到候选点， 将候 选点通过步骤7、 8得到稠密点云结构， 完成未 标定单目视 觉系统的三维重建。 2.根据权利要求1所述的一种未标定单目视觉系统的三维重建方法， 其特征在于， 所述 步骤2具体包括以下步骤： 步骤2.1： 对视频分帧得到N张图像， 获取图像的高H和宽W， 即H ×W， 建立图像数据集； 步骤2.2： 遍历图像数据集， 利用Harr小波变换检测模糊图像， 并将模糊图像从图像数权　利　要　求　书 1/3 页 2 CN 115375843 A 2据集中剔除； 所述检测模糊图像为， 遍历图像的每个像素， 在图像的水平 垂直 对 角 三个方向进行变换操作， 构建边 缘图Ei(x,y)， 如式(5)所示： 根据边缘图像中G ‑Step和Roof边缘类型结构， 得到二维G ‑Step、 Roof向量|Eda|、 G‑ Step、 Roof模糊向量|E|， 若满足式(6)所示关系， 则标记当前图像为模糊图像， 并从数据集 中剔除； 若不满足， 则标记当前帧为清晰图像， 并对下一幅进行判断， 直至遍历完所有数据； 其中， Bt为图像模糊阈值； 步骤2.3： 对步骤2.2中筛选的清晰图像进行特征点匹配， 利用极几何约束关系计算出 基础矩阵F和单应性矩阵H， 再通过几何鲁棒性准则GRIC准则从筛选后的清晰图像中筛选出 宽基线图像， 如式(7)所示： 其中， 为关于特征点位置的残差项， k为拟合模型H和F所需要的参数个数， λ1dn为 模型维度的惩罚项， λ2k为模型参数个数的惩罚项； 根据(7)(8)(9)式计算上一幅图像与当 前图像中点与点之间在F和H两种模 型约束关系下的得分GRIC(H)与GRI R(F)的值， 并进行比 较， 若满足式(10)， 则 标记当前图像为关键帧， 若不满足式(10)， 则标记当前图像为非关键 帧， 并继续对下一幅图像进行重复操作， 直至遍历完数据集中所有数据； GRIC(H)<GRIC(F)       (10)。 3.根据权利要求1所述的一种未标定单目视觉系统的三维重建方法， 其特征在于， 所述 步骤3具体包括以下步骤： 步骤3.1： 利用尺度不变特征变换检测算法SIFT提取图像中的特征， 得到相应的关键点 和描述子； 步骤3.2： 利用直线段检测算法LSD， 通过计算每个像素的水平线角所构成的水平线场 来检测图像中的直线特 征； 步骤3.3： 再利用关键点特征向量间的欧式距离判断两幅图像 中关键点的相似性， 最终 利用特征点匹配算法FLAN N进行特征点匹配， 获得 特征点匹配对。 4.根据权利要求1所述的一种未标定单目视觉系统的三维重建方法， 其特征在于， 步骤 9中所述投影为， 将获得的稀疏点云作为种子点反向投影到图像上， 根据几何一致性约束计 算投影点x周围4、 8、 24像素点灰度值大小所 得的NCC值， 如式(1 1)所述：权　利　要　求　书 2/3 页 3 CN 115375843 A 3