(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210932966.3 (22)申请日 2022.08.04 (71)申请人 无锡维度机 器视觉产业技术研究院 有限公司 地址 214000 江苏省无锡市锡山经济技 术 开发区荟智企业中心锡沪东路588号4 号楼 (72)发明人 沈思源　谈士涛　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06T 7/521(2017.01) G06T 7/00(2017.01) G06T 7/80(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 17/00(2006.01) (54)发明名称 复合条纹投影钢管的三维外轮廓在线测量 与缺陷检测方法及应用 (57)摘要 本发明公开了一种复合条纹投影钢管的三 维外轮廓在线测量与缺陷检测方法及应用， 其步 骤包括： 首先使用标准的张正友标定法标定相机 的内参， 然后通过投射横纵正交的正弦条纹结构 光标定相机 ‑投影仪系统， 结合设计的单张结构 光和20步相移正弦条纹构建钢管表面数据集， 训 练三个深度学习网络分别用于相位提取， 绝对相 位范围获取和相位展开， 最后根据最终的展开相 位和系统的标定参数实现钢管的表面重建并和 标准的钢管表 面进行比对找出缺陷部分。 本发明 利用单张结构光和三个不同的深度学习网络进 行解码， 可以有效避免相位提取和绝对相位范围 获取的误差叠加， 在提高钢管表 面三维重建精度 方面有显著效果。 权利要求书2页 说明书5页 附图3页 CN 115205360 A 2022.10.18 CN 115205360 A 1.一种复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法， 其特征是应用于相 机‑投影仪系统中， 并按如下步骤进行： 步骤1、 在所述相机 ‑投影仪系统中， 根据针孔相机模型 标定出相机的内参Ac； 步骤2、 标定相机 ‑投影仪系统的参数； 步骤2.1、 根据所述相机 ‑投影仪系统中投影仪的图像尺寸， 利用式(1)生成横纵正交的 正弦条纹图像： 式(1)， x、 y分别为正弦条纹图像的像素坐标， a(x,y)为像素坐标(x,y)处的背景光强， b (x,y)为像素坐标(x,y)处的调制度， IW‑n(x,y)为像素坐标(x,y)处横条纹的灰度值， IH‑n(x, y)为像素坐标(x,y)处纵条纹的灰度值； f为设置的正弦条纹频率， W、 H为正弦条纹图像的 横、 纵坐标总数， n和N分别为相移序号和相移步数； 步骤2.2、 向标定板投射所述正弦条纹图像并利用相机采集标定板图像， 从而利用式 (2)计算标定 板图像上角点的像素坐标(xc,yc)所对应的投影图像的像素坐标(xp,yp)： 式(2)中， Φv(xc,yc)和Φu(xc,yc)为标定板图像上角点的像素坐标(xc,yc)的横、 纵正弦 相位； 步骤2.3根据(xc,yc)、 (xp,yp)和针孔相机模型标定出投影仪的内参Ap以及投影仪和相 机之间的旋转矩阵R、 平 移向量T； 步骤3、 钢管 数据集的构建； 步骤3.1、 将两个频率周期相差为1的标准正弦条纹图分别移动相位值π后得到对应的 正弦相位图， 从而对两个标准正弦条纹图及其对应的正弦相位图中的正交正弦信号进 行调 制， 并复合到一张图片中， 从而得到复合条纹图片； 步骤3.2、 使用投影仪将所述复合条纹图片及其标准正弦条纹图分别投射到钢管表面， 相应得到钢管表面的复合条纹图像和标准条纹图像； 以钢管表面的复合条纹图像作为数据集的输入数据， 以由钢管表面的标准条纹图像计 算得到的包裹相位值、 绝对相位值、 以及处理后的条纹级次作为数据集的真值， 从而构建钢 管数据集； 步骤4、 构建并训练深度学习网络， 包括： 包裹相位提取网络、 绝对相位估计网络、 条纹 级次展开网络； 所述包裹相位 提取网络和绝对相位估计网络均为u型 结构的编码 ‑解码网络； 其中， 编码层包含c1个下采样模块， 每个下采样模块由卷积层、 relu激活层、 批归 一化层 和残差层组成； 所述编码层中的卷积核大小为 ks1， 步长为s1；权　利　要　求　书 1/2 页 2 CN 115205360 A 2解码层包含c1个上采样 模块， 每个上采样模块由线性差值模 块、 卷积层、 relu激活层、 批 归一化层和残差层组成； 所述 解码层中的卷积层的卷积核大小为 ks2， 步长为s2； 所述条纹级次展开网络为金字塔t ransformer结构的编码 ‑解码网络； 其中， 编码层包含c2个transformer编码模块， 每个transformer编码模块由切片层、 位 置编码层和t ransformer层组成， 且切片层的切片尺寸 为ks2， transformer层的个数为 ks3； 步骤4.1、 将所述数据集的输入数据分别输入所述包裹相位提取网络和绝对相位估计 网络中， 并以所述数据集的真值中的包裹相位值作为所述包裹相位提取网络、 以所述数据 集的真值中的绝对相位值作为绝对相位估计网络的输出， 对所述包裹相位提取网络和绝对 相位估计网络进行训练， 得到训练后的包裹相位 提取网络和绝对相位估计网络； 步骤4.2、 根据训练后的包裹相位提取网络输出的包裹相位作为所述条纹级次展开网 络的输入， 以所述数据集的真值中的条纹级次作为所述条纹级次展开网络的输出， 对所述 条纹级次展开网络进行训练， 得到训练后的条纹级次展开网络； 步骤5、 将待预测的复合条纹图片分别输入到训练后的包裹相位提取网络、 练后的绝对 相位估计网络中， 并获得 预测的包裹相位 值和估计的绝对相位范围； 将预测的包裹相位值输入到训练后的条纹级次展开网络中， 并获得展开的条纹级次 图， 根据估计的绝对相位范围， 将展开的条纹级次图恢复到真实的绝对相位级次， 并用于对 预测的包裹相位进行展开， 得到真实的绝对相位； 步骤6、 根据真实的绝对相位、 内参Ap、 内参Ac、 旋转矩阵R、 平移向量T计算物体的点云坐 标并进行圆柱拟合， 得到拟合结果， 将所述拟合结果与预先设定的阈值进 行比较， 筛选出偏 离较大的点作为待预测的复合条纹图片中的缺陷区域。 2.一种电子设备， 包括存储器以及处理器， 其特征在于， 所述存储器用于存储支持处理 器执行权利要求1所述方法的程序， 所述处理器被配置为用于执行所述存储器中存储的程 序。 3.一种计算机可读存储介质， 计算机可读存储介质上存储有计算机程序， 其特征在于， 所述计算机程序被处 理器运行时执 行权利要求1所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115205360 A 3