(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210964409.X (22)申请日 2022.08.12 (65)同一申请的已公布的文献号 申请公布号 CN 115049791 A (43)申请公布日 2022.09.13 (73)专利权人 山东鲁晟精工 机械有限公司 地址 252000 山东省聊城市经济技 术开发 区庐山路西、 嫩江路南 万合车间B幢 (72)发明人 樊丙建　 (74)专利代理 机构 郑州芝麻知识产权代理事务 所(普通合伙) 41173 专利代理师 丁伟 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/80(2017.01) G06T 7/70(2017.01)G06T 7/187(2017.01) (56)对比文件 CN 114445387 A,202 2.05.06 CN 105069751 A,2015.1 1.18 CN 112991518 A,2021.0 6.18 CN 113284081 A,2021.08.20 CN 114792316 A,202 2.07.26 US 2019197 777 A1,2019.0 6.27 杨飞等.基 于超像素分割和图像 配准的深度 图像修复方法. 《机 械设计与制造 工程》 .2020, (第01期),全 文. Xiao Jin等. 《FCMNet:Frequency-aware cross-modality attention networks for RGB-D sal ient object detecti on》 . 《Neurocomputi ng》 .2022, 审查员 赵亮 (54)发明名称 结合图像处理的数控车床工件三维建模方 法 (57)摘要 本发明涉及图像处理技术领域， 具体涉及结 合图像处理的数控车床工件三维建模 方法。 方法 包括： 将工件的深度图像中深度缺失连通域中各 像素点的灰度梯度值输入到神经网络中获得第 一深度梯度值； 根据深度未缺失连通域中像素点 的深度值对深度缺失连通域中像素点进行插值， 得到深度缺失连通域中各像素点的拟合深度值， 进而获得第二深度梯度值； 根据同一编号对应的 第一深度梯度值序列和第二深度梯度值序列的 相关性， 计算各编号对应的插值权值； 基于插值 权值和拟合深度值， 对缺失深度数据的像素点再 次进行插值， 得到工件上各位置的目标深度值， 进而获得工件的三维模型。 本发 明提供的方法在 保证成本不增加的同时提高了工件三维模型的 重建精度。 权利要求书2页 说明书8页 附图1页 CN 115049791 B 2022.11.04 CN 115049791 B 1.一种结合图像处理的数控车床工件三维建模方法， 其特征在于， 该方法包括以下步 骤： 获取数控车床上工件的RGB图像和深度图像； 获取所述深度图像中缺失深度 数据的像素点构 成的连通域记为深度缺失连通域， 获取 所述深度图像中未缺 失深度数据的像素点构成的连通域记为深度未缺失连通域； 将所述深 度图像中深度缺 失连通域中各像素点的灰度梯度值输入到训练好的神经网络中， 得到深度 缺失连通域中各像素点的第一深度梯度值； 根据所述深度未缺失连通域中各像素点的深度 值对所述深度缺 失连通域中的各像素点进 行插值， 得到所述深度缺 失连通域中各像素点的 拟合深度值； 根据所述拟合深度值获得所述深度缺失连通域中各像素点的第二深度梯度 值； 对深度缺失连通域中像素点的第 一深度梯度值从大到小进行排序并进行划分， 得到各 编号对应的第一深度梯度值序列； 对深度缺 失连通域中像素点的第二深度梯度值从大到小 进行排序并进行划分， 得到各编号对应的第二深度梯度值序列； 计算同一编号对应的第一 深度梯度值序列和第二深度梯度值序列之间的相关性； 根据所述相关性、 各编号对应的第 一深度梯度值序列和第二深度梯度值序列， 计算各编号对应的插值权值； 基于所述插值权值和拟合深度值， 采用带权数据插值法对所述深度图像中缺失深度 数 据的像素点再次进行插值， 得到工件上各位置对应的目标深度值； 基于所述 目标深度值获 得数控车床上工件的三维模型； 采用如下公式计算各编号对应的插值权值： 其中， 为任一编号对应的插值权值， 为以自然常数e为底数的指数函数， 为 该编号对应的第一深度梯度值序列和第二深度梯度值序列的相关性， 为该编号对应的 第一深度梯度值序列中的第 个元素， 为该编号对应的第二深度梯度值序列中的第 个元素， 为该编号对应的第一深度梯度值序列或该编号对应的第二深度梯度值序列中元 素的个数； 所述第一深度梯度值序列中元 素的个数和第二深度梯度值序列中元 素的个数相等； 各像素点的灰度梯度值的获取， 包括： 对所述RGB图像进行灰度化处理获得工件的灰度图像， 获取所述灰度图像上各像素点 的灰度值； 对于所述灰度图像上的任一像素点： 计算该像素点的8邻域内像素点的最大灰度值与 最小灰度值的差值， 将所述差值作为该像素点的灰度梯度值。 2.根据权利要求1所述的结合图像处理 的数控车床工件三维建模方法， 其特征在于， 所 述获取所述深度图像中缺失深度数据的像素点构成的连通 域记为深度缺失连通 域， 包括： 获取所述深度图像中缺失深度 数据的像素点的坐标点， 为深度图像中缺失深度 数据的 像素点生成掩膜图像； 所述掩膜图像中缺 失深度数据的像素点的值为 1， 未缺失深度数据的权　利　要　求　书 1/2 页 2 CN 115049791 B 2像素点的值 为0； 采用连通域提取算法对所述掩膜图像进行连通域提取， 得到缺失深度 数据的像素点构 成的连通 域， 记为深度缺失连通 域。 3.根据权利要求2所述的结合图像处理 的数控车床工件三维建模方法， 其特征在于， 获 取所述深度图像中未缺失深度数据的像素点构成的连通 域记为深度未缺失连通 域， 包括： 将所述掩膜图像中像素点的值进行反转， 得到反转后的掩膜图像， 记为反转掩膜图像； 所述反转的规则为： 1置为0， 0 置为1； 采用连通域提取算法对反转掩膜图像进行连通域提取， 得到未缺失深度 数据的像素点 构成的连通 域， 记为深度未缺失连通 域。 4.根据权利要求1所述的结合图像处理 的数控车床工件三维建模方法， 其特征在于， 所 述对深度缺 失连通域中像素点的第一深度梯度值从大到小进 行排序并进 行划分， 得到各编 号对应的第一深度梯度值序列； 对深度缺失连通域中像素点的第二深度梯度值从大到小进 行排序并进行划分， 得到各编号对应的第二深度梯度值序列， 包括： 将深度缺失连通域中所有像素点的第 一深度梯度值从大到小进行排序， 将预设个数的 第一深度梯度值划分为一组， 得到多组第一深度梯度值； 根据每组中的所有第一深度梯度 值构建每组对应的第一深度梯度值序列， 并依次对所述第一深度梯度值序列进行编号； 将深度缺失连通域中所有像素点的第 二深度梯度值从大到小进行排序， 将预设个数的 第二深度梯度值划分为一组， 得到多组第二深度梯度值； 根据每组中的所有第二深度梯度 值构建每组对应的第二深度梯度值序列， 并依次对所述第二深度梯度值序列进行编号。 5.根据权利要求1所述的结合图像处理 的数控车床工件三维建模方法， 其特征在于， 所 述根据所述拟合深度值获得 所述深度缺失连通 域中各像素点的第二深度梯度值， 包括： 对于所述深度缺失连通域中的任一像素点： 计算该像素点的8邻域内像素点的最大灰 拟合深度值与最小拟合深度值的差值， 将所述差值作为该像素点的第二深度梯度值。 6.根据权利要求1所述的结合图像处理 的数控车床工件三维建模方法， 其特征在于， 所 述基于所述插值权值和拟合深度值， 采用带权数据插值法对所述深度图像中缺失深度数据 的像素点再次进行插值， 得到 工件上各位置对应的目标深度值， 包括： 对各编号对应的插值权值进行归一化处理， 得到各编号对应的归一化插值权值； 分别 计算各编号对应的归一化插值权值和超参数的乘积， 将该乘积作为对应编号对应的目标权 值； 根据所述目标权值， 采用带权数据插值法， 对工件的深度图像中深度缺失连通域中的 像素点再次进行插值， 得到深度图像中深度缺失连通域中像素点的深度值； 将工件上各位 置对应的深度值记为目标深度值。权　利　要　求　书 2/2 页 3 CN 115049791 B 3