(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210849271.9 (22)申请日 2022.07.19 (71)申请人 宁波西卡曼厨具有限公司 地址 315000 浙江省宁波市北仑区小港街 道江桥头 村钱家 (72)发明人 顾冰程　 (74)专利代理 机构 深圳国联专利代理事务所 (特殊普通 合伙) 44465 专利代理师 李峰 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/10(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) (54)发明名称 不锈钢橱柜的智能制造方法及其系统 (57)摘要 本申请涉及智能制造检测的领域， 其具体地 公开了一种不锈钢橱柜的智能制造方法及其系 统， 其采用基于深度学习技术的卷积神经网络模 型来通过局部和全局两个方面对于从多个视角 采集的组装完成的不锈钢橱柜的多个视角图像 进行隐含关联特征提取， 并在特征融合时使用分 层深度单应对齐融合的方法来进行基于向量差 分表达的分层场景深度流的单应性对齐， 以提升 了融合后的特征的分类效果， 进而， 能够对于组 装完成的不锈钢橱柜的组装质量进行准确地检 测。 权利要求书3页 说明书13页 附图6页 CN 115205543 A 2022.10.18 CN 115205543 A 1.一种不锈钢橱柜的智能制造方法， 其特 征在于， 包括： 通过相机从多个视角采集组装完成的不锈钢橱柜的多个视角图像； 将所述多个视角图像中各个视角图像分别通过作为特征提取器的第一卷积神经网络 以得到多个局部 视角特征图； 将所述多个局部视角特征图排列为三维输入张量后通过使用三维卷积核的第二卷积 神经网络以得到 视角间关联 特征图； 将所述多个局部 视角特征图进行全景拼接后以得到全景 特征图； 将所述全景 特征图通过非局部神经网络以得到全局关联 特征图； 将所述视角间关联特征图和所述全局关联特征图分别展开为向量以得到视角间关联 特征向量和全局关联 特征向量； 融合所述视角间关联 特征向量和所述全局关联 特征向量以得到分类特 征向量； 以及 将所述分类特征向量通过分类器以得到分类结果， 所述分类结果用于表示组装完成的 不锈钢橱柜的组装质量是否满足预定要求。 2.根据权利要求1所述的不锈钢 橱柜的智能制造方法， 其中， 将所述多个视角图像 中各 个视角图像分别通过作为特征提取器的第一卷积神经网络以得到多个局部视角特征图， 包 括： 所述第一卷积神经网络的各层 在层的正向传递中对输入数据分别进行： 对输入数据进行 卷积处理以得到卷积特 征图； 对所述卷积特 征图进行池化处 理以得到池化特 征图； 以及 对所述池化特 征图进行非线性激活以得到 激活特征图； 其中， 所述第一卷积神经网络的最后一层的输出为所述多个局部视角特征图， 所述第 一卷积神经网络的第一层的输入为所述多个视角图像中各个视角图像。 3.根据权利要求2所述的不锈钢 橱柜的智能制造方法， 其中， 将所述多个局部视角特征 图排列为三维输入张量后通过使用三维卷积核的第二卷积神经网络以得到视角间关联特 征图， 包括： 所述使用三维卷积核的第二卷积神经网络在层的正向传递中对输入数据分别 进行： 基于所述 三维卷积核对所述输入数据进行三维卷积处 理以得到卷积特 征图； 对所述卷积特 征图进行池化处 理以得到池化特 征图； 以及 对所述池化特 征图进行非线性激活以得到 激活特征图； 其中， 所述第二卷积神经网络的最后一层的输出为所述视角间关联特征图， 所述第二 积神经网络的第一层的输入为所述 三维输入张量。 4.根据权利要求3所述的不锈钢 橱柜的智能制造方法， 其中， 将所述多个局部视角特征 图进行全景拼接后以得到全景 特征图， 包括： 将所述多个局部视角特征图沿高度维度或者宽度维度进行拼接以得到所述全景特征 图。 5.根据权利要求4所述的不锈钢 橱柜的智能制造方法， 其中， 将所述全景特征图通过非 局部神经网络以得到全局关联 特征图， 包括： 将所述全景特征图分别输入所述非局部神经网络的第 一点卷积层、 第 二点卷积层和第 三点卷积层以得到第一特 征图、 第二特 征图和第三特 征图； 计算所述第一特 征图和所述第二特 征图的按位置加权和以得到中间融合特 征图；权　利　要　求　书 1/3 页 2 CN 115205543 A 2将所述中间融合特征图输入Softmax函数以对所述中间融合特征图中各个位置的特征 值进行归一 化以得到归一 化中间融合特 征图； 计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特 征图； 将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置 的特征值间的相似性以得到全局感知特 征图； 将所述全局感知特征图通过所述非局部神经网络的第四点卷积层以得到通道调整全 局感知特 征图； 以及 计算所述通道调整全局感知特征图和所述高维关联局部特征图的按位置加权和以得 到所述全局关联 特征图。 6.根据权利要求5所述的不锈钢 橱柜的智能制造方法， 其中， 将所述视角间关联特征图 和所述全局关联特征图分别展开为向量以得到视角间关联特征向量和全局关联特征向量， 包括： 将所述视角间关联特征图中各个特征矩阵和所述全局关联特征图中各个特征矩阵以 行向量作为划分单位进行划分以得到对应于所述视角间关联特征图的多个第一行向量和 对应于所述全局关联 特征图的多个第二行向量； 将所述多个第一行向量进行拼接以得到所述视角间关联 特征向量； 以及 将所述多个第二行向量进行拼接以得到所述全局关联 特征向量。 7.根据权利要求6所述的不锈钢 橱柜的智能制造方法， 其中， 融合所述视角间关联特征 向量和所述全局关联 特征向量以得到分类特 征向量， 包括： 计算所述视角间关联特征向量和所述全局关联特征向量的按位置差分以得到差分特 征向量； 计算所述视角间关联特征向量和所述全局关联特征向量的按位置求和以得到加和特 征向量； 计算所述视角间关联 特征向量和所述全局关联 特征向量之间的全场景 单应关联矩阵； 对所述加和特征向量进行对数运算以得到对数加和特征向量， 其中， 所述对所述加和 特征向量进行对数运 算表示计算所述加 和特征向量中各个位置的特 征值的对数函数值； 计算所述差分特 征向量的一范 数作为所述差分特 征向量的分层深度特性 值； 计算所述全场景单应关联矩阵的Frobenius范数作为所述全场景单应关联矩阵的深度 感知值； 以所述分层深度特性值作为加权系数对所述对数加和特征向量进行按位置加权以得 到加权特 征向量； 以及 以所述深度感知值作为偏置， 计算所述深度感知值与 所述加权特征向量中各个位置的 特征值的加 和值以得到所述分类特 征向量。 8.根据权利要求7所述的不锈钢 橱柜的智能制造方法， 其中， 计算所述视角间关联特征 向量和所述全局关联 特征向量之间的全场景 单应关联矩阵， 包括： 计算所述视角间关联特征向量的转置向量与所述全局关联特征向量之间的乘积以得 到所述全场景 单应关联矩阵。 9.根据权利要求8所述的不锈钢 橱柜的智能制造方法， 其中， 将所述分类特征向量通过权　利　要　求　书 2/3 页 3 CN 115205543 A 3