(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210705913.8 (22)申请日 2022.06.21 (71)申请人 武汉工程大 学 地址 430000 湖北省武汉市东湖新 技术开 发区光谷一路20 6号 申请人 武汉引行 科技有限公司 (72)发明人 陈灯　高鑫　张彦铎　吴云韬　 卢涛　周华兵　刘玮　栗娟　 于宝成　鞠剑平　唐剑隐　徐文霞　 彭丽　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 赖定珍 (51)Int.Cl. G06F 30/20(2020.01)G06K 9/62(2022.01) G06F 119/02(2020.01) (54)发明名称 一种工业机器人姿态识别方法、 装置及存储 介质 (57)摘要 本发明提供一种工业机器人姿态识别方法、 装置及存储介质， 方法为： 导入工业机器人视频， 从工业机器人视频中提取并调整工业机器人2D 图像； 基于人体姿态估计模型DensePose构建教 师模型， 通过调整后的工业机器人2D图像对教师 模型进行训练， 通过训练后的教师模 型输出工业 机器人2D姿态信息； 基于均方误差函数MSE构建 总体FDPD 蒸馏损失函数； 基于教师模型构建学生 模型， 通过总体FDPD 蒸馏损失函数和工业机器人 2D姿态信息训练学生模 型， 通过训练后的学生模 型识别工业机器人2D图像中的工业机器人姿态。 本发明实现了精确高效的工业机器人姿态识别， 适用于工业机器人的异常检测， 无需过大的网 络， 提高了 工业机器人识别姿态的效率。 权利要求书3页 说明书8页 附图2页 CN 115270399 A 2022.11.01 CN 115270399 A 1.一种工业机器人姿态 识别方法， 其特 征在于， 包括如下步骤： 导入工业机器人视频， 从所述工业机器人视频中提取出多个工业机器人2D图像， 并对 多个工业机器人2D图像进 行整理， 通过整理后的多个工业机器人2D图像得到工业机器人2D 图像集； 基于人体姿态估计模型DensePose构建教师模型， 通过工业机器人2D图像集对所述教 师模型进行训练， 通过训练后的教师模型输出工业机器人2D姿态信息； 基于均方误差函数MSE构建总体FD PD蒸馏损失函数； 基于训练后的教师模型构建学生模型， 通过总体FDPD蒸馏损失函数和所述工业机器人 2D姿态信息训练所述学生模型， 通过训练后的学生模型识别工业机器人2D图像集中各个工 业机器人2D图像的工业机器人姿态。 2.根据权利要求1所述的工业机器人姿态识别方法， 其特征在于， 所述从所述工业机器 人视频中提取 出多个工业机器人2D图像， 并对多个工业机器人2D图像进行整理， 具体为： 通过视频分割关键帧方法从所述工业机器人视频中提取出多个工业机器人2D图像， 并 从多个工业机器人2D图像中剔除不符合要求的工业机器人2D图像。 3.根据权利要求1所述的工业机器人姿态识别方法， 其特征在于， 所述通过调整后的工 业机器人2D图像对所述教师模型进行训练， 具体为： 定位所述工业机器人2D图像 中工业机器人的多个关节点， 根据多个关节点确定每个关 节点对应的各个区域， 根据各个区域中定位后的关节点得到各个区域的密集点及密集点的 坐标， 计算各个区域中密集点的坐标的中值点， 并将各个中值点进 行连线并输出， 从而得到 训练后的教师模型。 4.根据权利要求3所述的工业机器人姿态识别方法， 其特征在于， 所述定位所述工业机 器人2D图像中工业机器人的多个关节点， 根据多个关节点确定每个关节点对应的各个区 域， 根据各个区域中定位后的关节点得到各个区域的密集 点及密集点的坐标， 具体为： 根据工业机器人的关节点的数量n将所述工业机器人2D图像划分为与每个关节点对应 的n个区域， 建立二维坐标系对 各个区域进 行参数化， 得到工业机器人的各个关节点在各个 区域内任意 位置的坐标； 基于区域的密集回归方法从所有区域定位后的关节点中得到感兴趣区域ROI， 对感兴 趣区域ROI进 行级联， 通过ROI池对级 联后感兴趣区域ROI进 行特征生 成， 得到所述 感兴趣区 域ROI的密集 点及密集点的坐标。 5.根据权利要求3所述的工业机器人姿态识别方法， 其特征在于， 所述计算各个区域中 密集点的坐标的中值 点， 并将各个中值 点进行连线输出， 具体为： 遍历各个感兴趣区域ROI内密集点的坐标， 对遍历到的感兴趣区域ROI内的最左X坐标 与最右X坐标进行中值计算， 得到中值点的X坐标， 对遍历到的感兴趣区域ROI内的最上Y坐 标与最下Y坐标进行中值计算， 得到中值点的Y坐标， 从而得到所有感兴趣 区域ROI对应的n 个中值点， 将各个中值 点进行连线并输出， 从而完成对教师模型的训练。 6.根据权利要求1所述的工业机器人姿态识别方法， 其特征在于， 所述基于均方误差函 数MSE构建总体FD PD蒸馏损失函数， 具体为： 对每个关节点设置关节标签， 第k个关节标签对应的高斯置信度mk为：权　利　要　求　书 1/3 页 2 CN 115270399 A 2其中， (x， y)表示关节点像素位置， σ 表示预先固定的空间方差， xk和yk分别表示中值点 的坐标； 通过高斯置信度mk和第k个关节点的预测置信图构建均方误差函数MSE， 所述均方误差 函数MSE为： 其中， ^mk表示第k个关节的预测置信图； 基于均方误差函数MSE， 并通过反向传播学习方法构建蒸馏损失函数， 所述蒸馏损失函 数为： 其中， 和 分别表示由所述教师模型和正在训练 的学生模型预测的第 k个关节的 置信度图； 通过所述均方误差函数MSE和所述蒸馏损失函数构 建均方误差函数MSE， 所述总体FDPD 损失函数为： Lfdpd＝α Lpd+(1‑α )Lmse， 其中， α表示交叉验证估计的两项损 失之间的平衡度量， Lfdpd表示总体FDPD损 失函数， Lmse表示均方误差函数MSE 。 7.根据权利要求1所述的工业机器人姿态识别方法， 其特征在于， 所述通过总体FDPD蒸 馏损失函数和所述工业机器人2D姿态信息训练所述学生模型， 具体为： 在所述训练后的教师模型和所述学生模型之间建立主干网络； 通过所述主干网络将总体FDPD损失函数和所述工业机器人2D姿态信息输入所述学生 模型中； 通过总体FDPD损失函数和工业机器人2D姿态信息对所述学生模型进行迭代训练， 从而 完成对学生模型的训练。 8.一种工业机器人姿态 识别装置， 其特 征在于， 包括： 图像预处理模块， 用于导入工业机器人视频， 从所述工业机器人视频中提取出多个工 业机器人2D图像， 并对多个工业机器人2D图像进行整理， 通过整理后的多个工业机器人2D 图像得到 工业机器人2D图像集； 教师模型训练模块， 用于基于人体姿态估计模型DensePose构 建教师模型， 通过工业机 器人2D图像集对所述教师模型进 行训练， 通过训练后的教师模型输出工业机器人2D姿态信 息； 学生模型训练模块， 用于基于均方误差函数MSE构建总体FD PD蒸馏损失函数； 基于训练后的教师模型构建学生模型， 通过总体FDPD蒸馏损失函数和所述工业机器人 2D姿态信息训练所述学生模型， 通过训练后的学生模型识别工业机器人2D图像集中各个工 业机器人2D图像的工业机器人姿态。权　利　要　求　书 2/3 页 3 CN 115270399 A 3