(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210789995.9 (22)申请日 2022.07.06 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 王耀南　刘学兵　朱青　袁小芳　 冯明涛　周显恩　冯运　谭浩然　 唐永鹏　武子杰　 (74)专利代理 机构 长沙市护航专利代理事务所 (特殊普通 合伙) 43220 专利代理师 莫晓齐 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/44(2022.01) G06V 10/766(2022.01) G06V 20/70(2022.01) G06T 1/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于密集预测的工件位姿估计方法与 抓取系统 (57)摘要 本发明公开了一种基于密集预测的工件位 姿估计方法与抓取系统， 搭建密集逐像素预测网 络并训练， 获取包含工件的场景RGB图像输入该 预测网络， 利用网络中的特征金字塔网络提取图 像的逐像素卷积特征， 采用三个回归分支网络从 逐像素卷积特征中分别预测逐像素的语义信息、 中心点信息和关键点信息， 利用前述信息进行多 工件实例分割， 得到每个工件实例的密集关键点 预测， 采用投票策略确定各工件关键点2D位置， 通过工件关键点2D位置以及对应工件模型上的 3D位置建立2D ‑3D对应关系， 采用UD ‑PnP算法计 算工件的6D位姿。 该方法网络结构简单、 鲁棒性 强、 执行速度快， 适合复杂工业场景下弱纹理、 多 工件任意位姿工件的抓取任务。 权利要求书3页 说明书9页 附图4页 CN 115147488 A 2022.10.04 CN 115147488 A 1.一种基于密集预测的工件位姿估计方法， 其特 征在于， 所述方法包括以下步骤： 步骤S1： 搭建密集逐像素预测网络， 所述网络包括特征金字塔网络和三个回归分支网 络， 所述特征金字塔网络用于对输入的RGB图像进 行特征提取， 以获得图像的逐像素卷积特 征， 所述三个回归分支网络分别对输入的逐像素 卷积特征进行密集逐像素信息预测； 步骤S2： 将预设的训练集输入至搭建好的密集逐像素预测网络进行训练， 得到训练后 的网络， 根据预设的损失函数计算所述网络的损失值， 并反向传播更新所述网络的网络参 数， 得到更新后的密集逐像素 预测网络； 步骤S3： 获取包含多个工件场景下的RGB图像， 将其输入至所述更新后的密集逐像素预 测网络中， 得到每 个像素所属工件实例的语义信息、 中心点信息以及关键点信息； 步骤S4： 根据 所述每个像素所属工件实例的语义信息和中心点信 息进行多工件实例分 割， 从逐像素关键点信息预测中得到每个工件实例的密集关键点预测， 采用投票策略确定 各工件关键点2D位置； 步骤S5： 通过工件关键点2D位置以及对应工件模型上的3D位置建立2D ‑3D对应关系， 采 用UD‑PnP算法计算工件的6D位姿并发送到机器人抓取系统中， 实现工业场景下任意位姿工 件的抓取任务。 2.根据权利要求1所述的基于密集预测的工件位姿估计方法， 其特征在于， 所述步骤S1 中的特征金字塔网络以ResNet ‑18网络为主干网络， 舍弃其 “layer3”及后续卷积层， 通过3 次2倍上采样操作， 将卷积特征图尺 寸恢复至输入图像大小， 并且利用跨连接操作将相同尺 寸的下采样特 征和上采样特 征进行融合。 3.根据权利要求1所述的基于密集预测的工件位姿估计方法， 其特征在于， 所述三个回 归分支网络分别为逐像素语义预测网络、 逐像素中心点预测网络和逐像素关键点预测网 络， 所述步骤S1中的所述三个回归分支网络 分别对输入的逐像素卷积特征进 行密集逐像素 信息预测， 包括： 所述逐像素语义预测网络对输入的逐像素卷积特征进行密集逐像素语义信 息预测， 得 到预测逐像素语义信息； 所述逐像素中心点预测网络对输入的逐像素卷积特征进行密集逐像素中心点信息预 测， 得到预测逐像素中心点 位置信息； 所述逐像素关键点预测网络对输入的逐像素卷积特征进行密集逐像素关键点信息预 测， 得到预测逐像素关键点 位置信息和置信度信息 。 4.根据权利要求3所述的基于密集预测的工件位姿估计方法， 其特征在于， 所述步骤S1 中三个回归分支网络分别由单层卷积层构成。 5.根据权利要求3所述的基于密集预测的工件位姿估计方法， 其特征在于， 所述步骤S3 中获取包含多个工件场景下 的RGB图像， 将其输入至更新后的密集逐像素预测网络中得到 中心点位置信息， 具体为： 其中， vc(p)为预测的像素p的中心点位置， c|p,x为像素p所属工件中心点图像x坐标， p|x 为像素p的x值， c|p,y为像素p所属工件中心点图像y坐标， p|y为像素p的y值， W和H为输入图权　利　要　求　书 1/3 页 2 CN 115147488 A 2像宽、 高尺寸； 所述步骤S3中获取包含多个工件场景下的RGB图像， 将其输入至更新后的密集逐像素 预测网络中得到关键点 位置信息和置信度信息， 具体为： 其中， vk(p)为预测的像 素p的关键点位置， x 为像素p所属工件的关键点图像坐标， 下标k 区别不同关键点， p为像素p的坐标； 其中， sk(p)为每个关键点预测的置信度， x为像素p所属工件的关键点图像坐标。 6.根据权利要求5所述的基于密集预测的工件位姿估计方法， 其特征在于， 所述步骤S2 中预设的损失函数 具体为： 其中， 为网络的总损失， α、 β、 γ分别为语义分支、 中心点分支和关键点分支权重因 子， 为语义分支网络损失函数， 采用交叉熵损失， 为中心点分支网络损失函数， 为 关键点分支网络损失函数， 由位置损失 和置信度损失 构成， 为网络预测的像素p 中心点位置， 为其对应真值， 为网络预测的像素p关键点位置， 为其对应真 值， 为网络预测的像素p关键点 位置置信度值， 为其对应真值。 7.根据权利要求5所述的基于密集预测的工件位姿估计方法， 其特征在于， 所述步骤S4 根据所述每 个像素所属工件实例的语义信息和中心点信息进行多工件实例分割， 具体为： 步骤S41： 对所述每个像素所属 工件实例的语义信息进行softmax()处理， 得到每个像 素所属工件类别， 并利用其从预测的逐像素中心 点位置信息中分离出不同类别工件的逐像 素中心点 位置预测信息； 步骤S42： 对每类工件的逐像素中心点位置预测信息进行聚类以得到同类工件不同实 例的中心点分布区域； 步骤S43： 根据 逐像素预测的中心点所属区域对每个像素分配不同实例标签， 得到不同 工件的实例掩码。 8.根据权利要求7所述的基于密集预测的工件位姿估计方法， 其特征在于， 所述步骤 S42包括：权　利　要　求　书 2/3 页 3 CN 115147488 A 3