(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210353783.6 (22)申请日 2022.04.06 (71)申请人 淮阴工学院 地址 223003 江苏省淮安市经济技 术开发 区枚乘东路1号 (72)发明人 刘晓洋　缪煜洋　赵东阳　于耀泽　 张昊　孙兴锐　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 江燕飞 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/25(2022.01) G06T 7/13(2017.01) G06T 7/246(2017.01)G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 集装箱锁孔识别定位方法、 系统及存 储介质 (57)摘要 本发明公开一种集装箱锁 孔识别定位方法、 系统及存储介质， 其中方法包括如下步骤： S1： 利 用设置于集装箱吊具的一组对角的立体相机持 续采集集装箱的俯视平面图像； S2： 采用优化的 深度学习目标检测模型检测俯视平面图像中的 锁孔位置进行 实时识别跟踪定位， 并根据识别获 得锁孔位置控制吊具下 降同时向集装箱中心方 向移动， 直至吊具距离集装箱高度小于设定阈 值； S3： 立体相机采集集装箱的深度图像， 并对深 度图像进行预处理， 并通过边缘检测确定集装箱 四角的位置； S4： 根据集装箱四角与锁孔中心的 几何关系， 计算锁孔中心位置。 上述方法， 根据集 装箱深度图像边缘检测推算锁 孔位置， 推算得到 的锁孔位置精度更高， 且受室外复杂场景及光线 环境的影响较少。 权利要求书1页 说明书4页 附图2页 CN 114863250 A 2022.08.05 CN 114863250 A 1.一种集装箱 锁孔识别定位方法， 其特 征在于， 包括如下步骤： S1： 利用设置 于集装箱吊具的一组对角的立体相机持续采集 集装箱的俯视平面图像； S2： 采用优化的深度 学习目标检测模型检测俯视平面图像中的锁孔位置进行实时识别 跟踪定位， 并根据识别获得锁孔位置控制吊具下降同时向集装箱中心方向移动， 直至吊具 距离集装箱高度小于设定阈值； S3： 立体相机采集集装箱的深度图像， 并对深度图像进行预处理， 并通过边缘检测确定 集装箱四角的位置； S4： 根据集装箱四角与锁孔中心的几何关系， 计算锁孔中心位置 。 2.根据权利要求1所述的集装箱锁孔识别定位方法， 其特征在于， 所述步骤S2中的深度 学习目标检测模型进行 的优化包括： 以标准集装箱锁孔的长宽比约束锚框的纵横比， 并根 据吊具高度、 集装箱所在层数及立体相 机参数计算锁孔在图像中大小， 以该大小约束锚框 的大小。 3.根据权利要求2所述的集装箱锁孔识别定位方法， 其特征在于， 所述步骤S2中的深度 学习目标检测模型进行 的优化还包括： 对采集的平面图像进行关键点检测， 根据关键点分 布密度聚类中心确定锚框生成的位置并生成对应数量的锚框 。 4.根据权利要求1所述的集装箱锁孔识别定位方法， 其特征在于， 所述步骤S2中的深度 学习目标检测模型为YOLO  V4目标检测模型。 5.根据权利要求1所述的集装箱 锁孔识别定位方法， 其特 征在于， 所述 步骤S2包括： S2.1： 两个立体相机分别采集一副集装箱的俯视平面 图像， 并采用深度学习目标检测 模型识别平面图像中的锁孔 位置； S2.2： 根据吊具高度、 锁孔 位置计算吊具中心与集装箱中心的位置关系； S2.3： 根据吊具中心与集装箱中心的位置关系控制吊具下降的同时向集装箱中心移 动， 并再次采集 集装箱的俯视平面图像， 根据吊具位移推算平面图像上锁孔的位置范围； S2.4： 采用深度学习目标检测模型在推算的位置范围内进行锁孔位置的识别， 并返回 步骤S2.2， 直至吊具距离集装箱的高度小于设定阈值。 6.根据权利要求1所述的集装箱 锁孔识别定位方法， 其特 征在于， 所述 步骤S3包括： S3.1： 两个立体相机分别各采集 一副集装箱的深度图像； S3.2： 以两个立体相机 同一时刻采集的彩色图像为基础， 采用联合双边滤波方法对深 度图像进行 滤波和孔洞填充； S3.3： 采用Canny算子对经过处理后的深度图像中具有高度显著性的边缘进行检测， 将 边缘的拟合 直线的交点认定为 集装箱角的位置； S3.4： 根据获得的一组对角的位置建立平面 二维坐标系， 推算另外一组对角的位置 。 7.一种用于实施根据权利要求1至6任一项所述的集装箱锁孔识别定位方法的集装箱 锁孔识别定位系统， 其特征在于， 包括控制器及至少两个立体相机， 两个所述立体相机与所 述控制器电性连接， 两个所述 立体相机分别设置 于集装箱吊具的一组对角上。 8.一种存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被设置为运行时实 现根据权利要求1至 6任一项所述的集装箱 锁孔识别定位方法。权　利　要　求　书 1/1 页 2 CN 114863250 A 2集装箱锁孔识别定位方 法、 系统及存 储介质 技术领域 [0001]本发明属于港 口自动化技术领域， 特别涉及一种集装箱锁孔识别定位方法、 系统 及存储介质。 背景技术 [0002]自动化的港 口采用无人化管理和运行模式， 不仅能够节约人力成本， 而且自动化 的货物转运和管理方式效率高， 能够极大提高港口货物的吞吐量， 从而实现经济效益的有 效增长。 集装箱抓取是自动化港口在货物转运过程中的重要环节， 实现难度和技术复杂度 较高， 其中的关键是集装箱锁孔的识别和定位。 若采用人工进 行操作， 不仅对工人熟练度要 求较高， 而且易引起工人疲劳， 存在较大安全风险。 [0003]目前， 自动化港 口主要采用高精度雷达实现集装箱锁孔的识别和定位， 该方法虽 然有效， 但是成本较高不利于大规模推广。 基于机器视觉的方法成本较低， 但是面对室外复 杂的场景和光线环境， 难以实现锁孔的准确识别和高精度定位， 限制 了集装箱自动抓取技 术的应用。 发明内容 [0004]发明目的： 本发明的目的是提出一种集装箱锁孔识别定位方法， 可以提高锁孔的 位置识别精度， 并且可以适应室外复杂的场景和光线环境。 [0005]本发明的另一目的是提出一种可以实施上述集装箱锁孔识别定位方法的系统， 以 及存储有上述识别定位方法实例化的计算机程序的存 储介质。 [0006]技术方案： 本发明所述的集装箱 锁孔识别定位方法， 包括如下步骤： [0007]S1： 利用设置于集装箱吊具的一组对角的立体相机持续采集集装箱的俯视平面图 像； [0008]S2： 采用优化的深度学习目标检测模型检测俯视平面图像中的锁孔位置进行实时 识别跟踪定位， 并根据识别获得锁孔位置控制吊具下降同时向集装箱中心方向移动， 直至 吊具距离集装箱高度小于设定阈值； [0009]S3： 立体相机采集集装箱的深度图像， 并对深度图像进行预处理， 并通过边缘检测 确定集装箱四角的位置； [0010]S4： 根据集装箱四角与锁孔中心的几何关系， 计算锁孔中心位置 。 [0011]进一步的， 所述步骤S2中的深度学习目标检测模型进行的优化包括： 以标准集装 箱锁孔的长宽比约束锚框的纵横比， 并根据吊具高度、 集装箱所在层数及立体相 机参数计 算锁孔在图像中大小， 以该 大小约束锚框的大小。 [0012]进一步的， 所述步骤S2中的深度学习目标检测模型进行的优化还包括： 对采集的 平面图像进行关键点检测， 根据关键点分布密度聚类中心确定锚框生成的位置并生成对应 数量的锚框 。 [0013]进一步的， 所述 步骤S2中的深度学习目标检测模型为YOLO  V4目标检测模型。说　明　书 1/4 页 3 CN 114863250 A 3