(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211213762.0 (22)申请日 2022.09.30 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 曹增辉　吴宗泽　任志刚　谭淇　 赖家伦　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 高棋 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06V 10/44(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于多维度度量的小样本Mini LED缺 陷检测方法及系统 (57)摘要 本发明公开了一种基于多维度度量的小样 本Mini LED缺陷检测方法及系统， 方法包括以下 步骤： S1： 获取Mini  LED屏幕图片并进行 图像灰 度化处理； S2： 将灰度化处理的图像进行二值化 处理； S3： 确定二值化处理后图像的轮廓坐标， 根 据轮廓坐标对单个LED矩阵图像进行裁剪； S4： 以 ResNet18作为特征提取模块构建检测模型并训 练， 得到训练后的检测模型； S5： 待检测的单个 LED矩阵图像输入训练好的检测模型， 输出缺陷 检测结果。 本发 明通过图像预处理能够快速确定 LED矩阵位置进而得到 单个LED矩阵图， 同时在检 测模型中采用多维度度量方式来克服经典度量 方式计算相似度维度单一不能很好表达图片相 似度的问题， 提高了缺陷检测的准确度。 权利要求书3页 说明书10页 附图3页 CN 115546141 A 2022.12.30 CN 115546141 A 1.一种基于多维度 度量的小样本 Mini LED缺陷检测方法， 其特 征在于， 包括以下步骤： S1： 获取Mi ni LED屏幕图片并进行图像灰度化处 理； S2： 将灰度化处 理的图像进行二 值化处理； S3： 确定二 值化处理后图像的轮廓坐标， 根据轮廓坐标对单个LED矩阵 图像进行裁 剪； S4： 以ResNet18作为特 征提取模块构建检测模型并训练， 得到训练后的检测模型； S5： 待检测的单个LED矩阵 图像输入训练好的检测模型， 输出缺陷检测结果。 2.根据权利要求1所述的一种基于多维度度量的小样本Mini  LED缺陷检测方法， 其特 征在于， 步骤S1中图像灰度化处 理的数学表达式为： 其中， Gray(i,j)表示像素点(i,j)的灰度值， R(i,j)表示图像像素点的R分量， G(i,j) 表示图像 像素点的G 分量， B(i,j)表示图像 像素点的B分量。 3.根据权利 要求1所述的一种基于多维度度量的小样本MiniLED缺陷检测方法， 其特征 在于， 在进行二值化操作中， 若灰度图上像素点灰度值小于预设阈值则置为0， 若大于预设 阈值时置为 最大值max val。 4.根据权利 要求1所述的一种基于多维度度量的小样本MiniLED缺陷检测方法， 其特征 在于， 确定二值化处理后图像的轮廓坐标， 根据轮廓坐标对 单个LED矩阵图像进 行裁剪具体 步骤为： 利用掏空内部点法确定二值化处理后图像的轮廓， 确定轮廓左上和右下点的坐标， 根 据左上和右下点的坐标确定LED矩阵的外接矩形， 根据外接矩形对单个LED矩阵图像进 行裁 剪。 5.根据权利 要求1所述的一种基于多维度度量的小样本MiniLED缺陷检测方法， 其特征 在于， 以ResNet18作为特征提取模块构建检测模型， 其中， 检测模型采用多维度度量方式 MDM作为度量方式， 以交叉熵损失函数作为损失函数进行训练和预测。 6.根据权利要求5所述的一种基于多维度度量的小样本Mini  LED缺陷检测方法， 其特 征在于， 所述检测模 型的训练包括三个部 分： 网络的数据处理、 网络的训练模式的确定以及 预训练辅助数据集； 网络的数据处 理： 在单个任务中， 从训练数据集中随机选取N个标签类别， 在每个类别中随机采样K个样 本作为当前任务的训练集， 并随机采样不重复的一个或多个样本作为测试集； 网络模型 的 输入通过一个标准的特 征提取层g( θ )， 提取到训练集的特 征向量； 测试集用于评估检测模型的性能， 从训练集和测试集的图像中获得特征提取的结果 后， 将提取到的特 征图传入度量 函数来计算MDM相似度； 网络的训练模式： 网络的训练过程是将训练集分成小的few ‑shot子集， 并且划分为训练集和测试集， 即 网络的训练阶段实是多次FSL学习的叠加； 预训练辅助数据集： 网络训练是辅助数据集预训练加目标数据集微调的方式进行训练， 其中， 辅助训练集 为PVEL‑AD数据集。权　利　要　求　书 1/3 页 2 CN 115546141 A 27.根据权利 要求1所述的一种基于多维度度量的小样本MiniLED缺陷检测方法， 其特征 在于， 检测模型采用多维度度量方式， 多维度度量包括： 余弦距离单元、 结构相似性单元， 其 中， 余弦距离单元用于计算余弦距离， 结构相似性单元用于从亮度、 对比度、 结构的维度去 计算两个特 征向量之间的相似度。 8.根据权利要求7所述的一种基于多维度度量的小样本Mini  LED缺陷检测方法， 其特 征在于， 结构相似性单 元分别进行三个方面的度量： 亮度、 对比度、 结构： 亮度： 通过对所有像素值进行平均测量得到亮度值 μx， 其中， xi为图像x的第i个 像素值， N 为像素值的总数； 对比度： 取 所有像素值的标准差来测量， 对比度σx的表达式为： σx表示图像x的对比度； 结构： 研究的是归一化的两个向量： (x ‑μx)/σx和(y‑μy)/σy之间的关系， 结构s(x,y)的具 体公式： 分别定义亮度比较函数、 对比度比较函数、 结构比较函数； 亮度比较函数的表达式为： 其中， μx表示图像x的亮度， μy表示表示图像y的亮度， x和y是被比较的两个图像； 对比度比较函数的表达式为： σx表示图像x的对比度, σy表示图像y的对比度； x和y是被比较的两个图像； 结构比较函数表达式为： 其中， σxy定义为： 其中C1， C2， C 3为常数， 保证分母为0时的稳定性， 则有： C1＝(K1L)2,C2＝(K2L)2,C3＝(K3L)2 定义结构相似性 函数： SSIM(x,y)＝[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ 其中α >0, β >0,γ>0表示每 个度量标准的相对重要性， 简化表达式， 令：权　利　要　求　书 2/3 页 3 CN 115546141 A 3