(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210193858.9 (22)申请日 2022.03.01 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市江干经济发开 去2号大街9 28号 (72)发明人 吕文涛　余序宜　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/774(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) (54)发明名称 改进Scaled- YOLOv4的织物瑕疵检测方法 (57)摘要 本发明公开了一种基于Scaled ‑YOLOv4改进 算法的织物瑕疵检测方法。 方法包括： 建立扩展 织物图像 数据集； 搭建改进Scaled ‑YOLOv4网络； 选取训练集输入改进网络中训练， 并得到训练候 选预测框； 计算改进网络的整体损失值， 并更新 参数； 获得调整后的改进Scaled ‑YOLOv4网络； 将 验证集输入处理， 并获得验证候选框； 计算织物 类别的平均精确度值； 获得训练完成的改进 Scaled‑YOLOv4网络； 将待检测织物图像数据集 输入处理， 保留最终预测框； 映射进行织物瑕疵 的检测定位。 本发明实现了网络精度和速度的双 双提升， 大大加强对织物瑕疵的检测能力并加快 检测效率， 更适合在实际工业场景下对织物瑕疵 进行实时检测。 权利要求书4页 说明书9页 附图3页 CN 114549507 A 2022.05.27 CN 114549507 A 1.一种改进Scaled ‑YOLOv4的织物瑕疵检测方法， 其特 征在于： 方法步骤如下： S1)采集织物图像， 建立织物图像数据集， 将织物图像数据集依次进行织物瑕疵数据 标 注和数据增强处理， 每张织物图像上均数据标注获得若干织物瑕疵的目标GT框， 并获得增 强织物图像数据集， 将增强织物图像数据集加入织物图像数据集中建立扩展织物图像数据 集， 扩展织物图像数据集包括若干张扩展织物图像； S2)按照预设比例将扩展织物图像数据集进行划分， 获得训练集和验证集； S3)根据目标GT框 的数据标注， 使用Kmeans++聚类算法对训练集中的所有 目标GT框进 行聚类， 得到K个先验框； S4)搭建改进Scaled ‑YOLOv4网络； S5)训练集中包括M张扩展织物图像， 选取训练集中的X张扩展织物图像输入改进 Scaled‑YOLOv4网络中进行训练， 针对每张扩展织物图像， 均输出N张训练预测特 征图； S6)针对每张扩展织物图像的N张训练预测特征图， 将步骤S3)中的K个先验框均匀分布 到N张训练预测特征图上， 并根据训练预测特征图的图像信息对K个先验框进行调整， 并分 别获得K个训练预测框， 根据目标GT框 选取若干训练预测框作为训练候选 框； S7)根据训练候选框和目标GT框计算改进Scaled ‑YOLOv4网络的整体损失值， 并使用梯 度下降法更新改进Scaled ‑YOLOv4网络的参数； S8)针对训练集 中的每张扩展织物图像重 复步骤S5) ‑S7)进行处理， 当次重 复选取的训 练集中的X张扩展织物图像输入 上一次重复步骤S7)后参数更新的改进Scaled ‑YOLOv4网络 中处理， 直至训练集中所有的扩展织物图像均输入参数更新的改进Scaled ‑YOLOv4网络处 理过， 获得 此时的改进Scaled ‑YOLOv4网络作为预训练改进Scaled ‑YOLOv4网络； S9)将验证集输入预训练改进Scaled ‑YOLOv4网络中处理， 针对验证集中的每张扩展织 物图像， 均输出N张验证预测特征图； 对N张验证预测特征图进行步骤S6)中处理N张训练预 测特征图的相同的处理， 获得若干验证预测框， 根据目标GT框选取若干验证预测框作为验 证候选框； 根据验证候选框和目标GT框计算验证集中各个织物类别的精确度值AP， 并计算所有精 确度值AP的平均精确度值mAP； S10)重复步骤S8) ‑S9)， 直至多次获得的平均精确度值mAP等于一个固定值， 获得此时 的预训练改进Scaled ‑YOLOv4网络作为训练完成的改进Scaled ‑YOLOv4网络； S11)获取待检测织物图像， 建立待检测织物图像数据集， 将待检测织物图像数据集输 入训练完成 的改进Scaled ‑YOLOv4网络中处理， 针对每张待检测织物图像， 均输出N张检测 预测特征图； 对N张检测预测特征图进行步骤S 6)中处理N张训练预测特征图的相同的处理， 获得若干检测预测框； 使用非极大值抑制NMS去除若干检测预测框中的冗余框， 保留的检测 预测框作为 最终预测框； 根据检测预测特征图和待检测织物图像的比例关系， 将最终预测框映射至待检测织物 图像中进行织物瑕疵的检测定位。 2.根据权利要求1所述的一种改进Scaled ‑YOLOv4的织物瑕疵检测方法， 其特 征在于： 所述的步骤S1)中， 首先对织物图像数据集中的每张织物图像中的每个织物瑕疵进行 类别和位置的数据标注， 其中织物瑕疵共包括九种类别： 缝头sewing、 缝头印sewing  权　利　要　求　书 1/4 页 2 CN 114549507 A 2print、 褶皱scri mp、 虫沾bug、 织疵flaw、 色差color  shade、 漏印mi ss print、 破洞hole和网 折fold； 目标GT框被标记为(class， xmin， ymin， xmax， ymax)， class表示目标GT框内所含织物瑕 疵的类别， xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标， xmax和ymax表示目 标GT框右下角顶点的x坐标和y坐标； 然后使用Mosaic数据增强对织物图像数据集进行数据增强处理， 在Mosaic数据增强 后， 织物图像数据集中的每张织物图像均会有20％的比例进行Mixup数据增强处 理。 3.根据权利要求1所述的一种改进Scaled ‑YOLOv4的织物瑕疵检测方法， 其特 征在于： 所述的步骤S2)中， 训练集和验证集的预设比例为8： 1。 4.根据权利要求2所述的一种改进Scaled ‑YOLOv4的织物瑕疵检测方法， 其特 征在于： 所述的步骤S3)中， 通过目标GT框的数据标记获取目标GT框的宽和高， 使用Kmeans++算 法根据目标GT框的宽和高对训练集中的所有目标GT框进 行聚类， 得到K个聚类中心 坐标， 以 K个聚类中心坐标分别作为宽和高构成K个先验框 。 5.根据权利要求1所述的一种改进Scaled ‑YOLOv4的织物瑕疵检测方法， 其特 征在于： 所述的步骤S4)中， 改进Scaled ‑YOLOv4网络包括依次连接的改进主干网络 CSPDarknet53、 改进BiFPN结构、 改进预测头 部分和三个损失函数L oss： a)改进主干网络 CSPDarknet53： 改进主干网络CSPDarknet53包括依次连接的五层瓶颈结构层， 第一层瓶颈结构层中包 括瓶颈结构模块Bottleneck， 第二层瓶颈结构层中包括第一CSP瓶颈结构模块 BottleneckCSP， 第三层瓶颈 结构层中包括第二CSP瓶颈结构 模块BottleneckCSP， 第四层瓶 颈结构层中包括依次连接的第三CSP瓶颈结构模块BottleneckCSP和第一激活函数Hard ‑ Swish， 第五层瓶颈结构层中包括依次连接的第四CSP瓶颈结构模块BottleneckCSP和第二 激活函数Hard ‑Swish； 改进主干网络CSPDarknet53的输入依次经五层瓶颈结构层处理后尺 度逐渐变小， 第三至五层瓶颈结构层的输出均 作为改进 主干网络 CSPDarknet53的输出； CSP瓶颈结构模块BottleneckCSP的结构相同， 均为融合了CSP结构的瓶颈结构模块， CSP结构为跨阶段局部结构； CSP瓶颈结构模块B ottleneckCSP包括第一1 ×1卷积层、 瓶颈结构Bottleneck层、 第二1 ×1卷积层、 第三1 ×1卷积层和融合函数Concat， CSP瓶颈结构 模块BottleneckCSP的输入分 别输入至第一 1×1卷积层和第三1 ×1卷积层进行 处理， 第一 1×1卷积层的输出依次输入至 瓶颈结构Bottleneck层和第二1 ×1卷积层处理， 第三1 ×1卷积层处理的输出和第二1 ×1卷 积层处理的输出经过融合函数Concat处理后输出， 输出结果作为CSP瓶颈结构模块 BottleneckCS P的输出； 瓶颈结构Bottleneck层包括n个瓶颈结构模块Bottleneck， 第一CSP瓶颈结构模块 BottleneckCSP、 第二CSP瓶颈结构模块BottleneckCSP、 第三CSP瓶颈结构模块 BottleneckCSP和第四CSP瓶颈 结构模块BottleneckCSP的瓶颈 结构Bottleneck层中的瓶颈 结构模块Bot tleneck的数目n分别为2、 8、 4和4； b)改进BiFPN结构： 改进BiFPN结构包括三层融合层， 第一层融合层包括第五CSP瓶颈结构模块 BottleneckCSP和第三激活函数Hard ‑Swis