(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210143600.8 (22)申请日 2022.02.16 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号 (72)发明人 袁丽英　于文华　 (51)Int.Cl. G06V 20/58(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于深度学习的交通标志检测与识别方法 (57)摘要 本发明公开了基于深度学习的交通标志检 测与识别方法， 涉及交通标志技术领域； 它的方 法如下： 步骤一： 数据增强方法； 步骤二： YOLOv4 算法； 步骤 三： YOLOv4算法边界框不确定性预测； 步骤四： 基于K ‑means++聚类算法anchor参数优 化方法； 步骤五： 交通标志 检测与识别的流程； 本 发明有效减少特征提取过程中产生冗余的可能 性， 能够得到交通标志牌检测与识别模型； 提高 了对交通信号灯数据的检测精度以及预测边界 框可靠性。 权利要求书2页 说明书8页 附图5页 CN 114550134 A 2022.05.27 CN 114550134 A 1.基于深度学习的交通标志检测与识别方法， 其特 征在于： 它的方法如下： 步骤一： 数据增强方法： 数据增强是一种数据扩充方法， 分为同类增强即对原样本进行简单运算和混类增强即 以原样本为基础生成新的虚拟 样本两种方式； (1.1)、 Mixup： Mixup是应用在计算机 视觉领域对图像进行混类增强处 理的数据增强算法； (1.2)、 Cutout： Cuout数据增 强方法是卷积神经网络的一种简单正则化技术， 随机选择出一个固定大 小的正方形的区域， 使用0对正方形区域进行填充， 产生全新数据； 通过遮挡现有数据中的 一部分， 模拟出目标被遮挡的情况， 进 而提高模型的泛化能力； (1.3)、 Mosaic： Mosaic随机筛选出四张图片并对其进行剪裁， 将剪裁后的四张图片进行色域处理后， 将图片从左上开始逆时针放入新图片中， 完成拼接形成一张新图片； 步骤二： YOLOv4 算法： (2.1)、 YOLOv4网络结构： YOLOv4网络结构由输入端， Backbone， Neck和Prediction四部分组成， 输入端为416* 416*3大小的图片； Backbone主干网络为CSPDarknet53网络； 在Neck部分， 在Backbone和最 后输出层之间插入SPP模块和PANet模块； 在Prediction部分， 先验框与YOL Ov3的相同， 训练 损失函数为CIOU_L oss； (2.2)、 YOLOv4网络结构： YOLOv4算法将网络输入划分为S*S个网格单元， 每个网格单元预测B个边界框、 边界框 置信度和C个类别概率； 若某类目标落入划分的网格单元中， 则对该目标进行进一步检测； 每个网格单元计算出的B个边界框， 用tx、 ty、 tw、 th和置信度五个参数来表示； tx和ty代表边 界框中心点相对于网格单元的坐标， tw和th为预测边界框的宽度和高度， 置信度表示 该预测 边界框中含有某类目标的精确 程度； 将预测边界框的置信度与设置的阈值进行比较， 并对 类别置信度高于阈值的边界框使用非极大抑制算法获得最终的预测边界框； 预测到的边界 框包括tx、 ty、 tw、 th四个参数， YOLOv4 算法对上述 参数进行归一 化处理； (2.3)、 CS PDarknet‑53特征提取网络： CSPDarknet ‑53特征提取网络是以Darknet ‑53为基础， 加入跨阶段特征融合策略优化 而来； 在拆分与融合的过程中， 梯度流被截断， 因此不会重复利用梯度信息， 最大限度减少 冗余信息的产生； 主干特征提取网络Darknet53是通过对待检测输入图片特征的集合进行 下采样， 以此获得 更高的语义信息； (2.4)、 Neck网络： Neck部分主 要由SPP和PANet两个模块组成； 步骤三： YOLOv4 算法边界框不确定性预测： 在YOLOv4算法中加入边界框不确定性预测机制， 预测每个坐标信息的不确定性， 预计 在置信度的计算中加入了不确定性计算， 分别使用tx、 ty、 tw、 th的单个高斯模型对预测框的 不确定度进行建模， 采用的高斯模型为： p(y|x)＝ N(y； μ(x)， ∑(x) )   (7)权　利　要　求　书 1/2 页 2 CN 114550134 A 2其中， (x)代 表均值函数， ∑(x)代 表均值函数； 步骤四： 基于K ‑means++聚类算法anc hor参数优化方法： K‑means++算法是经典的聚类算法， 它使用各个样本 间的距离作 为评判标准， 进而实现 对样本的聚类； 在数据集合中， 样本的距离越近则被划分到一个簇心上的概率越 大； 在对交 通信号灯数据进行聚类分析中借鉴K ‑means++算法思想， 使用预测目标框和样本标签目标 框的交并比代 替K‑means++聚类算法的欧式距离作为函数目标参数， 目标函数D的计算公式 为： 其中， box表示样本标签的目标框， cen为聚类中心的目标框， n为样本总数， k为样本目 标类别数； 步骤五： 交通标志检测与识别的流 程： 使用改进后的YOLOv4 算法完成对交通标志牌的检测与识别， 具体的流 程安排如下： (5.1)、 使用多种数据增强方法对训练集中的交通标志数据进行数据扩充与增强， 将增 强后的数据进行缩放处 理至416*416后， 作为整个训练网络的输入； (5.2)、 将处理后的数据输入至CSPDarknet ‑53特征提取网络， 对交通标志数据进行特 征提取； (5.3)、 将提取到 的特征输入到改进后的YOLOv4网络中， 进行训练， 得到交通标志牌检 测与识别模型； (5.4)、 将测试集图像输入至改进后的同一网络中， 调用训练得到的交通标志检测与识 别模型对测试集中图像进行检测与识别， 并输出检测与识别结果。 2.根据权利要求1所述的基于深度学习的交通标志检测与识别方法， 其特征在于： 所述 Mixup的原理如下： λ～Beat( α， β ) mixed_batc hx＝ λ*batc hx1+(1‑λ )*batc hx2 mixed_batc hy＝ λ*batc hy1+(1‑λ )*batc hy2    (1) 其中， batchx1是样本1， batchy1是样本1对应的标签； batchx2是样本2， batchy2是样本2对 应的标签， 使用参数α， β 的贝塔分布计算出新样本的混合系数； Beta为贝塔分布， mixed_ batchx是混合后的样本， mixed_batc hy是混合后的样本对应的标签。 3.根据权利要求1所述的基于深度学习的交通标志检测与识别方法， 其特征在于： 所述 SPP模块主要是利用K＝{1 ×1， 5×5， 9×9， 13×13}不同池化核大小的最大池化方法， 对输 入进来的特征层 进行池化后堆叠操作， 最大池化采用padding操作， 移动步长str ide＝1， 保 证池化后的特 征图尺度不变。 4.根据权利要求1所述的基于深度学习的交通标志检测与识别方法， 其特征在于： 所述 PANet结构由FPN和PAN两部分组成的， FPN提取到的低分辨率特征信息通过上采样的方法得 到预测的特征图； PAN是自底向上的网络结构， 将FPN得到的特征图进一步通过下采样方法 进行传递融合， 得到预测的特征图， 缩短了顶层与底层特征之 间的信息路径， 两相结合 从不 同的主干层对不同的检测层进行 特征聚合， 进一 步加强了特 征的提取。权　利　要　求　书 2/2 页 3 CN 114550134 A 3