(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211008095.2 (22)申请日 2022.08.22 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 赵池航　郑有凤　马欣怡　苏子钧　 吴宇航　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 张天哲 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/766(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/00(2012.01) G06Q 50/26(2012.01) (54)发明名称 基于融合卷积神经网络的高速公路沥青路 面病害感知方法 (57)摘要 本发明公开了一种基于融合卷积神经网络 的高速公路沥青路面病害感知方法， 包括： 使用 优化Mobilenet  V3网络替换Deeplabv3+骨干网 络， 构建DL ‑M‑PDS网络； 改进网络参数， 构建用于 公路沥青路面病害分割的DL ‑M2‑PDS优化网络； 通过该优化网络获取路面像素级病害信息， 并与 原图像叠加； 对Faster ‑RCNN、 Yolov5s、 SSD模型 进行适应性改进， 构建用于公路沥青 路面病害检 测的FR‑PDD、 Yolov5s ‑PDD、 SSD‑PDD网络模型； 输 入叠加病害图像， 构建用于公路沥青 路面病害感 知的FCNN ‑PDP‑FR、 FCNN‑PDP‑Yolov5s和FCNN ‑ PDP‑SSD网络； 训练网络并优 化参数， 优选模型进 行高速公路沥青 路面病害感知。 本发 明将公路沥 青路面病害分割模型与公路沥青路面病害检测 分类模型进行融合， 以实现分割病害的同时提高 模型的检测分类精度， 可对高速公路养护智能化 发展提供技 术支持。 权利要求书2页 说明书7页 附图6页 CN 115393587 A 2022.11.25 CN 115393587 A 1.基于融合卷积神经网络的高速公路沥青路面病害感知方法， 其特征在于： 包括如下 步骤： S1： 将Deeplabv3+骨干网络替换为优化Mobilenet  V3网络， 构建用于公路沥青路面病 害分割的DL ‑M‑PDS网络； S2： 改进网络参数， 构建用于公路沥青路面病害分割的DL ‑M2‑PDS优化网络； S3： 通过DL ‑M2‑PDS路面病害分割模型获取路面像素级的分割 病害信息； S4： 将像素级信息与原图像进行叠加； S5： 对Faster‑RCNN、 Yolov5s、 SSD模型进行适应性改进， 构建用于公路沥青路面病害检 测的FR‑PDD、 Yolov5s‑PDD、 SSD‑PDD融合卷积神经网络网络模型； S6： 叠加公路沥青路面病害图像分别输入FR ‑PDD、 Yolov5s ‑PDD、 SSD‑PDD， 构建用于公 路沥青路面病害感知的FCN N‑PDP‑FR、 FCNN‑PDP‑Yolov5s和FCN N‑PDP‑SSD三种网络； S7： 进行模型训练并优化参数， 优选FCNN ‑PDP‑FR、 FCNN‑PDP‑Yolov5s和FCNN ‑PDP‑SSD 网络模型进行高速公路沥青路面病害感知。 2.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法， 其特征在于： 所述 步骤S1中优化Mobi lenet V3的具体步骤如下： S1‑1： 在bneck基本结构中按需要加入空洞卷积； S1‑2： 在每次bneck深度卷积之后添加额外的批量标准 化和NL激活函数。 3.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法， 其特征在于： 所述步骤S2中改进网络参数的主要内容为： 优化输出步幅为 16； 优化空洞卷积 步长rate为[3,5,8,1 1]。 4.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法， 其特征在于： 所述 步骤S3的具体内容 为： S3‑1： 输入公路沥青路面病害原图像， 规格化分割网络图像尺寸 为513×513×3； S3‑2： 进行特征提取， 设置 输入图像与高维特 征图的尺度之比为16； S3‑3： 采用空间金字塔池化模块提取多尺度信息， 将不同尺度的特征图与image ‑level 特征拼接， 融合得到新特 征图像； S3‑4： 将高维特 征图插值到原 始图像大小， 输出二 值化的路面病害分割图像。 5.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法， 其特征在于： 所述步骤S4的具体内容为： 将二值化图像透明度设置为0.3， 原图像透明度设 置为0.7， 采用透明度混合 函数将二 值化图像与原图像叠加。 6.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法， 其特征在于： 所述 步骤S5的具体内容 为： S5‑1： 根据路面病害图像的特点， 对Faster ‑RCNN网络进行适应性改进， 保持锚框的面 积为128 ×128、 256 ×256、 512 ×512不变， 将锚框长宽比调整为1:1、 1:4、 4:1， 并保持 Faster‑RCNN基础网络结构不变， 构建FR ‑PDD公路沥青路面病害检测网络； S5‑2： 根据路面病害图像 的特点， 对Yolov5s网络进行适应性改进， 对已标注好的数据 集进行GT坐标的聚类回归， 产生9个最有可能锚框大小， 同时去除Yolov5s网络数据增强部 分， 构建Yo lov5s‑PDD公路沥青路面病害检测网络； S5‑3： 根据路面病害图像 的特点， 调整SSD网络输入图像参数， 以VGG16为骨干网络， 设权　利　要　求　书 1/2 页 2 CN 115393587 A 2置先验框的长 宽比为1、 2、 3、 1/2、 1/ 3， 构建SSD‑PDD公路沥青路面病害检测网络 。 7.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法， 其特征在于： 所述 步骤S6中构建用于沥青路面病害感知的FCN N‑PDP‑FR网络的方法为： ①提取： 网络自动规格化 图像， 骨干网络VGG16采用共享的卷积层提取全图特征， 得到 特征图； ②RPN： 通过系列锚框滑动卷积操作生成20000个锚框， 区分锚框是否包含路面病害目 标， 并对于包 含目标的锚框进行回归； ③分类： 将目标候选区域映射到特征图中并调整尺寸， 确定类别后再次回归修正以获 得路面病害精确位置； ④输出： 绘制检测框结果， 并得到最终的路面病害感知结果。 8.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法， 其特征在于： 所述步骤S6中构建用于沥青路面病害感知的FCNN ‑PDP‑Yolov5s网络的方法 为： ①提取： 通过Yolov5s的核心组成部分进行特征提取得到特征图， 主要步骤包括下采 样、 切片、 分块、 拼接； ②组合： 通过FPN+PAN完成金字塔组合得到不同维度的预测结果， Neck对提取到的路面 病害特征进行混合与组合； ③预测： 对三个维度的特征图产生大小不等的预测框， 对预测框进行边框回归操作和 目标框筛选操作得到最终的检测分类结果； ④分类： 网络根据预测框的坐标在输入路面图像上绘制预测框信息， 并标注预测框所 对应的路面病害类别。 9.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法， 其特征在于： 所述 步骤S6中构建用于沥青路面病害感知的FCN N‑PDP‑SSD网络的方法为： ①提取： 规格化图像， 通过骨干网络VG G16进行特征提取， 最终得到六层特 征图； ②生成： 在每一层特 征图上的每一 点上生成大小不同、 比例 相同的先验框； ③分类： 通过卷积完成分类和回归， 对每个先验框逐级分类和回归之后进行非极大值 抑制操作， 即得 出目标检测结果； ④输出： 将检测结果绘制到 输入公路沥青路面病害图像中。 10.根据权利要求1所述的基于 融合卷积神经网络的高速公路沥青路面病 害感知方法， 其特征在于： 所述 步骤S7的具体步骤如下： S7‑1： 通过损失函数曲线提供验证集数据反馈， 依次调节模型迭代次数、 学习率、 衰减 权重超参数； S7‑2： 采用AP和mAP进行FCNN ‑PDP‑FR、 FCNN‑PDP‑Yolov5s、 FCNN ‑PDP‑SSD三种网络的性 能评价， 综合对比选取最优高速公路沥青路面病害感知方法。权　利　要　求　书 2/2 页 3 CN 115393587 A 3