(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221083426 3.7 (22)申请日 2022.07.14 (71)申请人 重庆大学 地址 400030 重庆市沙坪坝区正 街174号 (72)发明人 郎书君　周明亮　张太平　纪程　 魏雪凯　尚赵伟　向涛　房斌　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于深度学习的无参考图像质量评价 方法 (57)摘要 本发明公开了一种基于深度学习的无参考 图像质量评价方法， 首先， 将待预测图像质量的 数据集图像通过底层纹理特征提取网络、 低级轮 廓特征提取网络和高级全局语义特征提取网络， 由浅至深的提取失真图像的多层次特征； 其次， 采用基于注 意力机制的特征融合方法， 对提取出 的多层次特征进行融合， 以此增强多层次特征对 图像内容的表达能力； 最后， 根据提取出的多层 次特征和特征融合方法， 设计适应于整体模型的 损失函数， 以此获得最优的质量评价预测分数。 该方法不仅解决了传统方法面对多失真类型时 无法有效评估图像质量分数的问题， 还弥补了部 分基于深度学习的方法所出现的层次特征物理 意义不明确、 层次特 征信息未充分利用的情况。 权利要求书2页 说明书8页 附图3页 CN 115272203 A 2022.11.01 CN 115272203 A 1.一种基于深度学习的无参 考图像质量评价方法， 其特 征在于， 包括如下步骤： S1、 获取待预测图像质量的数据集图像； 将所述数据集图像统一调整为第一预设尺寸； S2、 将调整为第一预设尺寸的所述数据集图像输入特征提取网络中， 提取出三类不同 的特征图； 所述特征提取网络包括： 底层纹理特征提取网络、 低级轮廓特征提取网络和高级 全局语义特征提取网络； 所述三类不同的特征图包括： 纹理特征矩阵图、 低级轮廓特征矩阵 图和全局语义特 征图； S3、 分别将所述纹理特征矩阵图中的中间特征和所述低级轮廓特征矩阵图中的中间特 征进行广播相加， 进行 特征融合， 生成第一融合特 征图； S4、 将所述第 一融合特征图中的中间特征和所述全局语义特征图中的中间特征进行广 播相加， 进行 特征融合， 生成最终融合特 征图； S5、 将所述最终融合特征图输入多个全连接层和激活层， 得到所述待预测图像质量的 数据集图像的质量评价预测分数。 2.如权利要求1所述的一种基于深度 学习的无参考图像质量评价方法， 其特征在于， 所 述步骤S3和步骤S4中的特 征融合， 包括： S11、 分别将两个进行 特征融合的特 征图中的中间特 征进行广播相加； S12、 提取广播相加后的所述中间特征的全局特征上下文和局部特征上下文； 根据 所述 全局特征上下文和局部特征上下文计算通道权重； 根据所述通道权重， 重新计算中间特征； 将重新计算的中间特 征替换步骤S1 1中的中间特 征； S13、 重复执行所述步骤S11～S12预设次数； 将最后一次执行所述步骤S12提取出的全 局特征上下文和局部特征上下文的广播相加结果， 作为对所述两个进 行特征融合的特征图 的特征融合结果。 3.如权利要求2所述的一种基于深度 学习的无参考图像质量评价方法， 其特征在于， 提 取广播相加后的所述中间特征 的全局特征上下文， 包括： 将广播相加后的所述中间特征进 行全局平均池化； 通过如下公式将广播相加后的 的所述中间特 征进行全局平均池化： 上式中， g(x)表示全局平均池 化操作； H*W表示特征图的大小； x[:,i,j]表示特征图所有坐 标点(i,j)位置的像素信息； x表示特 征图中的中间特 征。 4.如权利要求2所述的一种基于深度 学习的无参考图像质量评价方法， 其特征在于， 通 过如下公式提取广播相加后的所述中间特 征的全局特 征上下文： G(x)＝b(Dir(b(Dr(g(x)))) 上式中， G(x)表示全局特征上下文； g(x)表示全局平均池化操作； Dr表示一个通道降低 层； b表示批标准化操作； r表示线性整流激活函数； Di表示一个通道增大层； x表示特征图中 的中间特 征。 5.如权利要求2所述的一种基于深度 学习的无参考图像质量评价方法， 其特征在于， 通 过如下公式提取广播相加后的所述中间特 征的局部特 征上下文： L(x)＝b(PWco nv(r(b(PWCo nv(x)))),权　利　要　求　书 1/2 页 2 CN 115272203 A 2上式中， L(x)表示局部特征上下文； b表示批标准化操作； r表示线性整流激活函数； PWConv表示点级卷积； x表示特 征图中的中间特 征。 6.如权利要求2所述的一种基于深度 学习的无参考图像质量评价方法， 其特征在于， 通 过如下公式计算 通道权重： 上式中， w(x)表示通道权重； 表示广播加 权操作； L(x)表示局 部特征上下文； G(x)表 示全局特 征上下文； x表示特 征图中的中间特 征； sS(.)表示sigmo id函数。 7.如权利要求1所述的一种基于深度 学习的无参考图像质量评价方法， 其特征在于， 还 包括： 将所述三类不同的特征图分别输入多个全连接层和激活层， 得到三个中间预测分数， 构成中间分数集； 通过计算所述中间分数集与真实标签分数之间的损失， 以及所述质量评价预测分数与 所述真实标签分数之间的损失， 生成总体损失函数； 根据所述总体损失函数对所述特 征提取网络进行辅助训练。 8.如权利要求7所述的一种基于深度 学习的无参考图像质量评价方法， 其特征在于， 所 述总体损失函数为： 上式中， Ls表示中间分数集与真实标签分数之间的损失之和； Le表示质量评价预测分数 与真实标签分数之间的损失； si表示中间预测分数； se表示质量评价预测分数； bi表示中间 预测分数在总体损失函数中的相对权 重。 9.如权利要求8所述的一种基于深度 学习的无参考图像质量评价方法， 其特征在于， 通 过如下公式计算 Ls和Le： 上式中， a表示一个预设超参数； s表示质量评价预测分数或中间预测分数； m表示真实 标签分数。 10.如权利要求8所述的一种基于深度学习的无参考图像质量评价方法， 其特征在于， 通过如下公式计算bi： 其中， 上式中， si表示中间预测分数； m表示真实标签分数。权　利　要　求　书 2/2 页 3 CN 115272203 A 3