(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210763998.5 (22)申请日 2022.06.30 (71)申请人 深圳云天励飞技 术股份有限公司 地址 518000 广东省深圳市龙岗区园山 街 道龙岗大道8288号深圳大运软件小镇 17栋1楼 (72)发明人 张号逵　胡文泽　王孝宇　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 刘永康 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/44(2022.01)G06V 10/42(2022.01) G06N 3/04(2006.01) G06V 20/40(2022.01) (54)发明名称 基于神经网络模 型的图像识别方法、 装置及 终端设备 (57)摘要 本申请适用于计算机视觉技术领域， 提供了 基于神经网络模 型的图像识别方法、 装置及终端 设备， 其中， 该神经网络模型通过基于纯卷积的 Meta Former结构提取待识别图像的全局特征， 该图像识别方法包括： 将待识别图像输入经训练 的上述神经网络模型， 通过上述神经网络模型对 待识别图像依次进行特征提取和识别， 得到识别 结果。 本申请可在实现轻量化模 型的同时提高图 像识别的准确率。 权利要求书3页 说明书16页 附图4页 CN 115187844 A 2022.10.14 CN 115187844 A 1.一种基于神经网络模型的图像识别方法， 其特征在于， 所述神经网络模型通过基于 纯卷积的Meta  Former结构提取待识别图像的全局特 征； 所述图像识别方法包括： 将待识别图像输入经训练的所述神经网络模型， 通过所述神经网络模型对待识别图像 依次进行 特征提取和识别， 得到识别结果。 2.如权利要求1所述的图像识别方法， 其特征在于， 所述神经网络模型包括特征提取模 块和识别模块， 所述特征提取模块包括基于纯卷积的Meta  Former结构构建的全局特征提 取模块； 所述通过所述神经网络模型对待识别图像依次进行特征提取和识别， 得到识别结果， 包括： 基于所述特 征提取模块对待识别图像进行 特征提取； 基于所述识别模块对提取到的特 征进行识别， 得到识别结果。 3.如权利要求2所述的图像识别方法， 其特征在于， 所述特征提取模块还包括第 一卷积 模块； 所述基于所述特 征提取模块对待识别图像进行 特征提取， 包括： 基于所述第一卷积模块对待识别图像进行局部特 征提取， 得到第一局部特 征图像； 基于所述全局特征提取模块对所述第 一局部特征图像进行全局特征提取， 得到全局特 征。 4.如权利要求3所述的图像识别方法， 其特征在于， 所述特征提取模块还包括第 二卷积 模块、 融合模块， 所述第二卷积模块采用轻量级卷积神经网络提取第二局部特 征； 所述基于所述特 征提取模块对待识别图像进行 特征提取， 还 包括： 基于所述第 二卷积模块对所述第 一局部特征图像进行局部特征提取， 得到第 二局部特 征； 基于所述融合模块将所述第二局部特 征与所述全局特 征进行融合， 得到融合特 征。 5.如权利要求2至4任一项所述的图像识别方法， 其特征在于， 所述全局特征提取模块 由输入端至输出端包括依次连接的第一残差模块、 全局特征子提取模块、 第一加并模块、 第 二残差模块、 前馈网络模块和第二加并模块； 所述第一加并模块用于对所述第一残差模块的输入数据和所述全局特征子提取模块 的输出数据进行相加合并处 理； 所述第二加并模块用于对所述第二残差模块的输入数据和所述前馈网络模块的输出 数据进行相加合并处 理； 所述全局特 征子提取模块包括第一分支、 第二分支和合并模块； 所述第一分支用于通过深度可分离卷积对输入图像进行局部特 征提取； 所述第二分支用于对输入图像进行全局特 征提取； 所述合并模块用于根据像素位置对所述第一分支和所述第二分支输出的特征进行合 并处理， 得到全局特 征。 6.如权利要求5所述的图像识别方法， 其特征在于， 所述第二分支具体用于： 对输入图 像进行卷积操作， 得到N条特征向量； 将各条特征向量进 行通道混洗操作， 得到新的N条特征 向量； 将所述新的N条特征向量进行稀疏化重排， 得到稀疏特征图； 通过卷积操作将所述稀权　利　要　求　书 1/3 页 2 CN 115187844 A 2疏特征图扩散为稠密的特 征图后输出， 其中， N 为大于1的正整数。 7.如权利要求5所述的图像识别方法， 其特征在于， 所述识别模块包括图像识别子模 型； 所述基于所述识别模块对提取到的特 征进行识别， 得到识别结果， 包括： 基于所述图像识别子模型对提取到的特 征进行分类处 理， 得到图像分类结果。 8.如权利要求7所述的图像识别方法， 其特征在于， 所述图像识别子模型包括第 三卷积 模块； 所述基于所述图像识别子模型对提取到的特征进行分类处理， 得到 图像分类结果， 包 括： 基于所述第三卷积模块对提取到的特 征进行分类处 理， 得到图像分类结果。 9.如权利要求5所述的图像识别方法， 其特征在于， 所述识别模块还包括目标检测子模 型； 所述基于所述识别模块对提取到的特 征进行识别， 得到识别结果， 包括： 基于所述目标检测子模型对提取到的特 征进行目标检测处 理， 得到目标检测结果。 10.如权利要求9所述的图像识别方法， 其特征在于， 所述目标检测子模型基于非极大 抑制算法检测图像中目标 所在位置和/或目标 所属类别。 11.如权利要求5所述的图像识别方法， 其特征在于， 所述识别模块还包括语义分割子 模型； 所述通过所述识别模块对提取到的特 征进行识别， 得到识别结果， 包括： 基于所述语义分割子模型对提取到的特 征进行分割， 得到语义分割结果。 12.如权利要求11所述的图像识别方法， 其特征在于， 所述语义分割子模型包括分割 模 块、 合并模块和第四卷积模块； 所述基于所述语义分割子模型对提取到的特 征进行分割， 得到语义分割结果， 包括： 基于所述分割模块对提取到的特 征进行多尺度卷积处 理， 得到不同大小的特 征图； 基于所述 合并模块沿通道方向对所述 不同大小的特 征图进行合并； 基于所述第四卷积模块对所述合并模块输出的特征图进行卷积处理， 得到语义分割结 果。 13.如权利要求12所述的图像识别方法， 其特征在于， 所述分割模块包括M个并行的卷 积分支， 最上层的卷积分支采用1*1卷积， 其它卷积分支采用膨胀因子依次增大的膨胀卷 积， 其中， M为大于1的正整数； 所述基于所述分割模块对提取到的特征进行多尺度卷积处理， 得到语义分割结果， 包 括： 基于所述卷积分支对提取到的特 征进行多尺度卷积处 理。 14.一种图像识别装置， 其特 征在于， 包括： 输入模块和经训练的神经网络模型， 所述神经网络模型基于纯卷积的Meta  Former结 构提取待识别图像的全局特 征； 所述输入 模块用于： 将待识别图像输入所述神经网络模型； 所述神经网络模型用于： 对所述待识别图像依次进行 特征提取和识别， 得到识别结果。 15.如权利要求14所述的图像识别装置， 其特征在于， 所述神经网络模型包括： 特征提权　利　要　求　书 2/3 页 3 CN 115187844 A 3