(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210734275.2 (22)申请日 2022.06.27 (71)申请人 无锡闻泰信息技 术有限公司 地址 214029 江苏省无锡市新吴区长江南 路11号A栋 (72)发明人 韦燕华　 (74)专利代理 机构 广州德科知识产权代理有限 公司 44381 专利代理师 蔡丽妮　万振雄 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) (54)发明名称 表情识别方法、 装置、 电子设备及存 储介质 (57)摘要 本申请实施例公开了一种表情识别方法、 装 置、 电子设备及存储介质， 该方法包括： 提取人脸 图像对应的全局特征向量； 从人脸图像中提取N 个人脸区域图像； 对各个人脸区域图像进行特征 提取， 得到各个人脸区域图像对应的区域特征 图； 生成各个区域特征图对应的区域掩膜图； 根 据各个人脸区域对应的区域特征图及各个区域 特征图对应的区域掩膜图， 确定各个人脸区域图 像对应的局部特征向量； 将全局特征向量和各个 局部特征向量融合， 得到融合特征向量； 根据融 合特征向量确定人脸图像对应的人脸表情。 实施 本申请实施例， 能够提高表情识别的准确性。 权利要求书3页 说明书17页 附图5页 CN 115100712 A 2022.09.23 CN 115100712 A 1.一种表情识别方法， 其特 征在于， 所述方法包括： 提取人脸图像对应的全局特 征向量； 从所述人脸图像中提取N个人脸区域图像， 所述 N为正整数； 对各个所述人脸 区域图像进行特征提取， 得到各个所述人脸区域图像对应的区域特征 图； 根据各个所述人脸区域图像对应的区域特征图， 生成各个所述 区域特征图对应的区域 掩膜图； 根据各个所述人脸区域图像对应的区域特征图及各个所述区域特征图对应的区域掩 膜图， 确定各个所述人脸区域图像对应的局部特 征向量； 将所述全局特征向量和各个所述人脸 区域图像对应的局部特征向量融合， 得到 融合特 征向量； 根据所述融合特 征向量确定所述人脸图像对应的人脸表情。 2.根据权利要求1所述的方法， 其特征在于， 所述对各个所述人脸 区域图像进行特征提 取， 得到各个所述人脸区域图像对应的区域特 征图， 包括： 通过滑动窗口， 按照预设滑动距离在第一人脸区域图像中进行多次滑动， 并对所述滑 动窗口每次滑动到达的图像位置进行特征提取， 得到所述第一人脸区域图像对应的多个第 一区域特 征图； 其中， 所述第一人脸区域图像为任一所述人脸区域图像。 3.根据权利要求1所述的方法， 其特征在于， 第一人脸区域图像对应有M个第一区域特 征图， 所述M为 正整数， 所述第一人脸区域图像为任一所述人脸区域图像； 所述根据各个所述人脸区域图像对应的区域特征图生成各个所述区域特征图对应的 区域掩膜图， 包括： 对所述第一人脸 区域图像对应的每个所述第 一区域特征图进行卷积处理， 得到每个所 述第一区域特 征图对应的边 缘特征和中心特 征； 根据每个所述第 一区域特征图对应的边缘特征和中心特征， 生成每个所述第 一区域特 征图对应的区域掩膜图。 4.根据权利要求1所述的方法， 其特征在于， 所述局部特征向量包括局部方向下三元向 量以及局部方向上三元模式 向量， 第一人脸区域图像对应有M个第一区域特征图， 所述第一 人脸区域图像为任一所述人脸区域图像， 所述M为 正整数； 所述根据各个所述人脸区域图像对应的区域特征图及各个所述区域特征图对应的区 域掩膜图， 确定各个所述人脸区域图像对应的局部特 征向量， 包括： 获取目标第 一区域特征图的多个第 一目标像素值， 以及获取所述目标第 一区域特征图 对应的目标第一区域掩膜图的多个第二目标像素值； 所述目标第一区域特征图为任一所述 第一区域特征图， 所述多个第一 目标像素值包括所述 目标第一区域特征图的平均像素值、 第一中心像素值以及多个第一边缘像素值， 所述多个第二目标像素值包括所述目标第一区 域掩膜图中与所述第一中心像素值对应的第二中心像素值以及与所述多个第一边缘像素 值分别对应的多个第二 边缘像素值； 根据所述多个第 一目标像素值以及所述多个第 二目标像素值， 确定所述目标第 一区域 特征图对应的局部方向下三元模式值以及局部方向上三元模式值； 根据所述M个第 一区域特征图分别对应的局部方向下三元模式值以及局部方向上三元权　利　要　求　书 1/3 页 2 CN 115100712 A 2模式值， 确定所述第一人脸区域图像对应的局部方向下三元向量以及局部方向上三元模式 向量。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述多个第 一目标像素值以及所 述多个第二目标像素值， 确定所述目标第一区域特征图对应的局部方向下三元模式值以及 局部方向上三元模式值， 包括： 将所述平均像素值减去所述第一中心像素值， 得到第一差值， 以及将各个所述第一边 缘像素值减去所述第一中心像素值， 得到各个所述第一 边缘像素值对应的第二差值； 将所述第一差值与 预设阈值进行比较， 以及将所述第 二中心像素值与 所述预设阈值进 行比较， 得到第一综合比较结果； 将各个所述第 一边缘像素值对应的第 二差值与 所述预设阈值进行比较， 以及将各个所 述第一边缘像素值对应的第二边缘像素值与所述预设阈值进 行比较， 得到各个所述第一边 缘像素值对应的第二综合比较结果； 根据所述第 一综合比较结果和各个所述第 一边缘像素值对应的第 二综合比较结果， 确 定所述目标第一区域特 征图对应的局部方向下三元模式值以及局部方向上三元模式值。 6.根据权利要求4所述的方法， 其特征在于， 所述将所述全局特征向量和各个所述人脸 区域图像对应的局部特 征向量融合， 得到融合特 征向量， 包括： 计算所述全局特征向量、 各个所述人脸区域图像对应的局部方向下三元模式向量以及 局部方向上三元模式向量分别对应的多个标准偏差值； 根据所述多个标准偏差值对所述全局特征向量、 各个所述人脸 区域图像对应的局部方 向下三元模式向量以及局部方向上三元模式向量进行归一 化处理， 得到融合特 征向量。 7.根据权利要求1～6任一所述的方法， 其特征在于， 在所述根据所述融合特征向量确 定所述人脸图像对应的人脸表情之后， 所述方法还 包括： 根据所述人脸表情确定表情图像， 所述表情图像包括与 所述人脸表情对应的表情包图 像、 与所述人脸表情对立的表情包图像、 与所述人脸表情对应的人脸局部图像、 与所述人脸 表情对立的人脸局部图像中的一种或多种； 在所述人脸图像中确定所述表情图像对应的显示区域； 在所述人脸图像的所述显示区域叠加所述表情图像， 并显示叠加后的人脸图像。 8.一种表情识别装置， 其特 征在于， 所述装置包括： 全局特征提取模块， 用于提取 人脸图像对应的全局特 征向量； 区域图像提取模块， 用于从所述人脸图像中提取N个人脸区域图像， 所述 N为正整数； 特征图像确定模块， 用于对各个所述人脸区域图像进行特征提取， 得到各个所述人脸 区域图像对应的区域特 征图； 掩膜图像确定模块， 用于根据 各个所述人脸 区域图像对应的区域特征图生成各个所述 区域特征图对应的区域掩膜图； 局部特征确定模块， 用于根据 各个所述人脸 区域图像对应的区域特征图及各个所述 区 域特征图对应的区域掩膜图， 确定各个所述人脸区域图像对应的局部特 征向量； 特征融合模块， 用于将所述全局特征向量和各个所述人脸 区域图像对应的局部特征向 量融合， 得到融合特 征向量； 表情确定模块， 用于根据所述融合特 征向量确定所述人脸图像对应的人脸表情。权　利　要　求　书 2/3 页 3 CN 115100712 A 3