(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210901739.4 (22)申请日 2022.07.28 (71)申请人 上海高德威智能交通系统有限公司 地址 201821 上海市嘉定区云谷路59 9弄6 号620室J 1452 (72)发明人 张彬　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 申健 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/44(2022.01) (54)发明名称 手势识别方法、 模 型训练方法、 装置、 设备及 存储介质 (57)摘要 本申请提供一种手势识别方法、 模 型训练方 法、 装置、 设备及存储介质， 涉及智能交通领域。 该方法包括： 获取手势融合图像； 手势融合图像 用于表征第一手部特征和第二手部特征； 所述第 一手部特征包括手指轮廓特征， 和/或， 手部轮廓 特征； 所述第二手部特征包括手部关节特征， 和/ 或， 手部纹理特征； 根据预设的手势识别模型和 手势融合图像， 确定手势融合图像对应的手势种 类； 手势识别模 型用于从手势融合图像中提取第 一手部特征和第二手部特征， 并根据第一手部特 征和第二手部特征确定手势种类。 该方法适用于 用户和电子设备的手势交互过程中， 用于解决手 势交互过程中识别不 准确的问题。 权利要求书3页 说明书13页 附图5页 CN 115273235 A 2022.11.01 CN 115273235 A 1.一种手势 识别方法， 其特 征在于， 所述方法包括： 获取手势融合图像； 所述手势融合图像用于表征第一手部特征和第二手部特征； 所述 第一手部特征包括手指轮廓特征， 和/或， 手部轮廓特征； 所述第二手部特征包括手部关节 特征， 和/或， 手部纹 理特征； 根据预设的手势识别模型和所述手势融合图像， 确定所述手势融合图像对应的手势种 类； 所述手势识别模型用于从所述手势融合图像中提取所述第一手部特征和所述第二手部 特征， 并根据所述第一手部特 征和所述第二手部特 征确定手势种类。 2.根据权利要求1所述的方法， 其特征在于， 所述手势识别模型包括特征提取网络模块 和手势分类模块； 所述特征提取网络模块， 用于从所述手势融合图像中提取所述第 一手部特征和所述第 二手部特 征； 所述手势分类模块， 用于根据 所述特征提取网络模块提取的所述第 一手部特征和所述 第二手部特 征， 确定所述手势融合图像对应的手势种类。 3.根据权利要求1所述的方法， 其特征在于， 所述手势识别模型是利用训练样本集对初 始模型训练之后， 并删除完成训练后的初始模型中的关节点回归模块之后得到的； 所述训 练样本集包括多个训练样本； 所述多个训练样本中的每个训练样本包括一个手势融合图像 和与所述手势融合图像对应的标签； 所述标签包括手势种类和手部关节点坐标； 所述初始 模型包括特 征网络提取模块、 手势分类模块、 以及所述关节点回归 模块； 所述特征提取网络模块， 用于从所述训练样本 中的手势融合图像中提取所述第 一手部 特征和所述第二手部特 征； 所述手势分类模块， 用于根据 所述特征提取网络模块提取的所述第 一手部特征和所述 第二手部特 征， 确定所述训练样本中的手势融合图像对应的手势种类； 所述关节点 回归模块， 用于根据所述特征提取网络模块提取的所述第 一手部特征和所 述第二手部特 征， 生成手部关节点 坐标。 4.根据权利要求1所述的方法， 其特征在于， 所述手势融合图像包括检测周期内的多帧 手势融合图像； 所述根据 预设的手势识别模型和所述手势融合图像， 确定所述手势融合图像对应的手 势种类， 包括： 根据所述手势识别模型识别所述检测周期内的多帧手势融合图像中的每一帧手势融 合图像， 以确定每一帧手势融合图像对应的手势种类； 统计每一个手势种类的识别命中次数； 当所述检测周期内确定的第 一手势种类的识别命中次数满足预设条件时， 确定所述第 一手势种类为所述手势融合图像对应的手势种类。 5.根据权利要求 4所述的方法， 其特 征在于， 所述预设条件 包括以下任意 一项： 在检测周期内的识别命中次数 大于预设的次数阈值； 或者， 在所述检测周期内的识别命中次数和所述检测周期内的多帧手势融合图像的帧 数之比大于预设的比例阈值。 6.根据权利要求1 ‑5任一项所述的方法， 其特 征在于， 所述获取手势融合图像， 包括： 获取检测区域的彩色图像和深度图像； 将所述检测区域的彩色图像和深度图像融合，权　利　要　求　书 1/3 页 2 CN 115273235 A 2得到所述检测区域的融合图像； 检测出所述检测区域的融合图像中的手部区域， 生成手部区域框； 利用所述手部区域框从所述检测区域的融合图像中分割出 所述手势融合图像。 7.一种手势 识别模型的训练方法， 其特 征在于， 所述方法包括： 获取训练样本集； 所述训练样本集包括多个训练样本； 所述多个训练样本中的每个训 练样本包括一个手势融合图像和与所述手势融合图像对应的标签； 所述标签包括手势种类 和手部关节点坐标； 所述手势融合图像用于表征第一手部特征和第二手部特征； 所述第一 手部特征包括手指 轮廓特征， 和/或， 手部轮廓特征； 所述第二手部特征包括手部 关节特征， 和/或， 手部纹 理特征； 基于所述训练样本集， 对预设的初始模型进行训练， 得到完成训练的初始模型； 所述初 始模型包括特 征提取网络模块、 手势分类模块、 以及关节点回归 模块； 所述特征提取网络模块， 用于从所述手势融合图像中提取所述第 一手部特征和所述第 二手部特征； 所述手势分类模块， 用于根据所述第一手部特征和所述第二手部特征， 确定手 势种类； 所述关节 点回归模块， 用于根据所述第一手部特征和所述第二手部特征， 生成手部 关节点坐标； 删除完成训练的初始模型中的关节点回归 模块， 得到手势 识别模型。 8.一种手势别装置， 其特 征在于， 所述装置包括： 获取 单元和处理单元； 所述获取单元， 用于获取手势融合图像； 所述手势融合图像用于表征第一手部特征和 第二手部特征； 所述第一手部特征包括手指轮廓特征， 和/或， 手部轮廓特征； 所述第二手部 特征包括手部关节特 征， 和/或， 手部纹 理特征； 所述处理单元， 用于根据预设的手势识别模型和所述手势融合图像， 确定所述手势融 合图像对应的手势种类； 所述手势识别模型用于从所述手势融合图像中提取所述第一手部 特征和所述第二手部特 征， 并根据所述第一手部特 征和所述第二手部特 征确定手势种类。 9.一种手势 识别模型的训练装置， 其特 征在于， 所述装置包括： 获取 单元和处理单元； 所述获取单元， 用于获取训练样本集； 所述训练样本集包括多个训练样本； 所述多个训 练样本中的每个训练样本包括一个手势融合图像和与所述手势融合图像对应的标签； 所述 标签为手势种类和手部 关节点坐标； 所述手势融合图像用于表征第一手部特征和 第二手部 特征； 所述第一手部特征包括手指轮廓特征， 和/或， 手部轮廓特征； 所述第二手部特征包括 手部关节特 征， 和/或， 手部纹 理特征； 所述处理单元， 用于基于所述训练样本集， 对预设的初始模型进行训练， 得到完成训练 的初始模型； 所述初始模型包括特征提取网络模块、 手势分类模块、 以及关节点回归模块； 所述特征提取网络模块， 用于从所述手势融合图像中提取所述第一手部特征和所述第二手 部特征； 所述手势分类模块， 用于根据所述第一手部特征和所述第二手部特征， 确定手势种 类； 所述关节点回归模块， 用于根据所述第一手部特征和所述第二手部特征， 生成手部 关节 点坐标； 删除完成训练的初始模型中的关节点回归 模块， 得到手势 识别模型。 10.一种电子设备， 其特 征在于， 所述电子设备包括： 处 理器和存 储器； 所述存储器存储有所述处 理器可执行的指令； 所述处理器被配置为执行所述指令时， 使得所述电子设备实现如权利要求1 ‑7任一项 所述的方法。权　利　要　求　书 2/3 页 3 CN 115273235 A 3