(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210762709.X (22)申请日 2022.06.30 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 胡益珲　余廷栋　熊鹏飞　马锴　 陈宇　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 专利代理师 聂秀娜 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) (54)发明名称 一种骨架行为识别的方法以及相关装置 (57)摘要 本申请实施例公开了一种骨架行为识别的 方法以及相关装置， 能够减少空间维度上的骨架 特征或者是时间维度上的骨架特征的信息丢失， 提高识别精度， 并且极大地减少了运算量， 提高 了运行速度。 至少涉及人工智 能等技术。 该方法 包括： 获取包括至少两个骨架关键点的二维骨架 图像； 基于每个骨架关键点的坐标信息确定每个 骨架关键点的目标骨架特征， 骨架关键点的坐标 信息用于反映骨架关键点的位置情况； 对至少两 个骨架关键点的目标骨架特征进行特征聚合处 理， 得到目标局部骨架的骨架特征； 基于预设网 络分类模型对目标局部骨架的骨架特征进行识 别处理， 得到目标分类结果， 目标分类结果用于 指示骨架对应的目标对象的行为。 权利要求书3页 说明书16页 附图6页 CN 115147924 A 2022.10.04 CN 115147924 A 1.一种骨架行为识别的方法， 其特 征在于， 包括： 获取二维骨架图像， 所述 二维骨架图像包括至少两个骨架关键点； 基于每个所述骨架关键点的坐标信 息确定每个所述骨架关键点的目标骨架特征， 所述 骨架关键点的坐标信息用于反映所述骨架关键点的位置情况； 对至少两个所述骨架关键点的目标骨架特征进行特征聚合处理， 得到目标局部骨架的 骨架特征， 所述目标局部骨架由进行 所述特征聚合处 理时的骨架关键点构成； 基于预设网络分类模型对所述目标局部骨架的骨架特征进行识别处理， 得到目标分类 结果， 所述目标分类结果用于指示所述骨架对应的目标对象的行为。 2.根据权利要求1所述的方法， 其特征在于， 所述对至少两个所述骨架关键点的目标骨 架特征进行特征聚合处 理， 得到目标局部骨架的骨架特 征， 包括： 将每两个所述骨架关键点的目标骨架特征进行特征聚合处理， 得到第 一局部骨架的骨 架特征， 其中， 所述每两个所述骨架关键点之间的空间距离小于等于预设距离； 将每两个第一局部骨架的骨架特征进行特征聚合处理， 得到第二局部骨架的骨架特 征， 其中， 所述每两个第一局部骨架中的骨架关键点之间的空间距离小于等于预设距离； 基于所述第 一局部骨架的骨架特征和所述第 二局部骨架的骨架特征， 确定所述目标局 部骨架的骨架特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述将每两个所述骨架关键点的目标骨架 特征进行特征聚合处 理， 得到第一局部骨架的骨架特 征， 包括： 将第一骨架关键点的目标骨架特征和第二骨架关键点的目标骨架特征进行特征聚合 处理， 得到所述第一局部骨架的骨架特征， 其中， 所述第一骨架关键点与所述第二骨架关键 点为所述至少两个骨架关键点中空间距离小于等于所述预设距离的任意两个骨架关键点。 4.根据权利要求3所述的方法， 其特征在于， 将第 一骨架关键点的目标骨架特征和第 二 骨架关键点的目标骨架特 征进行特征聚合处 理， 得到所述第一局部骨架的骨架特 征， 包括： 将所述第一骨架关键点的目标骨架特征和所述第二关键点的目标骨架特征进行特征 组合处理， 得到组合特 征； 基于至少两个卷积尺度的卷积层 分别对所述组合特征进行卷积处理， 得到对应的卷积 特征， 其中， 每 个所述卷积尺度均不相同； 基于池化层将每个所述卷积特征的特征尺度进行调整， 得到每个调整后的卷积特征， 其中， 所述每 个调整后的卷积特 征的特征尺度相同； 将所述每个调整后的卷积特征进行特征拼接处理， 得到所述第一局部骨架的骨架特 征。 5.根据权利要求2至4中任一项所述的方法， 其特征在于， 所述基于所述第一局部骨架 的骨架特 征和所述第二局部骨架的骨架特 征， 确定所述目标局部骨架的骨架特 征， 包括： 基于所述第一局部骨架的骨架特征的特征维度对所述第二局部骨架的骨架特征的特 征维度进行调整， 得到调整后的第二局部骨架的骨架特征， 所述调整后的第二局部骨架的 骨架特征的特征维度与所述第一局部骨架的骨架特 征的特征维度相同； 将所述第一局部骨架的骨架特征与所述调整后的第二局部骨架的骨架特征进行特征 聚合处理， 得到所述目标局部骨架的骨架特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述第 一局部骨架的骨架特征的权　利　要　求　书 1/3 页 2 CN 115147924 A 2特征维度对所述第二局部骨架的骨架特征的特征维度进行调整， 得到调整后的第二局部骨 架的骨架特 征， 包括： 将所述第二局部骨架的骨架特征进行反卷积处理， 得到反卷积后的第 二局部骨架的骨 架特征， 所述反卷积后的第二局部骨架的骨架特征的特征尺度与所述第一局部骨架的骨架 特征的特征尺度相同； 基于卷积层调整所述反卷积后的第 二局部骨架的骨架特征的特征维度， 得到所述调整 后的第二局部骨架的骨架特 征。 7.根据权利要求1至4中任一项所述的方法， 其特征在于， 所述基于每个所述骨架关键 点的坐标信息确定每 个所述骨架关键点的目标骨架特 征， 包括： 将所述坐标信 息划分为至少两个坐标切片， 每个所述坐标切片用于表示所述骨架关键 点在不同时刻上的帧位置； 基于所述坐标信 息确定所述骨架关键点的第 一位置特征， 所述第 一位置特征用于反映 所述骨架关键点的绝对位置情况； 基于所述坐标信 息与中心坐标信 息之间的坐标差值， 确定每个所述坐标切片的相对位 置信息， 所述中心坐标信息用于指示所述骨架的中心位置； 基于所述预设transformer模型对所述坐标切片的相对位置信息进行处理， 得到所述 骨架关键点的第二位置特征， 所述第二位置特征用于反映所述骨架关键点的相对位置情 况； 将所述第一位置特征和所述第 二位置特征进行特征聚合处理， 得到每个所述骨架关键 点的目标骨架特 征。 8.根据权利要求7所述的方法， 其特征在于， 所述将所述第 一位置特征和所述第 二位置 特征进行特征聚合处 理， 得到每 个所述骨架关键点的目标骨架特 征之前， 所述方法还 包括： 将所述第一位置特征和所述第 二位置特征进行特征聚合处理， 得到每个所述骨架关键 点的位置聚合特 征； 基于目标骨架关键点的位置聚合特征与其余的骨架关键点的位置聚合特征， 确定关系 矩阵， 所述关系矩阵用于指示所述目标骨架关键点与所述其余的骨架关键点之间的相似 度， 所述目标骨架关键点 为所述至少两个骨架关键点中的任意 一个； 获取权重矩阵， 所述权重矩阵用于指示所述目标骨架关键点的坐标切片与 所述其余的 骨架关键点的坐标切片之间的相关程度； 将所述第一位置特征和所述第 二位置特征进行特征聚合处理， 得到每个所述骨架关键 点的目标骨架特 征， 包括： 基于所述关系矩阵与所述权重矩阵， 确定所述目标骨架关键点的关系特征， 以得到所 述目标骨架关键点的目标骨架特 征。 9.根据权利要求8所述的方法， 其特征在于， 所述基于目标骨架关键点的位置聚合特征 与其余的骨架关键点的位置聚合特 征， 确定关系矩阵， 包括： 基于全连接层对所述目标骨架关键点的位置聚合特征进行处理， 得到所述目标骨架关 键点的坐标切片的多头注意力信息， 以及基于所述全连接层对其余的骨架关键点的位置聚 合特征进行处 理， 得到其 余的骨架关键点的坐标切片的多头注意力 信息； 基于所述目标骨架关键点的坐标切片的多头注意力信息和其余的骨架关键点的坐标权　利　要　求　书 2/3 页 3 CN 115147924 A 3