(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210733568.9 (22)申请日 2022.06.27 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 张鑫　林宏辉　石东子　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多尺度可变形卷积的人体骨架序 列手势分类方法 (57)摘要 本发明公开了一种基于多尺度可变形卷积 的人体骨架序列手势分类方法， 提出一种多尺度 可变形卷积， 通过提取多尺度时空特征进行手势 分类， 在交错时空卷积时可以更好地实现自适应 的骨架点序列中关键点和关键帧的识别。 该多尺 度可变形卷积由一组不同空洞率的并行分组卷 积组成， 实现基于多尺度特征的偏移量预测。 在 此基础上根据预测偏移量进行特征重采样， 从而 实现自适应的骨架点序列中关键点和关键帧的 识别。 相较于标准卷积和图神经网络分别受到规 则网格采样和只能从预定义邻接矩 阵进行特征 提取的限制， 本发明交错卷积时间和空间的信 息， 提取多尺度时空融合特征， 在手势分类应用 上具有更高的准确度和鲁棒 性。 权利要求书2页 说明书6页 附图2页 CN 115240220 A 2022.10.25 CN 115240220 A 1.一种基于多尺度可变形卷积的人体骨架序列手势分类方法， 采用多尺度可变形卷积 进行时空特 征提取， 其特 征在于， 所述人体骨架序列手势分类方法包括以下步骤： S1、 获取骨架点序列数据； S2、 对骨架点序列数据进行采样和归一 化处理； S3、 基于预处理的骨架点序列数据， 训练一个基于时空可变形姿态网络的手势动作分 类器， 所述手势动作分类器包括一个基于多尺度可变形卷积的特征提取模块和一个分类模 块， 将骨架点序列输入特征提取模块得到多尺度时空融合特征， 之后通过分类模块得到手 势分类结果； 其中， 所述基于多尺度 可变形卷积的特征提取模块包括三个多尺度可变形卷积层和两 个最大池化层， 骨架点序列依 次经过三个多尺度可变形卷积层， 三个多尺度可变形卷积之 间插入两个最大池化层进 行特征降维， 输入经过前两个多尺度可变形卷积层和两个最大池 化层输出骨架点序列的时空融合特征， 并将所述骨架点序列的时空融合特征输入最后一个 多尺度可变形卷积层得到用于 分类的多尺度时空融合特征， 所述多尺度可变形卷积层依次 通过基于多尺度空洞卷积的偏移学习、 特征重采样、 3 ×3卷积， 完成骨架 点序列的时空信息 的交错卷积； 所述分类模块包括依次连接的一个全局池化层、 一个批归一化层和一个全连接层， 将 提取的多尺度时空融合特征依次输入全局池化层得到降维多尺度时空特征， 批归一化层对 降维多尺度特征进行归一化处理后作为全连接层的输入， 之后全连接层输出最终的手势分 类结果。 2.根据权利要求1所述的一种基于多尺度可变形卷积的人体骨架序列手势分类方法， 其特征在于， 所述步骤S1中骨架 点序列数据获取通过数据手套、 运动传感器、 深度相机直接 获得， 或者 通过姿态估计算法从RGB、 depth 视频流中获取。 3.根据权利要求1所述的一种基于多尺度可变形卷积的人体骨架序列手势分类方法， 其特征在于， 所述 步骤S2的过程如下： S21、 将获取的骨架点序列数据采样成固定帧数， 则骨架点序列数据表示为x∈RT×N×C， 其中， R代表实数域， T代表采集的帧数， N代表预定义关节点数 目， C代表通道数， 当C＝3时， 代表采集的是预定义关节点的三维空间坐标， 当C＝2 时， 代表采集的是预定义关节点在图 像二维平面 坐标； S22、 对采样后的骨架点序列数据进行归一化处理， 公式表示为： 其中， mean(x)表示对骨架点序列x求平均操作， max(x)表示对骨架点序列x求最大值操作， min(x)表示对骨架点序列x求 最小值操作。 4.根据权利要求1所述的一种基于多尺度可变形卷积的人体骨架点序列手势分类方 法， 其特征在于， 所述多尺度可变形 卷积层的处 理过程如下： 首先， 基于多尺度空洞卷积的偏移学习： 输入骨架序列x经过空洞率r、 卷积核大小为K ＝2*k+1的空洞卷积， r， k∈N+， 空洞率为卷积核参数的间隔， 空洞卷积采样网格Gr表示卷积 时参与局部计算的位置的范围， 具体表示为： Gr＝{(‑k*r，‑k*r)， (‑k*r，‑(k‑1)*r)， ...， (k*r， (k‑1)*r)， (k*r， k*r)}， 则在位置p0提取的特 征y(p0)表示如下：权　利　要　求　书 1/2 页 2 CN 115240220 A 2其中， w(·)表示卷积核权重， N表示卷积核和网格总的位置数， qn， pn分别表示卷积核和 空洞卷积采样网格Gr的第n个位置； 将骨架序列输入一组不同空洞率[r1， r2， r3]的空洞卷积实现一组不同尺度的骨架特征 [y1， y2， y3]的提取， 在合并[y1， y2， y3]的多尺度骨架特征上采用3 ×3卷积学习2D偏移量{Δ pn|n＝1， ...， N}后进行 特征重采样； 接着， 特征重采样： 基于学习到的偏移量Δpn， 对骨架序列进行双线性插值采样得到不 同位置偏移Δpn的输入值x(p0+pn+Δpn)； 之后进行标准卷积， 标准卷积网格G＝{( ‑k，‑k)， (‑k，‑(k‑1))， ...， (k， (k ‑1))， (k， k)}， 则在不同位置偏移Δpn重新采样后得到的特征y ′表 示为： 最后， 对重采样特征进行卷积， 对不同尺度的重采样特征[y ′1， y′2， y′3]进行拼接之后 再进行一次卷积。 5.根据权利要求1所述的一种基于多尺度可变形卷积的人体骨架点序列手势分类方 法， 其特征在于， 所述分类模块的处 理过程如下： 经过基于多尺度可变形卷积的特征提取模块提取的时空融合特征依次输入一个全局 池化层， 一个批归一化层和 一个全连接层后输出手势分类结果， 其中批归一化层去除偏置 项， 全连接层输出神经元数为预定义动作分类类别数， 分类模块的损失函数为交叉熵， 使用 随机梯度下降法对分类模块进行参数 更新。权　利　要　求　书 2/2 页 3 CN 115240220 A 3