(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210204633.9 (22)申请日 2022.03.02 (71)申请人 南京林业大 学 地址 210037 江苏省南京市玄武区龙蟠路 159号 (72)发明人 赵亚琴　冯丽琦　 (74)专利代理 机构 南京科阔知识产权代理事务 所(普通合伙) 3240 0 专利代理师 苏兴建 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/77(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于架构搜索 图卷积网络的中大型四足动 物行为识别方法 (57)摘要 一种基于架构搜索图卷积网络的中大型四 足动物行为识别方法， 步骤包括： 首先基于动物 骨架的行为特征的提取， 针对复杂野外环境下的 中大型四足动物视频图像， 利用姿态估计算法 DeepLabCut快速跟踪动物身体部位关节点的位 置， 构成时空骨架图， 进而捕捉四足动物不同行 为的时空特征。 然后设计多个基于动物骨架的时 空图卷积操作模块， 构成基于图的搜索空间， 其 中融合了残差连接、 瓶颈结构和多种注意力机 制， 提高识别模型性能的同时， 使网络更加轻量 化。 接着， 基于可微架构搜索策略实现搜索空间 的连续化， 以自动搜索用于中大型四足动物行为 识别的低成本时空图卷积模型， 最终实现区分动 物日常行为的目的， 具有一定的应用前 景。 权利要求书2页 说明书5页 附图3页 CN 114596632 A 2022.06.07 CN 114596632 A 1.一种基于架构搜索图卷积网络的中大型四足动物行为识别方法， 步骤包括： 1)首先 采集野外环境下的中大型四足动物视频； 2)基于中大型四足动物骨架的行为特征提取身体 关节点位置， 构建动物骨架图， 其特征还包括： 3)设计基于中大型四足动物时空骨架图的多 个时空图卷积操作模块以构建基于图的搜索空间； 4)基于可微架构搜索策略， 自动搜索用 于中大型四足动物行为识别的低成本时空图卷积模型， 来区分动物简单日常行为； 所述步骤3)包括： 3.1)将动物关节点按照身体部位划分， 构成基于动物身体部位的部分图， 从而每个行 为的时空骨架图由2方面组成： 各个关节点构成的关节图和各个身体部位构成的部分图； 3.2)对于基于动物骨架的行为识别模型的搜索空间， 设计多个时空图卷积操作以搜索 动态图的最优操作组合方式： 基于动物关节点构 成的关节图设计了4个时空图卷积操作， 分别为： 基础时空图卷积操 作、 基于残差结构的时空图卷积操作、 基于通道注意力机制的时空图卷积操作和基于时间 注意力机制的时空图卷积 操作； 基于动物身体部位构成的部分图设计了3种基于部分注意力机制的时空图卷积操作， 分别为基于部 分注意力机制的时空图卷积操作、 基于部 分卷积注意力机制的时空图卷积操 作和基于部分分享注意力机制的时空图卷积操作； 3种部分注意力机制的时空图卷积操作 的执行流程一致， 区别是它 们的池化操作不同； 所述步骤4)包括： 4.1)针对步骤3)构建的搜索空间， 组成网络架构搜索的基本单 元； 4.2)通过重复堆叠多层基本单元构 成最终的行为识别 模型， 从而识别中大型四足动物 的行为。 2.根据权利 要求1所述的识别方法， 其特征是所述步骤3.2)中， 搜索空间还包括zero操 作， 表示不进行任何操作。 3.根据权利要求1或2所述的识别方法， 其特征是所述步骤2)中， 采用基于深度学习的 姿态估计算法De epLabCut 跟踪动物关节点信息构建时空骨架图， 包括： 2.1)DeepLabCut利用深层神经网络ResNet来预测每个视频帧中观测动物对象的关键 身体部位即自定义的各个关节点的位置信息， 构建动物骨架图； 2.2)定义概率阈值， 只有当该帧所有关节点的预测位置的置信度值都通过阈值时， 才 会被采用。 4.根据权利 要求1或2所述的识别方法， 其特征是所述步骤3.2)中， 3种基于部分注意力 机制的时空图卷积操作的流程相同： 首先， 将动物各个身体部分特征在时间维度上池化连 接； 然后经过一个带有BatchNorm和Relu函数的二维卷积层； 最后利用多个二维卷积层计算 身体部位特征 的注意力矩阵， 注意力矩阵的数量与身体部位构成的部分图的数量对应， 并 利用Softmax函数确定不同身体部位的重要性 程度。 5.根据权利要求1或2所述的识别方法， 其特征是步骤3.2)的基于动物关节点构成的关 节图的时空图卷积 操作中： 基础时空图卷积操作 首先对输入特征执行空间图卷积操作， 然后在此基础上进行一维 时间卷积； 基于残差结构的时空图卷积操作是在时空卷积层的前后分别插入1*1的卷积， 实现权　利　要　求　书 1/2 页 2 CN 114596632 A 2bottleneck结构， 同时在时空模块间添加跨连接来获取 更多信息； 基于时间注意力机制的时空图卷积操作针对输入特征映射分别采用平均池化和最大 池化两种操作， 再将池化后的特征重新组合， 经二维卷积处理后， 与输入融合共同归一化， 激活函数采用Relu， 最结果使不同帧在网络中的重要性 程度发生改变； 基于通道注意力 机制的时空图卷积操作对输入特征采用平均池化， 再对通道进行二维 卷积处理， 激活函数采用的是Relu， 最终结果使网络自适应地调整每 个通道的注意力权 重。 6.根据权利要求1或2所述的识别方法， 其特 征是所述步骤4)中： 4.1)针对步骤3)设计的不同时空图卷积操作构 建的搜索空间， 组成了网络搜索架构的 基本单元； 网络搜索架构的基本单元是由节点和边构 成的有向无环图； 每个基本单元有两个输入 节点、 一个输出节 点和多个中间节点； 两个输入节点分别为前两层基本单元的输出， 输出节 点为所有中间节点的聚合操作， 而中间节点是其父节点经过步骤3)的时空图卷积操作作用 后得到的特 征映射； 4.2)通过重复堆叠多层基本单元构成最终的行为识别模型， 从而识别四足动物的行 为。 7.根据权利要求6所述的识别方法， 其特 征是所述步骤4.1)包括： 4.1.1)每条边上的初始操作为 步骤3)中的基础时空图卷积 操作； 4.1.2)通过将每条边上的时空图卷积操作选择放宽为搜索所有可能时空图卷积操作 混合的softmax之和， 使搜索空间连续 化； 4.1.3)采用梯度下降法联合的学习优化步骤4.1.2)中的结构化参数a(i， j)和每条边上 的操作OP_i的权 重， 推导出最终行为识别模型的基本单 元； a(i， j)表示步骤4.1)中网络搜索架构的基本单元 的相邻节点之间的操作OP_i混合权重 的结构化 参数。 8.根据权利 要求7所述的识别方法， 其特征是所述步骤4.1.2)中， 将特定时空图卷积操 作的分类选择放宽为所有可能的时空图卷积 操作的softmax， 公式为： 其中， o(i， j)表示步骤3.2)所述的归 一化后的任 意一个候选操作， o ′(i， j)表示步骤3.2)所 述的未归一化的任意一个 候选操作， 表示步骤 3.2)所述的所有候选操作的集合， 节点xi是 操作o(i， j)作用于其父节点xj得到的特 征图xi＝∑j＜io(i， j)(xj)， i， j是指节点的序号。 9.根据权利要求1或2所述的识别方法， 其特征是所述步骤3.1)中， 如图3所示， 将 自定 义的18个动物关节 点划分成身体主干、 左前肢、 右前肢、 左后肢和右后肢5个部分， 构成基于 动物身体部位的部 分图； 每个行为的时空骨架图的组成包括： 18个关节点构成的关节图和5 个身体部位构成的部分图； 所述步骤4.2)中， 中大型四足动物的行为包括： 奔跑、 行走、 站立、 卧躺、 坐立这5种行 为。权　利　要　求　书 2/2 页 3 CN 114596632 A 3