(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210239612.0 (22)申请日 2022.03.11 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 苏海昇　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 王花丽　张颖玲 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) (54)发明名称 行为识别方法、 装置、 电子设备及计算机可 读存储介质 (57)摘要 本公开实施例公开了一种行为识别方法、 装 置、 设备及计算机可读 存储介质。 该方法包括： 对 获得的图像帧序列的至少一个图像帧中， 各个图 像帧的重要区域分类识别， 得到与至少一个图像 帧对应的识别结果； 重要区域根据至少一个图像 帧中目标对象所在的检测框区域确定； 在识别结 果表征存在预设异常事件的情况下， 确定每个图 像帧的与识别结果对应的类激活图的激活中心， 得到至少一个图像帧的至少一个激活中心； 一个 激活中心表征对应的一个图像帧的类激活图中 的异常位置； 基于至少一个激活中心， 识别出各 个图像帧的异常目标对象。 通过本公开， 能够提 高识别准确度。 权利要求书3页 说明书14页 附图12页 CN 114677754 A 2022.06.28 CN 114677754 A 1.一种行为识别方法， 其特 征在于， 包括： 对获得的图像帧序列的至少一个图像帧中， 各个图像帧的重要区域分类识别， 得到与 所述至少一个图像帧对应的识别结果； 所述重要区域根据所述至少一个图像帧中目标对象 所在的检测框区域确定； 在所述识别结果表征存在预设异常事件的情况下， 确定每个图像帧的与所述识别结果 对应的类激活图的激活中心， 得到所述至少一个图像 帧的至少一个激活中心； 一个激活中 心表征对应的一个图像帧的所述类激活图中的异常位置； 基于所述至少一个激活中心， 识别出 所述各个图像帧的异常目标对象。 2.根据权利要求1所述的方法， 其特征在于， 所述确定每个图像帧的与 所述识别结果对 应的类激活图的激活中心， 得到所述至少一个图像帧的至少一个激活中心， 包括： 确定每个图像帧的与 所述识别结果对应的一组激活值； 所述一组激活值用于生成所述 每个图像帧的类激活图， 且所述类激活图中的每个像素位置与所述一组激活值中的一个激 活值一一对应； 确定所述每个图像帧的一组激活值中最大的激活值， 并将所述最大的激活值所对应的 像素位置确定为所述异常位置； 基于所述每个图像帧的所述异常位置， 得到所述每个图像帧的激活中心， 对于所述至 少一个图像帧， 对应得到所述至少一个激活中心。 3.根据权利要求1或2所述的方法， 其特征在于， 所述基于所述至少一个激活中心， 识别 出所述各个图像帧中的异常目标对象， 包括： 确定每个激活中心在对应的一个图像帧中的位置； 在所述位置位于所述图像帧中的任一检测框区域的情况下， 将所述任一检测框区域对 应的目标对象， 确定为所述图像帧中的异常目标对象， 对于所述至少一个激活中心， 对应得 到所述各个图像帧的异常目标对象。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述基于所述至少一个激活中 心， 识别出 所述各个图像帧中的异常目标对象， 包括： 根据所述至少一个激活中心， 确定出目标激活中心； 根据所述目标激活中心， 识别出 所述各个图像帧中的异常目标对象。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述基于所述至少一个激活中 心， 识别出 所述各个图像帧中的异常目标对象， 包括： 通过无监督聚类方式对所述至少一个激活中心进行聚类， 得到目标激活中心； 根据所述目标激活中心， 识别出 所述各个图像帧中的异常目标对象。 6.根据权利要求5所述的方法， 其特征在于， 所述通过无监督聚类方式对所述至少一个 激活中心进行聚类， 得到目标激活中心， 包括： 通过无监督聚类方式对所述至少一个激活中心进行聚类， 得到包含的激活中心数量最 多的中心簇； 确定所述中心簇 中包含的激活中心的平均值， 并将所述平均值确定为所述目标激活中 心。 7.根据权利要求2所述的方法， 其特征在于， 所述确定每个图像帧的与 所述识别结果对 应的一组激活值， 包括：权　利　要　求　书 1/3 页 2 CN 114677754 A 2生成所述每 个图像帧的与所述识别结果对应的一组初始类激活映射 值； 对所述初始类激活映射值进行上采样处理， 得到一组中间激活值； 所述一组中间激活 值用于生成与所述每 个图像帧的重要区域对应的类激活图； 将所述一组中间激活值与 所述每个图像帧的原始像素值进行融合处理， 得到所述一组 激活值。 8.根据权利要求1 ‑7任一项所述的方法， 其特征在于， 在所述对获得的图像帧序列的至 少一个图像 帧中， 各个图像 帧的重要区域分类识别， 得到与所述至少一个图像 帧对应的识 别结果之前， 所述方法还 包括： 对所述图像帧序列中的当前图像帧进行目标检测， 确定存在的至少一个目标对象对应 的至少一个 检测框区域； 确定所述至少一个 检测框区域中的中心检测框区域； 在已检测所述至少一个图像帧的情况下， 基于所述至少一个图像帧对应的至少一个中 心检测框区域， 确定所述至少一个图像帧中各个图像帧的所述重要区域。 9.根据权利要求8所述的方法， 其特征在于， 所述确定所述至少一个检测框区域中的中 心检测框区域， 包括： 将所述至少一个检测框区域扩大第 一预设比例， 得到与 所述至少一个检测框区域对应 的至少一个第一区域； 基于所述至少一个第 一区域中任意两个第 一区域之间的面积交并比， 确定所述任意两 个第一区域之间的匹配结果； 所述匹配结果表征 所述任意两个第一区域是否匹配； 基于所述匹配结果， 确定每 个第一区域的匹配次数， 并确定匹配次数最大的第一区域； 根据所述匹配次数最大的第一区域， 确定密集中心， 并将所述密集中心对应的检测框 区域， 确定为所述中心检测框区域。 10.根据权利要求8 或9所述的方法， 其特征在于， 所述基于所述至少一个图像帧对应的 至少一个中心检测框区域， 确定所述至少一个图像帧中各个图像帧的所述重要区域， 包括： 将所述至少一个图像帧对应的至少一个中心检测框区域扩大第 二预设比例， 得到与 所 述至少一个 检测框区域对应的至少一个第二区域； 根据所述至少一个第 二区域中各个第 二区域在所属的图像帧中的位置， 确定出概括 区 域位置； 对于每个图像帧， 将所述概括区域位置在所述每个图像帧中对应的区域， 确定为所述 每个图像帧的所述重要区域； 所述每个图像帧的重要区域包含所述每个图像帧对应的第二 区域。 11.根据权利要求9所述的方法， 其特征在于， 所述根据所述匹配次数最大的第 一区域， 确定密集中心， 包括： 在存在一个所述匹配次数最大的第 一区域的情况下， 将所述匹配次数最大的第 一区域 确定为所述密集中心； 在存在两个或两个以上的所述匹配次数最大的第 一区域的情况下， 将所述两个或两个 以上的所述匹配次数最大的第一区域中面积最大的第一区域， 确定为所述密集中心。 12.一种行为识别装置， 其特 征在于， 包括： 识别单元， 用于对获得的图像帧序列的至少一个图像帧中， 各个图像帧的重要区域分权　利　要　求　书 2/3 页 3 CN 114677754 A 3