(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210349261.9 (22)申请日 2022.04.01 (71)申请人 深圳市九天睿芯科技有限公司 地址 518000 广东省深圳市南 山区深圳湾 科技园10 栋b座240 6号 (72)发明人 周春大　 (74)专利代理 机构 深圳市嘉勤知识产权代理有 限公司 4 4651 专利代理师 辛鸿飞 (51)Int.Cl. G06T 7/20(2017.01) G06V 10/762(2022.01) G06K 9/62(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 目标跟踪方法及装置 (57)摘要 本发明涉及图像识别领域， 尤其涉及一种目 标跟踪方法及装置。 所述方法包括： 获取传感器 采集的事件流， 对事件流进行簇生成， 得到目标 簇的第一时间序列， 获取传感器采集的图像帧， 的图像帧被送入神经网络并经过神经网络计算 出图像区域中反映目标出现可能性大小的置信 度热力图， 对第一时间序列与置信度热力图同时 进行粒子过滤处理， 得到第二时间序列， 第二时 间序列包括单个或多个目标的坐标数据。 本发明 可以降低同等情况下目标跟踪算法需要的硬件 计算力， 或在同样硬件计算力的情况下提高跟踪 效果。 并且结合了DVS与传统APS方式可以结合各 自的优势， 即在获得高处理速度的同时提高跟踪 的精度。 权利要求书2页 说明书10页 附图2页 CN 114842045 A 2022.08.02 CN 114842045 A 1.一种目标跟踪方法， 其特 征在于， 所述方法包括： 获取传感器采集的事件流， 所述事件流包括按照时域增序排列的多个基于目标对象的 运动状态变化的事 件， 所述事 件为所述目标对象部分或全部的像素值发生变化； 对所述事件流进行簇生成， 得到目标簇的第一时间序列， 所述第一时间序列包括至少 一个所述目标对象的事 件中心坐标 数据； 获取传感器采集的图像帧， 将所述图像帧送入预设神经网络并经过所述预设神经网络 计算出图像区域中反映目标 出现可能性大小的置信度热力图； 对所述第一时间序列与所述置信度热力图同时进行粒子过滤处理， 得到第二时间序 列， 所述第二时间序列包括至少一个所述目标对象的坐标 数据。 2.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述对所述事件流进行簇生成的 步骤包括： 若候选事件的时、 空相邻范围内已存在当前簇的任何部分， 则将所述候选事件归属于 所述当前簇， 所述候选事件为所述事件流中时域上滞后于当前时刻的事件， 所述当前簇为 当前时刻已经存在的簇； 和/或， 若候选事件的相邻范围内不存在 当前簇的任何部分或系统中未存在任何当前簇， 则创 建包括所述 候选事件的新簇 。 3.根据权利要求2所述的目标跟踪方法， 其特征在于， 在所述对所述事件流进行簇生成 的步骤包括之后， 所述方法还 包括： 若所述新簇中的事 件的总数低于第二数值， 则将所述 新簇设置为 不可见； 若所述新簇中的事 件的总数高于第二数值， 则将所述 新簇设置为可 见。 4.根据权利要求2所述的目标跟踪方法， 其特征在于， 在所述创建包括所述候选事件的 新簇之后， 所述方法还 包括： 计算系统中所有的簇的总数； 若所述总数大于数量N， 则不再增加新簇， 所述数量N为大于或等于1的整数， 所述数量N 根据系统的处 理能力动态调整。 5.根据权利要求 4所述的目标跟踪方法， 其特 征在于， 所述数量 N为3。 6.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述对所述事件流进行簇生成的 步骤包括： 从所述事 件流中确定待跟踪的候选事 件中心； 当所述候选事件中心的运动状态在至少一个预设的时间间隔阈值内为预设状态时， 确 定所述候选事件中心不存在新事 件； 舍弃所述候选事件中心。 7.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述对所述事件流进行簇生成的 步骤包括： 从所述事 件流中确定归属于第一簇的事 件的数量； 当所述归属于第 一簇事件的数量小于或等于指定的数量 时， 所述第一簇不可见， 否则， 所述第一簇可 见。 8.根据权利要求7所述的目标跟踪方法， 其特征在于， 所述指定的数量Q是事件流中事 件间时空间隔的函数， 即Q(Xn ‑Xm,Yn‑Ym,tn‑tm)， 其中Xn、 Xm、 Yn、 Ym分别是第n个和第m个事权　利　要　求　书 1/2 页 2 CN 114842045 A 2件的X、 Y空间坐标， tn、 tm 分别是第n个和第m个事 件的时间戳。 9.根据权利要求7所述的目标跟踪方法， 其特征在于， 所述指定的数量Q是事件流中事 件间时空间隔的函数， 即Q＝a*(Xn ‑Xm)+b(Yn ‑Ym)+c*(tn ‑tm)， 其中Xn、 Xm、 Yn、 Ym分别是第n 个和第m个事件的X、 Y空间坐标， tn、 tm分别是第n个和第m个事件的时间戳， a、 b、 c分别是常 数系数。 10.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述对所述第一时间序列进行 粒子过滤处理的步骤 包括： 计算新簇中各个粒子的权 重系数： 其中， d(i,j)为第i簇的中心与j粒子之间的空间距离； 根据所述权 重系数计算出 单个或多个目标的坐标 数据。 11.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述神经网络为全连接神经网 络或卷积神经网络 。 12.一种目标跟踪装置， 其特征在于， 包括事件流获取模块、 簇生成模块、 热力图生成模 块和过滤模块； 所述事件流获取模块， 用于获取传感器采集的事件流， 所述事件流包括按照 时域增序 排列的多个基于目标对象的运动状态变化的事件， 所述事件为所述目标对象部 分或全部的 像素值发生变化； 所述簇生成模块， 用于对所述事件流进行簇生成， 得到目标簇的第一 时间序列， 所述第 一时间序列包括至少一个所述目标对象的事 件中心坐标 数据； 所述热力图生成模块， 用于获取传感器采集的图像帧， 将所述图像帧送入预设神经网 络并经过所述预设神经网络计算出图像区域中反映目标 出现可能性大小的置信度热力图； 所述过滤模块， 用于对所述第一时间序列与所述置信度热力图同时进行粒子过滤处 理， 得到第二时间序列， 所述第二时间序列包括至少一个所述目标对象的坐标 数据。权　利　要　求　书 2/2 页 3 CN 114842045 A 3