(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210982619.1 (22)申请日 2022.08.16 (71)申请人 南京甄视智能科技有限公司 地址 211000 江苏省南京市江宁区高新园 龙眠大道5 68号 (72)发明人 杨帆　程政　王忠林　 (74)专利代理 机构 南京行高知识产权代理有限 公司 32404 专利代理师 王培松　王菊花 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/247(2006.01) H04N 5/33(2006.01) G08B 13/196(2006.01) G06V 20/52(2022.01)G06V 10/80(2022.01) (54)发明名称 双机协同的边防目标识别与追踪系统及方 法 (57)摘要 本发明提供一种双机协同的边防目标识别 与追踪系统， 包括： 部署在边境线位置的超视距 智能摄像终端和边缘计算设备， 第一超视距智能 摄像终端作为瞭望机， 用于对侵入边境线的目标 发现以及识别， 第二超视距智能摄像终端作为追 踪机， 用于接受指令并锁定目标并实时跟踪； 边 缘计算设备对视频数据在本地实时分析， 检测目 标属性， 并指令控制追踪机进行目标跟踪， 接收 追踪机发回的实时数据， 获取目标轨迹及坐标， 向边防监控中心发送报警信息。 边缘计算设备基 于可见光 ‑红外光融合， 对多源图像进行可见光 与红外光成像互补性分析， 实现目标检测与识 别， 解决边境线范围广、 专网专线难以覆盖的问 题， 通过双机协同工作， 提升追 踪效率。 权利要求书2页 说明书7页 附图3页 CN 115361499 A 2022.11.18 CN 115361499 A 1.一种双机协同的边防目标识别与追踪系统， 其特 征在于， 包括： 部署在边境线位置的超视距智能摄像终端， 其中的第 一超视距智能摄像终端作为瞭望 机， 用于对侵入边境线的目标发现以及识别， 第二超视距智能摄像终端作为追踪机， 用于接 受指令并锁定目标并实时跟踪； 部署于边境线位置并与超视距智能摄像终端临近的边缘计算设备， 所述边缘计算设备 用于接收瞭望机发送的目标发现与识别数据， 针对超视距小目标进行实时分析， 检测目标 属性， 并指令控制追踪机进行目标跟踪， 接收追踪机发回的实时数据， 获取目标轨迹及坐 标， 并向部署于远程 边防监控中心的计算机系统发送报警信息； 其中， 所述瞭望机发送的目标发现与识别数据包括基于红外成像通道的红外图像以及 基于可见光成像通道的可 见光图像； 所述边缘计算设备基于可见光 ‑红外光融合， 对多源图像进行可见光与红外光成像互 补性分析， 实现目标检测与识别。 2.根据权利要求1所述的双机协同的边防目标识别与追踪系统， 其特征在于， 所述边缘 计算设备被配置成基于实时图像与背 景图像的差分运算， 结合可见光 ‑红外光图像融合， 以 过滤背景图像信号， 检测侵入对 象； 在此基础上基于预设的目标识别模型对侵入对 象进行 目标识别。 3.根据权利要求1所述的双机协同的边防目标识别与追踪系统， 其特征在于， 所述边缘 计算设备包括多源图像融合模块以及融合图像差分处 理模块； 所述多源图像融合模块， 被设置用于对可 见光图像与红外光成像进行图像融合； 所述融合图像差分处理模块， 被设置用于进行目标像素点的可见光 ‑红外光融合图像 差分处理。 4.根据权利要求3所述的双机协同的边防目标识别与追踪系统， 其特征在于， 所述多源 图像融合模块， 被设置成按照下述方式进行图像融合： 其中， IF(m， n)表示可见光 ‑红外光融合图像， RGB(m， n)表示像素大小为m*n的可见光图 像， IR(m， n)表示像素大小为m*n的红外图像， kRGB表示可见光通道融合系数， kIR表示红外通 道融合系数； 其中， 基于融合图像的图像质量标准差评价方法， 根据图像质量标准差遍历求解可见 光‑红外光对应通道的融合系 数相对最优解， 求解相对图像质量最高时对应的可见光及红 外通道的融合系数， 即红外通道融合系数与可 见光通道融合系数。 5.根据权利要求4所述的双机协同的边防目标识别与追踪系统， 其特征在于， 所述求解 相对图像质量 最高时对应的可 见光kRGB及红外通道的融合系数kIR， 包括： 基于下述方式计算红外通道融合系数与可 见光通道融合系数： IF(m， n)＝ kRGBRGB(m， n)+kIRIR(m， n)；权　利　要　求　书 1/2 页 2 CN 115361499 A 2kRGB+kIR＝1； kRGB＝rand(0， 1)； kIR＝rand(0， 1)； 其中， 可见光 ‑红外光融合图像的图像大小为x*y， Gray表示可见光 ‑红外光融合图像的 图像平均灰度值， SD表示可见光 ‑红外光融合图像的图像质量标准差， SD值越大表明融合图 像对比度越高， S D值越小表明 融合图像的对比度越低， 灰度值越接 近。 6.根据权利要求3所述的双机协同的边防目标识别与追踪系统， 其特征在于， 所述融合 图像差分处 理模块， 被设置成按照下述方式进行图像差分处 理： 在差分滤波规则计算目标像素点可 见光‑红外光融合图像差分计算公式如下： ΔIFt(m， n)＝IFt(m， n)‑IFBGt(m， n) 其中， IFt(m， n)为在t时刻的实时的可见光 ‑红外光融合图像， IFBGt(m， n)为t时刻对应 的可见光‑红外光背景融合图像， ΔIFt(m， n)为可 见光‑红外光图像差分信息， t为时间； 其中， 所述t时刻对应的可见光 ‑红外光背景融合图像IFBGt(m， n)， 被设置成按照预定的 周期内采用同一背景融合图像。 7.根据权利要求6所述的双机协同的边防目标识别与追踪系统， 其特征在于， 所述预定 周期被设置为 根据一天24H进行划分时间周期。 8.根据权利要求6或7所述的双机协同的边防目标识别与追踪系统， 其特征在于， 所述 预定周期被设置为与实时的天气相关。 9.根据权利要求1所述的双机协同的边防目标识别与追踪系统， 其特征在于， 所述追踪 机根据边缘计算设备 的指令， 对识别出 的目标进行实时跟踪， 利用双目视觉测距技术通过 两个图像之间的视觉差来测量目标到追踪机之间的距离， 实现对跟踪目标的坐标位置计 算， 并返回给边 缘计算设备； 所述边缘计算设备根据追踪机返回的跟踪目标的坐标数据， 获取目标轨迹及坐标， 并 向部署于远程 边防监控中心的计算机系统发送报警信息 。 10.一种根据权利要求1 ‑9中任意一项所述的双机协同的边防目标识别与追踪系统的 边防目标识别与追踪方法， 其特 征在于， 包括以下步骤： 在边境线位置部署超视距智能摄像终端以及与超视距智能摄像终端临近的边缘计算 设备， 其中的第一超视距智能摄像终端作为 瞭望机， 用于对侵入边境线的目标发现以及识 别， 第二超视距智能摄 像终端作为追踪机， 用于 接受指令并锁定目标并实时跟踪； 边缘计算设备用于接收瞭望机发送的目标发现与识别数据， 针对超视距小目标进行实 时分析， 检测目标属性， 并指令控制追踪机进行目标跟踪， 接收追踪机发回的实时数据， 获 取目标轨 迹及坐标， 并向部署于远程 边防监控中心的计算机系统发送报警信息； 其中， 瞭望机发送的目标发现与识别数据包括基于红外成像通道的红外图像以及基于 可见光成像通道的可见光图像， 边缘计算设备基于可见光 ‑红外光融合， 对多源图像进行可 见光与红外光成像互补性分析， 实现目标检测与识别。权　利　要　求　书 2/2 页 3 CN 115361499 A 3