(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210861870.2 (22)申请日 2022.07.20 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 冯晨　项超　张力　许豪　王朝　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 李建忠 (51)Int.Cl. G06T 17/20(2006.01) G06T 5/50(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 目标检测方法、 装置、 电子设备及计算机可 读存储介质 (57)摘要 本公开提供了一种目标检测方法、 装置、 电 子设备及计算机可读存储介质， 涉及自动驾驶技 术领域。 该方法包括： 获取图像融合数据及对应 的点云融合数据； 对图像融合数据进行编码并从 编码处理的多个阶段得到分辨率不同的多个图 像特征图； 将点云融合数据动态体素化， 确定点 云融合数据中各个点云点对应的体素索引； 对点 云融合数据进行编码， 得到第一点云特征图； 将 多个图像特征图与第一点云特征图进行特征融 合， 得到第二点云特征图； 根据第二点云特征图 和体素索引进行目标检测， 得到检测结果。 通过 点云动态体素化以及图像、 点云数据在数据层、 特征层融合的方式实现目标检测， 使得检测结果 具有更高的精度。 权利要求书3页 说明书17页 附图8页 CN 115170769 A 2022.10.11 CN 115170769 A 1.一种目标检测方法， 其特 征在于， 所述方法包括： 获取图像融合数据及对应的点云融合数据， 所述图像融合数据由图像数据融合对应点 云数据及 补值得到， 所述 点云融合数据由所述 点云数据融合所述图像数据得到； 对所述图像融合数据进行编码并从编码处理的多个阶段得到分辨率不同的多个图像 特征图； 将所述点云融合数据动态体素化， 确定所述点云融合数据中各个点云点对应的体素索 引； 对所述点云融合数据进行编码， 得到第一 点云特征图； 将所述多个图像特 征图与所述第一 点云特征图进行 特征融合， 得到第二 点云特征图； 根据所述第二 点云特征图和所述体素索引进行目标检测， 得到检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述多个图像特征图与 所述第一点 云特征图进行 特征融合， 得到第二 点云特征图， 包括： 将所述多个图像特征图中的各个图像特征图分别与所述第一点云特征图进行特征融 合， 得到多个第三 点云特征图； 将所述多个第三 点云特征图进行拼接， 得到所述第二 点云特征图。 3.根据权利要求2所述的方法， 其特征在于， 所述多个图像特征图包括第一图像特征 图， 所述将所述多个图像特征图中的各个图像特征图分别与所述第一点云特征图进行特征 融合， 得到多个第三 点云特征图， 包括： 在所述第一图像特征图中， 以目标像素为中心 的参考邻域内提取多种图像特征， 得到 多个第二图像特征图， 所述目标像素是所述第一图像特征图包括的像素中与所述第一点云 特征图中点云点对应的像素； 将所述多个第 二图像特征图分别与 所述第一点云特征图进行拼接， 得到多个第四点云 特征图； 将所述多个第四点云特征图输入双通道注意力网络， 由所述双通道注意力网络根据 所 述多个第四点云特 征图生成注意力特 征图； 根据所述注意力特 征图生成所述第一图像特 征图对应的第三 点云特征图。 4.根据权利要求3述的方法， 其特征在于， 所述多个第二图像特征图包括卷积特征图、 平均池化特 征图和最大池化特 征图； 所述在所述第一图像特征图中， 以目标像素为中心 的参考邻域内提取多种图像特征， 得到多个第二图像特 征图， 包括： 在所述第一图像特征图中， 以所述目标像素为中心的所述参考邻域内进行可变形卷 积， 得到所述卷积特 征图； 在所述第一图像特征图中， 以所述目标像素为中心的所述参考邻域内进行可变形平均 池化， 得到所述平均池化特 征图； 在所述第一图像特征图中， 以所述目标像素为中心的所述参考邻域内进行可变形最大 池化， 得到所述 最大池化特 征图。 5.根据权利要求3述的方法， 其特征在于， 所述多个第四点云特征图包括卷积点云特征 图、 平均池化 点云特征图和最大池化 点云特征图； 所述将所述多个第四点云特征图输入双通道注意力网络， 由所述双通道注意力网络根权　利　要　求　书 1/3 页 2 CN 115170769 A 2据所述多个第四点云特 征图生成注意力特 征图， 包括： 将所述卷积点云特征图输入所述双通道注意力网络包括的第 一通道注意力网络， 由所 述第一通道注意力网络根据所述卷积点云特 征图生成第一注意力特 征图； 将所述平均池化点云特征图和最大池化点云特征图进行拼接， 得到目标池化点云特征 图； 将所述目标池化点云特征图输入所述双通道注意力网络包括的第 二通道注意力网络， 由所述第二 通道注意力网络根据所述目标池化 点云特征图生成第二注意力特 征图； 将所述第一注意力特征图与 所述第二注意力特征图进行逐元素相乘并激活， 得到所述 注意力特 征图。 6.根据权利要求3述的方法， 其特征在于， 所述多个第四点云特征图包括卷积点云特征 图； 所述根据所述注意力特 征图生成所述第一图像特 征图对应的第三 点云特征图， 包括： 将所述注意力特征图与所述卷积点云特征图逐元素相乘并拼接， 得到第五点云特征 图； 将所述第五点云特征图输入第 一神经网络， 由所述第 一神经网络根据 所述第五点云特 征图生成所述第一图像特 征图对应的第三 点云特征图。 7.根据权利要求1述的方法， 其特征在于， 所述根据 所述第二点云特征图和所述体素索 引进行目标检测， 得到检测结果， 包括： 对所述第二 点云特征图进行编码， 得到目标点云特 征图； 根据所述体素索引， 将所述目标点云特 征图进行 特征压缩， 得到二维特 征图； 将所述二维特征图输入第 二神经网络， 由所述第 二神经网络根据 所述二维特征图进行 目标检测， 得到所述检测结果。 8.一种目标检测装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取图像融合数据及对应的点云融合数据， 所述图像融合数据由图像 数据融合对应点云数据及补值得到， 所述点云融合数据由所述点云数据融合所述图像数据 得到； 处理模块， 用于对所述图像融合数据进行编码并从编码处理的多个阶段得到分辨率不 同的多个图像特 征图； 所述处理模块， 还用于将所述点云融合数据动态体素化， 确定所述点云融合数据中各 个点云点对应的体素索引； 所述处理模块， 还用于对所述 点云融合数据进行编码， 得到第一 点云特征图； 所述处理模块， 还用于将所述多个图像特征图与所述第一点云特征图进行特征融合， 得到第二 点云特征图； 所述处理模块， 还用于根据所述第二点云特征图和所述体素索引进行目标检测， 得到 检测结果。 9.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 用于存 储所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所 述的目标检测方法。权　利　要　求　书 2/3 页 3 CN 115170769 A 3