(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210822336.0 (22)申请日 2022.07.12 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 郑喜民　孙雨旸　舒畅　陈又新　 (74)专利代理 机构 深圳市明日今典知识产权代 理事务所(普通 合伙) 44343 专利代理师 王杰辉　石良武 (51)Int.Cl. G06T 7/521(2017.01) G06T 7/50(2017.01) G06T 17/20(2006.01) G06V 10/34(2022.01)G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G01S 17/89(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 三维点云的点云表征生成方法、 装置、 设备 及存储介质 (57)摘要 本申请涉及人工智能技术领域， 揭示了一种 三维点云的点云表征生成方法、 装置、 设备及存 储介质， 其中方法包括： 采用预设的分层数量和 预设的投影面网格尺寸， 对所述目标三维点云进 行分层投影， 得到投影特征图集； 将所述投影特 征图集输入预设的点云表征生成模型进行点云 表征生成， 得到目标点云表征， 其中， 所述点 云表 征生成模型是基于掩码技术、 分层投影技术、 深 度自编码器和特征融合网络训练得到的模型。 通 过分层投影能进一步地保证了三维物体内部信 息的获取， 为后续点云表征的有效学习提供了 保 障， 通过特征融合实现了多尺度特征信息的利 用， 从而使深度自编码器能有效的从投影特征图 集中学习到点云信息的表征， 有助于提高表征学 习的精确度。 权利要求书3页 说明书11页 附图2页 CN 115170632 A 2022.10.11 CN 115170632 A 1.一种三维点云的点云表征生成方法， 其特 征在于， 所述方法包括： 获取目标三维点云； 采用预设的分层数量和预设的投影面网格尺寸， 对所述目标三维点云进行分层投影， 得到投影特 征图集； 将所述投影特征图集输入预设的点云表征生成模型进行点云表征生成， 得到目标点云 表征， 其中， 所述点云表征生成模型是基于掩码技术、 分层投影技术、 深度自编码器和特征 融合网络训练得到的模型。 2.根据权利要求1所述的三维点云的点云表征生成方法， 其特征在于， 所述采用预设的 分层数量和预设的投影面网格尺寸， 对所述 目标三维点云进行分层投影， 得到投影特征图 集的步骤， 包括： 对所述目标三维点云进行归一 化处理， 得到待预测三维点云； 从x投影面、 y投影面和z投影面中获取任一个投影面作为第一投影面； 采用所述分层数量， 对所述待预测三维点云进行垂直所述第一投影面的分层， 得到所 述第一投影面对应的多个单层三维点云； 采用所述投影面网格尺寸， 将所述第 一投影面对应的每个所述单层三维点云投影到所 述第一投影面上， 得到所述第一投影面对应的单层投影特 征图； 重复执行所述从x投影面、 y投影面和z投影面中获取任一个投影面作为第一投影面的 步骤， 直至 完成所述x投影面、 所述y投影面和所述z投影面中的每 个所述投影面的获取； 将各个所述单层投影特 征图作为所述投影特 征图集。 3.根据权利要求2所述的三维点云的点云表征生成方法， 其特征在于， 所述将所述投影 特征图集输入预设的点云表征生成模型进行点云表征生成， 得到目标点云表征 的步骤， 包 括： 将所述投影特征图集中的与每个所述投影面对应的各个所述单层投影特征图进行在 通道维度的拼接， 得到拼接特 征图； 将各个所述拼接特征图输入所述点云表征生成模型进行点云表征生成， 得到单投影面 特征数据； 将各个所述单投影面特 征数据作为所述目标点云表征。 4.根据权利要求3所述的三维点云的点云表征生成方法， 其特征在于， 所述点云表征生 成模型包括： 两个信息热图生成模块和每 个所述投影面对应的特 征提取模块； 所述特征提取模块包括： 一个CNN骨架子模块和两个特征融合子模块， 其中， 两个所述 特征融合子模块中的第一个所述特征融合子模块位于所述CNN骨架子模块的第一个残差块 和第二个所述残差块之 间， 两个所述特征融合子模块中的第二个所述特征融合子模块位于 所述CNN骨架子模块的第三个所述残差块和第四个所述残差块之间， 两个所述信息热图生 成模块中的第一个所述信息热图生成模块分别与每个第一个所述特征融合子模块连接， 两 个所述信息热图生成模块中的第二个所述信息热图生成模块分别与每个第二个所述特征 融合子模块连接； 所述x投影面的第一个所述特征融合子模块、 所述y投影面的第一个所述特征融合子模 块和所述z投影面的第一个所述特 征融合子模块彼此 连接； 所述x投影面的第二个所述特征融合子模块、 所述y投影面的第二个所述特征融合子模权　利　要　求　书 1/3 页 2 CN 115170632 A 2块和所述z投影面的第二个所述特 征融合子模块彼此 连接。 5.根据权利要求4所述的三维点云的点云表征生成方法， 其特征在于， 所述特征融合子 模块包括： 实例归一 化单元和特征融合单 元； 第一个所述特征融合子模块的所述实例归一化单元的输出作为第一个所述信息热图 生成模块的输入； 第一个所述信息热图生成模块的输出作为第一个所述特征融合子模块的所述特征融 合单元的输入； 第二个所述特征融合子模块的所述实例归一化单元的输出作为第二个所述信息热图 生成模块的输入； 第二个所述信息热图生成模块的输出作为第二个所述特征融合子模块的所述特征融 合单元的输入。 6.根据权利要求5所述的三维点云的点云表征生成方法， 其特征在于， 第 一个所述特征 融合子模块的所述特征融合单元用于从所述x投影面、 所述y投影面和所述z投影面中获取 任一个所述投影面作为第二投影面， 将所述第二投影面的以外的各个所述投影面的第一个 所述特征融合子模块的所述 实例归一化单元的输出进 行相同位置的元素值相加， 得到第一 特征图， 将所述第一特征图与第一个所述信息热图生成模块的输出进 行相同位置的元素值 相乘， 得到第二特征图， 将所述第二特征图和所述第二投影面的第一个所述特征融合子模 块的所述 实例归一化单元的输出进行相同位置的元素值相加， 得到所述第二投影面对应的 融合特征， 其中， 所述第二投影面对应的所述融合特征是所述第二投影面对应的第二个所 述残差块； 第二个所述特征融合子模块的所述特征融合单元用于从所述x投影面、 所述y投影面和 所述z投影面中获取任一个所述投影面作为第三投影面， 将所述第三投影面的以外的各个 所述投影面的第二个所述特征融合子模块的所述实例归一化单元的输出进行相同位置的 元素值相加， 得到第三特征图， 将所述第三特征图与第二个所述信息热图生成模块的输出 进行相同位置的元素值相乘， 得到第四特征图， 将所述第四特征图和所述第三投影面的第 二个所述特征融合子模块的所述 实例归一化单元的输出进 行相同位置的元素值相加， 得到 所述第三投影面对应的所述融合特征， 其中， 所述第三投影面对应的所述融合特征是所述 第三投影面上的第四个所述残差块的输入。 7.根据权利要求1所述的三维点云的点云表征生成方法， 其特征在于， 所述将所述投影 特征图集输入预设的点云表征生成模型进行点云表征生成， 得到目标点云表征 的步骤， 包 括： 获取多个训练样本和待训练模型， 其中， 所述待训练模型依次包括： 初始模型和解码 器； 将任一个所述训练样本作为目标样本； 将所述目标样本 中的投影特征图样本集输入所述待训练模型进行投影图重构， 得到投 影图重构结果； 根据所述投影图重构结果和所述目标样本中的投影图标签 计算感知损失； 根据所述感知损失更新所述待训练模型的网络参数； 重复执行所述将任一个所述训练样本作为目标样本的步骤， 直至达到预设的模型训练权　利　要　求　书 2/3 页 3 CN 115170632 A 3