(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210908195.4 (22)申请日 2022.07.29 (71)申请人 梅卡曼德 （北京） 机 器人科技有限公 司 地址 100085 北京市海淀区上地信息产业 基地创业路6号1层1 100 (72)发明人 崔致豪　丁有爽　邵天兰　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 张芳　黄健 (51)Int.Cl. G06V 10/56(2022.01) G06V 10/54(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 深度补全模 型的训练方法、 装置、 设备、 介质 及产品 (57)摘要 本公开提供一种深度补 全模型的训练方法、 装置、 设备、 介质及产品， 其中方法包括获取训练 图像以及所述训练图像对应的第一深度图像， 所 述训练图像为二维图像； 在所述第一深度图像加 入深度缺陷， 生成所述训练图像对应的第二深度 图像； 根据所述训练图像、 所述第一深度图像以 及所述第二深度图像， 对所述深度补全模型进行 深度补全训练， 以使所述深度补全模 型能够基于 输入存在深度缺失的深度图像输出经过深度补 全的深度图像。 本公开通过建立深度补全模型并 进行深度学习， 利用训练好的深度补全模型针对 存在缺失的深度图进行补全， 为存在深度缺失的 深度图提供了深度补全的解决方案 。 权利要求书2页 说明书13页 附图4页 CN 115272709 A 2022.11.01 CN 115272709 A 1.一种深度补全 模型的训练方法， 其特 征在于， 包括： 获取训练图像以及所述训练图像对应的第一深度图像， 所述训练图像为 二维图像； 在所述第一深度图像加入深度缺陷， 生成所述训练图像对应的第二深度图像； 根据所述训练图像、 所述第一深度图像以及所述第二深度图像， 对所述深度补全模型 进行深度补 全训练， 以使 所述深度补全模型能够基于输入的深度缺 失图像输出经过深度补 全的深度图像。 2.根据权利要求1所述的方法， 其特征在于， 所述在所述第一深度图像加入深度缺陷， 生成所述训练图像对应的第二深度图像， 包括： 随机去除所述第 一深度图像的局部区域深度信 息， 生成所述训练图像对应的第 二深度 图像； 或者， 使用存在深度缺失的物体深度图像， 对所述第一深度图像的局部区域进行遮挡， 生成 所述训练图像对应的第二深度图像。 3.根据权利要求1所述的方法， 其特征在于所述根据 所述训练图像、 所述第 一深度图像 以及所述第二深度图像， 对所述深度补全 模型进行深度补全训练， 包括： 将所述训练图像和所述第二深度图像， 输入当前的深度补全模型， 得到所述深度补全 模型输出的所述训练图像对应的第三深度图像； 根据所述第三深度图像以及所述第一深度图像， 基于损 失函数， 确定当前深度补全模 型的损失值； 根据所述损失值对当前的深度补全模型进行参数调整， 直至当前的深度补全模型满足 预设的收敛 条件， 获得训练后的深度补全 模型。 4.根据权利要求3所述的方法， 其特 征在于， 所述损失函数为均方损失函数。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述深度补全模型包括： 第一支 路、 第二支路以及融合层； 所述第一支路用于输入所述训练图像， 所述第一支路包括顺序连接的多个第一子模 块， 所述第一子模块用于执 行关于颜色信息、 纹 理信息、 边 缘信息与空间信息的特 征提取； 所述第二支路用于输入所述第 二深度图像， 所述第 二支路包括下采样模块和上采样模 块， 所述下采样模块用于执行下采样， 并对下采样得到的结果进行深度信息和空间信息的 特征提取； 所述上采样模块用于进行深度信息和空间信息的特征提取， 并对特征提取 的结 果执行上采样； 其中， 所述下采样模块与所述上采样模块的数量相同； 所述融合层， 用于对所述第 一支路输出的特征和所述第 二支路输出的特征进行特征融 合， 得到所述深度补全 模型的输出。 6.根据权利要求5所述的方法， 其特征在于， 所述下采样模块与 所述上采样模块一一对 应， 其中下采样模块的输出尺寸与对应的上采样模块的输入尺寸相同， 至少一个所述下采 样模块提供跨层连接 至对应的上采样模块； 提供有跨层连接的下采样模块， 用于通过所述跨层连接将所述下采样模块输出的浅层 特征传输至对应的上采样模块。 7.根据权利要求6所述的方法， 其特 征在于， 提供有跨层连接的上采样模块， 具体用于对所述跨层连接传输的浅层特征和所述上采 样模块的上一模块输出 的深层特征叠加的结果， 进行深度信息和空间信息的特征提取， 并权　利　要　求　书 1/2 页 2 CN 115272709 A 2对特征提取的结果执 行上采样。 8.根据权利要求5所述的方法， 其特 征在于， 每个所述上采样模块及每个所述下采样模块均包括第 二子模块， 所述第 二子模块用于 进行深度信息和空间信息的特 征提取。 9.根据权利要求8所述的方法， 其特征在于， 所述第 一子模块和所述第 二子模块均为残 差通道注意力块模型。 10.一种深度补全图像生成方法， 其特 征在于， 包括： 获取待处 理的深度图像， 所述待处 理的深度图像包括深度缺失区域； 将所述待处理的深度图像输入深度补全模型， 得到经过深度补全的深度补全图像； 其 中， 所述深度补全模型为采用如权利要求1 ‑9任一项所述的深度补全模型的训练方法训练 生成的。 11.一种深度补全 模型的训练装置， 其特 征在于， 包括： 获取模块， 用于获取训练图像以及所述训练图像对应的第一深度图像， 所述训练图像 为二维图像； 处理模块， 用于在所述第一深度图像加入深度缺陷， 生成所述训练图像对应的第二深 度图像； 训练模块， 用于根据 所述训练图像、 所述第一深度图像以及所述第二深度图像， 对所述 深度补全模型进 行深度补全训练， 以使所述深度补 全模型能够基于输入的深度缺 失图像输 出经过深度补全的深度图像。 12.一种电子设备， 其特 征在于， 包括： 处 理器， 以及与所述处 理器通信连接的存 储器； 所述存储器存储计算机执 行指令； 所述处理器执行所述存储器存储的计算机执行指令， 以实现如权利要求1 ‑9中任一项 所述的深度补全 模型的训练方法或权利要求10所述的深度补全图像生成方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 所述计算机执行指令被处理器执行时用于实现如权利要求1 ‑9中任一项所述的 深度补全 模型的训练方法或权利要求10所述的深度补全图像生成方法。 14.一种计算机程序产品， 其特征在于， 包括计算机程序， 所述计算机程序在被处理器 执行时实现如权利要求 1‑9中任一项 所述的深度补 全模型的训练方法或权利要求 10所述的 深度补全图像生成方法。权　利　要　求　书 2/2 页 3 CN 115272709 A 3