(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221079470 5.X (22)申请日 2022.07.07 (71)申请人 广西师范大学 地址 541004 广西壮 族自治区桂林市七 星 区育才路15号 (72)发明人 陈明　闭韦杰　张正钦　容仕军　 (74)专利代理 机构 桂林市华杰 专利商标事务所 有限责任公司 451 12 专利代理师 覃永峰 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/75(2022.01) G06V 10/44(2022.01)G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于双边网格学习和边缘损失的双目 立体匹配方法 (57)摘要 本发明公开了一种基于双边网格学习和边 缘损失的双 目立体匹配方法， 包括如下步骤： 步 骤1， 特征提取； 步骤2， 构建引导图； 步骤3， 构建 代价空间； 步骤4， 代价聚合； 步骤5， 代价上采样； 步骤6， 视差回归； 步骤7， 全分辨率视差精细化； 步骤8， 计算损失； 步骤9， 更新参数。 这种方法边 缘区域视差估计精度高， 降低了误差， 还能进行 实时推理。 权利要求书2页 说明书6页 附图3页 CN 115170921 A 2022.10.11 CN 115170921 A 1.一种基于双边网格学习和边缘损失的双目立体匹配方法， 其特征在于， 包括如下步 骤： 步骤1， 特征提取： 在网络中输入形状为H ×W×3的RGB图像Il和Ir， 其中Il和Ir分别为左 视图和右视图， 使用残差的结构作为特征提取模块提取左右视图的特征， 该特征提取模块 的权值是共享的， 在特征提取模块的浅层部分， 使用了四个由3 ×3卷积构建的卷积层提取 得到的形状为1/2H ×1/2W×12的初始浅层特征fg， 随后， 经过四个残差层和四个交替的升 降维的卷积层， 拼接中间特征得到形状为H/8 ×W/8×352的特征， 左右视图提取到的特征分 别记为fl、 fr； 步骤2， 构建引导图： 为保留细节信息， 在构建引导图前， 使用下采样至原左视图1/2分 辨率的图像 I1/2与fg融合得到形状 为1/2H×1/2W×3的fg’， 将fg’经过三个带归一化层的3 × 3卷积将通道数降为1， 得到最终的引导图G； 步骤3， 构建代价空间： 为了降低参数量， 提高推理速度， 代价空间由逐组相关的方法构 建， 逐组相关的计算公式如下： 其中， d为代价空间的视差大小， g为特征通道划分的组数， (x， y)为元素坐标， 组数设置 为44， 构建逐组相关时的视 差d为1/8 Dmax， Dmax为预设的最大视 差； 步骤4， 代价聚合： 在立体匹配网络中， 利用多个堆叠的沙漏 结构进行代价聚合， 为了提 高效率， 使用一个沙漏结构来进 行代价聚合， 具体为： 该沙漏结构是一个用3D卷积构 造的类 u‑net的网络结构， 将跳跃连接后的拼接操作替换为求和操作， 以降低计算成本， 代价聚合 后， 得到低分辨 率的代价空间Cl， 形状为16 ×25×1/8H×1/8W； 步骤5， 代价上采样： 将步骤2中得到的引导图G和步骤4中得到的Cl作为双边网格学习的 输入， 最终通过双边网格上采样得到高分辨 率的代价空间CH， 形状为16 ×25×1/2H×1/2W； 步骤6， 视差 回归： 得到了高分辨率的代价空间CH之后， 通过soft  argmin回归视差得到 预测的视 差dl， 形状为1/2H ×1/2W： 其中， k为视差等级， 设置为1/2Dmax； 步骤7， 全分辨率视差精细化： 为避免棋盘伪影效应， 在视差细化之前先对dl进行双线 性 插值得到全分辨率的视差dh， 之后对dh进行全分辨率的视差精细化， 具体的， 对输入的dh、 Il 和Ir通过wrap操作和拼接操作合并在一起， 随后输入一个沙漏状结构， 逐步细化得到最终 的预测视差dfinal， 在训练阶段， 全分辨率视差预测之后， 将dh作为中间监督且与最 终的预测 视差dfinal共同作为模型的预测值； 步骤8， 计算损失： 在训练 阶段， 完成视差预测之后， 计算损失， 使用对离群点、 异常值相 对鲁棒、 梯度变化小的Smo oth L1 Loss构建损失， 其公式如下： 总的损失函数由三部分组成： 损失函数L ossgt为预测值与真实值计算Smo oth L1 Loss得到， 具体公式如下 所示：权　利　要　求　书 1/2 页 2 CN 115170921 A 2其中， dgt为p点处的真实视 差， 采用深度学习的立体匹配方法常用的Scene  Flow数据集、 KITTI  2012数据集和KITTI   2015数据集提供真实视差,当数据集提供的真实视差是稀疏的， 则总的损失函数加上 Losspseudo， Losspseudo由预测值与伪视差计算Smooth  L1 Loss得到， 伪视差由成熟的模型预 测得到， 公式具体如下： 其中， Ppseudo表示真实标签未给出且使用成熟模型预测得到的点集， dpseudo表示p点处的 伪视差； 最后是边缘损失Lossedges， 为了使设计的网络模型关注视差估计中的边缘区域， 针对边 缘区域计算额外的Smooth  L1 Loss， 边缘区域的构建过程为： 使用Canny算子对左视图进行 边缘检测得到边 缘图E1； 随后使用5 ×5的矩形区域对E1进行膨胀得到最终的边 缘图E2， 边缘损失Lossedges的计算公式如下： 其中， PE表示边缘图E2中边缘区域包 含的点集， dE表示边缘区域p点处的真实视 差； 总的损失L osstotal为Lossgt、 Losspseudo与Lossedges之和， 用如下公式表示： Losstotal＝w1·Lossgt+w2·Losspseudo+w3·Lossedges， 其中w1、 w2和w3是预设的超参数， 分别设为1.0、 1.0、 1.0； 在训练时， 分别计算dh和dfinal的总损失得到loss1、 loss2， 最后使用0.8 ×loss1+1.0× loss2的值进行反向传播； 步骤9， 更新 参数： 更新 参数使用Adam优化器， 学习率衰减使用多步长 衰减； 将数据集划分为训练集、 验证集和测试集,训练集、 验证集在训练过程中使用， 测试集 用于评价最终模型 预测视差的好坏； 重复多次步骤1至步骤9， 直至模型收敛， 训练结束， 在验证集上获得的模型即为最终的 立体匹配模型， 用于立体匹配任务。权　利　要　求　书 2/2 页 3 CN 115170921 A 3