(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221093841 1.X (22)申请日 2022.08.05 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 于茜　高宸健　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于投影密度图采样的草图生成三维 点云的方法 (57)摘要 本发明公开了一种基于投影密度图采样的 草图生成三维点云的方法， 包括： 基于草图转换 模块从手绘图中提取出形状特征， 输出包含通道 数量信息的特征图； 将所述特征图输入点云生成 模块， 预测一个投影密度图并从中采样出二维点 云， 推断出每个二维点的深度； 结合来自投影密 度图采样的(x， y)坐标和来自深度采样的z坐标， 生成整体的三维点云。 该方法无需多个视角的手 绘草图， 基于投影密度图采样的草图， 可生成相 对细节较为完整的三维点云； 相比现有技术中三 维点云的生成， 细节的形状信息表达更多， 可视 化结果更清楚。 权利要求书2页 说明书8页 附图4页 CN 115330938 A 2022.11.11 CN 115330938 A 1.一种基于投影密度图采样的草图生成三维点云的方法， 其特 征在于， 包括以下步骤： S10、 基于草图转换模块从手绘图中提取出形状特征， 输出包含通道数量信息的特征 图； S20、 将所述特征图输入点云生成模块， 预测一个投影密度图并从中采样出二维点云， 推断出每 个二维点的深度； S30、 结合来自投影密度图采样的(x， y)坐标和来自深度采样的z坐标， 生成整体的三维 点云。 2.根据权利要求1所述的一种基于投影密度图采样的草图生成三维点云的方法， 其特 征在于， 所述 步骤S10中草图转换模块采用编码器 ‑解码器的CN N网络结构； 所述CNN网络结构， 包括依次连接的编码器网络、 残差块网络和解码器网络； 其中， 所述 编码器网络包含4个下采样块， 用于提取输入草图的高层次的抽象信息， 作为残差块网络的 输入； 所述残差块网络包 含9个残差块， 用于将稀疏的形状特 征补充完 善； 所述解码器网络包 含4个上采样块， 用于逐步推断出空间分辨 率增加的三维形状信息 。 3.根据权利要求2所述的一种基于投影密度图采样的草图生成三维点云的方法， 其特 征在于， 所述下采样块由依次连接的卷积层、 归一化层和ReLU函数 组成； 所述下采样块中的 卷积层步长为2； 所述残差块由依次连接的卷积层、 归一化层、 ReLU函数、 卷积层和归一化层组成； 所述 残差块中的卷积层步长均为1； 所述上采样块由依次连接的转置卷积层、 归一化层和 ReLU函数组成； 所述上采样块中 的卷积层步长为2。 4.根据权利要求1所述的一种基于投影密度图采样的草图生成三维点云的方法， 其特 征在于， 所述 点云生成模块， 包括： 投影密度图预测子模块和深度采样子模块； 所述投影密度图预测子模块由3个卷积层和3个ReLU函数依次相互交替连接组成； 第3 个ReLU函数连接归一化层； 其中， 第1个卷积层和第3个卷积层步长为1， 第2个卷积层步长为 3； 最后的归一 化层用于确保投影密度图中所有位置的值加 和为1； 所述深度采样子模块， 先对随机噪声用三个残差MLP进行升维， 升维后的随机向量与特 征图给定位置采样出的特征向量在通道维度连接， 然后经过三层残差MLP和一层全连接得 到深度信息 。 5.根据权利要求4所述的一种基于投影密度图采样的草图生成三维点云的方法， 其特 征在于， 所述 步骤S20包括： S201、 将所述特征图作为输入， 利用投影密度图预测子模块预测一个二维坐标的联合 分布P(X,Y|I)， 其中X,Y分别对应于x,y轴的随机变量； 从P(X,Y|I)采样 将产生二维点云； S202、 为所述二 维点云中的每个点预测深度分布p(Zi|xi,yi,I)， 其中xi,yi为第i个点的 二维坐标； 从p(Zi|xi,yi,I)中取样得到每 个二维点的深度。 6.根据权利要求5所述的一种基于投影密度图采样的草图生成三维点云的方法， 其特 征在于， 所述 步骤S201包括： 1)将所述特 征图F输入投影密度图预测子模块， 获得输出 结果投影密度图 2)用二维单通道信号投影密度图 定义一个二维多项分布 其中概率权　利　要　求　书 1/2 页 2 CN 115330938 A 2质量函数为： 3)从二维多项分布中 采样N个样本组成二维点云 中包含N个元素， 每个元素表示一个二维点。 7.根据权利要求6所述的一种基于投影密度图采样的草图生成三维点云的方法， 其特 征在于， 所述 步骤S202包括： a)初始化 集合 为空集； b)从二维点云 中取出一个二维点xi,yi并将其从 中移除； c)从特征图F的xi,yi位置采样得到C通道的特征向量 其中xi,yi为第i个点的二维 坐标； d)从均匀分布 中采样得到标量随机噪声 e)将特征向量 和标量随机噪声 输入深度采样子模块， 得到深度zi； f)将(xi,yi,zi)添加到 中； g)重复步骤(b)～(f)， 由于 中初始时包 含N个元素， 故最终 中包含N个元素。权　利　要　求　书 2/2 页 3 CN 115330938 A 3