(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210771385.6 (22)申请日 2022.06.30 (71)申请人 中原工学院 地址 451191 河南省郑州市新郑双湖经济 技术开发区淮河路1号 (72)发明人 杨蕾　宋晓炜　蔡文静　郭小玉　 鹿德源　李梦龙　 (74)专利代理 机构 郑州优盾知识产权代理有限 公司 41125 专利代理师 栗改 (51)Int.Cl. G06T 7/62(2017.01) G06T 7/80(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/42(2022.01) G06V 10/82(2022.01) (54)发明名称 融合注意力机制和基于角 点立体匹配的人 体参数测量方法 (57)摘要 本发明提出了一种融合注意力机制和基于 角点立体匹配的人体参数测量方法， 其步骤为： 转台按照90度间隔旋转， 双目相机采集四组不同 角度的人体图像的左视图和右视图； 将每组左视 图和右视图分别输入CB AM‑PSPNet语义 分割网络 提取人体测量部位； 利用Shi ‑Tomasi角点检测算 法提取人体测量部位的特征点集合； 根据彩色标 记点和棋盘格制式对特征点集合进行区域约束， 获取左视图和右视图的同一行特征点二维坐标； 利用双目立体标定参数计算同一行特征点的三 维空间坐标； 根据转台旋转角度 将特征点反向旋 转回初始位置， 利用PIVCF方法实现人体围度拟 合， 得到人体参数测量数据。 本发明提高了人体 分割精度、 简化了立体匹配过程， 有效提高了人 体测量精度。 权利要求书3页 说明书11页 附图7页 CN 115115693 A 2022.09.27 CN 115115693 A 1.一种融合注意力机制和基于角点立体匹配的人体参数测量方法， 其特征在于， 其步 骤如下： 步骤一： 利用双目相机和转台， 转台按照90度间隔旋转， 双目相机采集四组不同角度的 人体图像的左视图和右视图； 步骤二： 将每组左视图和右视图分别输入CBAM ‑PSPNet语义分割网络提取人体测量部 位； 步骤三： 利用Shi ‑Tomasi角点检测算法提取 人体测量部位的亚像素级特 征点集合； 步骤四： 根据预置的彩色标记点位置信息和棋盘格制式对特征点集合进行区域约束， 实现亚像素级别的精细立体匹配， 获取左视图和右视图的同一行 特征点二维坐标； 步骤五： 利用双目立体标定参数计算同一行 特征点的三维空间坐标； 步骤六： 根据转 台旋转角度将所述特征点反向旋转回初始位置， 利用PIVCF方法实现人 体围度拟合， 得到人体参数测量数据。 2.根据权利要求1所述的融合注意力机制和基于角点立体匹配的人体参数测量方法， 其特征在于， 所述双目相 机对穿黑白棋盘格紧身衣的受试者进行人体图像采集， 相邻棋盘 格间距为2.5cm； 标定过后的双目相机放置于转台正前方， 受试者站立于转台的中心， 转台 以每7.5秒90 °顺时针旋转4次回到起始位置， 双目相机在0度、 90度、 180度、 270度各采集一 次人体图像； 转台中心 点贴有彩色标记 点； 用于CBAM ‑PSPNet语义分割网络的训练和测试的 数据集包括： 从公共数据集Look  into person中挑选了2500张分辨率为300 ×600的人体图 像； 通过摄像头采集了2000张分辨率为2448 ×2048的人体图像； 以数据集扩增的方式将数 据集增至20 308张， 选择15795张人体图像作为训练集， 4513张人体图像作为测试集。 3.根据权利要求1或2所述的融合注意力机制和基于角点立体匹配的人体参数测量方 法， 其特征在于， 所述CBAM ‑PSPNet语义分割网络为在PSPNet网络的主干网络ResNet101的 特征提取阶段嵌入四个CBAM注意力模块； 在 主干网络ResNet101的瓶颈结构中， 将普通卷积 替换为分组卷积； 利用CBAM ‑PSPNet语义分割网络对左视图和右视图进行人体头部、 胸 部、 腰部、 臀部、 大腿部、 脚部六个区域的语义分割。 4.根据权利要求3所述的融合注意力机制和基于角点立体匹配的人体参数测量方法， 其特征在于， 所述主干网络ResNet101的残差网络的中间卷积 部分由残差块构成， 在中间卷 积部分四层中每一个Layer的输出部分嵌入1个CBAM模块； 所述分组卷积的实现方法为： 对于一个256通道的输入特征， 分为两个支路， 即直线支 路和捷径支路， 在直线支路的第二层3 ×3卷积处进行分组卷积操作， 再将每一个分组卷积 的输出进行通道叠加连接； 所述分组卷积参数量是普通卷积参数量的 其中， g为分组卷 积层中每 个卷积核的组数。 5.根据权利要求4所述的融合注意力机制和基于角点立体匹配的人体参数测量方法， 其特征在于， 所述CBAM ‑PSPNet语义分割网络利用改进后的主干网络ResNet101嵌入4个 CBAM模块作为特征提取器， 对输入图像进行特征提取生 成特征图； 然后， 对于生成的特征图 采用金字塔池化模块提取上下文信息； 将提取 的特征图融合为全局特征； 将融合得到的全 局特征和原始输入特征图拼接； 所述金字塔池化模块中金字塔池化内核分为4个层级， 分别权　利　要　求　书 1/3 页 2 CN 115115693 A 2为1×1、 2×2、 3×3和6×6， 用来提取全局与不同尺度大小的局部特 征。 6.根据权利要求3或4所述的融合注意力机制和基于角点立体匹配的人体参数测量方 法， 其特征在于， 所述Shi ‑Tomasi角点检测算法根据角点邻域内灰度值的变化实现内角点 的准确定位； 所述的预置的彩色标记点的设置方法为： 在每一个1/4分割围度区域均设置 红、 青两个颜色的标记点， 且两个标记点所确定的矩形区域包 含同一条围度测量线。 7.根据权利要求6所述的融合注意力机制和基于角点立体匹配的人体参数测量方法， 其特征在于， 所述区域约束的方法为： Shi‑Tomasi角点检测算法对左视图和右视图的人体分割区域进行特征点精准定位， 分 别获得左视图和右视图分割区域的亚像素角点集合 和 其 中， xl_i、 yl_i分别表示左视图分割区域内角点像素的横坐标和纵坐标， xr_j、 yr_j分别表示右 视图分割区域内角点像素的横坐标和纵坐标， M、 N分别表 示左视图、 右视图分割区域内检测 到的角点数目； 通过标记点约束获取同一行角点分别在左视图和右视图的角点集合Sl_RC和Sr_RC， 其中， 且 对约束区域的角点集合Sl_RC和Sr_RC进行x坐标排序获得Sl_RC'和Sr_RC'， 使同一个角点左 右视图的像素坐标一一对应， 获得同一行特征点在左视图和右视图中的匹配点对， 实现亚 像素级别的精细立体匹配； 根据棋盘格的特征， 以红色和青色标记点的中心坐标为约束条件， 按照标记点y坐标以 步长Nstep向上或向下移动， 其中， Nstep为相邻棋盘格角点之间的像素数差值； 且拍摄距离D与 步长Nstep的关系为： Nstep＝7.02D2‑45.18D+93.43。 8.根据权利要求7所述的融合注意力机制和基于角点立体匹配的人体参数测量方法， 其特征在于， 所述标记点约束的实现方法为： 分割图像中的所有像素构成数据集Z＝{z1,z2,…zi,…},i＝1,2, …N， 每一个像素点zi 在HSV颜色空间中分量 为zi(Hi,Si,Vi)， 在分割图像中的二维坐标为zi(xi,yi)； 根据HSV颜色区间对于分割区域分别获得左视图的红、 青两色标记点的像素点集合 Ml_R、 Ml_C和右视图的红、 青两色标记点的像素点集合Mr_R、 Mr_C； 通过求像素点集合内的像素 坐标平均值获得左视图分割区域内红、 青标记点的中心点坐标 和右视图分割区域内红、 青标记点的中心点 坐标 以标记点 和 为约束条件， 获取左视图分割区域中红、 青标 记点限定的约束框内的角点像素集 合： 其中， 且 M1表示左视图约束 框内的角点数目； 以标记点 和 为约束条件， 获取右视图分割区域中红、 青标记 点限定的约束框内的角点像素集 合：权　利　要　求　书 2/3 页 3 CN 115115693 A 3