(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210461597.4 (22)申请日 2022.04.28 (71)申请人 西安交通大 学 地址 710049 陕西省西安市碑林区咸宁西 路28号 (72)发明人 徐光华　吴庆强　韩丞丞　覃芃淋　 魏帆　李泽江　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 贺建斌 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于关节特征编码的单人深度图像卧姿二 维姿态识别方法 (57)摘要 一种基于关节特征编码的单人深度图像卧 姿二维姿态识别方法， 首先对深度图像归一化处 理， 再对深度图像数据集中的关节 点坐标真值进 行特征编码， 编码分为置信区域特征编码、 偏移 量信息编码和尺度编码； 将以上特征编码信息组 合后， 形成卷积神经网络的输出； 然后对网络结 构进行设计， 网络结构中包含有通用网络结构 模 块和自定义网络结构模块， 通过选择损失函数， 实现网络的训练， 将网络输出的结果进行解码插 值后， 可以得到各关节点的对应高分辨率的热力 图， 进而得到各关节点的定位坐标， 形成卧姿的 人体骨骼， 实现人体二维姿态识别； 本发明可 以 实现基于 单人关节点特征编码的、 仅以深度图像 为输入的单 人卧姿二维姿态 识别。 权利要求书3页 说明书6页 附图4页 CN 114973313 A 2022.08.30 CN 114973313 A 1.一种基于关节特征编码的单人深度图像卧姿二维姿态识别方法， 其特征在于， 包括 以下步骤： 步骤一： 深度图像归一 化； 步骤二： 对关节点特 征进行定位编码； 步骤三： 组合关节点特 征编码； 步骤四： 网络结构设计； 步骤五： 选择损失函数； 步骤六： 深度网络训练过程； 步骤七： 关节点定位特 征解码； 步骤八： 生成人体卧姿骨骼。 2.如权利要求1所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤一中深度图像的归一 化由式(1)确定： 式中， Id(i,j)为像素点(i,j)归一化后的对应深度图像Id的值， D(i,j)为输入的未归一 化的像素点(i,j)的深度值， mean(D)为未归一化深度图像的像素值的均值， K为选定的人体 范围阈值。 3.如权利要求2所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤一中式(1)中的K值， 由具体采集对象确 定， 当人体为成人时， K 值大； 当人体为 婴儿或者儿童时， K值小。 4.如权利要求1所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤二中定位编码信息中包含有置信区域编 码， 置信区域范围由式 (2)确定： {φ(U1,V1,r)||(i,j)‑(U1,V1)|≤r}   (2) 式中， (U1,V1)为目标关键点 坐标， r为 其附近半径， (i， j)为周围范围内的像素点。 5.如权利要求4所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤二中定位编码信息中包含有置信区域编码， 编码真值为0或者 1， 代表像素点属于 置信区域的概 率。 6.如权利要求4所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤二中定位编码信息包含有定位坐标信息， 定位坐标信息由置信 范围{φ}内像素相对于目标关键点的偏移量确定 。 7.如权利要求4所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤二中定位编码信息包含有 人体尺度信息， 人体尺度信息确定方 法由式(4)确定： 式中： si,j为图像中的个 体尺度， {U}为关键点的x坐标集 合， {V}为关键点的y坐标集 合。权　利　要　求　书 1/3 页 2 CN 114973313 A 28.如权利要求1所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤三中输入的深度图像通道数不固定， 能够自定义 通道数。 9.如权利要求1所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤四中网络单元由卷积神经网络构成， 但是堆叠结构不固定， 根 据精度、 效率的需求自由更 换。 10.如权利要求1所述的一种基于关节特征编码 的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤四中网络单元的输出分为两类， 第一类为像素点的置信区域分 类概率输出， 第二类为像素点的偏移回归量输出。 11.如权利要求1所述的一种基于关节特征编码 的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤五中置信区域分类部 分的损失函数为交叉熵损失函数， 而偏移 量输出的损失函数为真值与输出相差的绝对值确定 。 12.如权利要求11所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤五中总体的损失函 数由交叉熵损失函 数lossP1和偏移量输出的 损失函数l ossP2按照权重相加得到， 该权 重值由网络优化 参数后确定 。 13.如权利要求1所述的一种基于关节特征编码 的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤六中网络的训练过程中， 首先进行预训练过程， 固定住通用部 分的网络结构模型参数， 仅训练自定义网络 部分的参数， 该 预训练过程的训练轮数不固定 。 14.如权利要求1所述的一种基于关节特征编码 的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤 七中关节点的初步定位 解码由式(7)确定， 式中： 为目标点的xy估计坐标， (i,j)为目标点的置信区域{φ}内的对应像素 点， (xi,j,yi,j)为对应像素点的偏移量。 15.如权利要求14所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤 七中通过插值得到原输入分辨 率大小的热力图。 16.如权利要求15所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤七中通过关键点的位置编码信息生成原输入分辨率的热力图 之前， 需要将放大后的两点之间的像素点 值均置为0， 而后对置为0的像素点进行插值。 17.如权利要求15所述的一种基于关节特征编码的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤 七中插值的具体公式如式(8)确定， 式中： f(Ni,Nj)为坐标(Ni,Nj)处的像素点插值累加后的值， N为以坐标(i， j)为中心的合 适大小的模板， 以取点(Ni,Nj)处的尺度输出si,j取整后的值作为模板大小。 18.如权利要求1所述的一种基于关节特征编码 的单人深度图像卧姿二维姿态识别方 法， 其特征在于： 所述的步骤八中通过插值得到对应 关键点的原输入分辨率大小的热力图，权　利　要　求　书 2/3 页 3 CN 114973313 A 3