(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211007463.1 (22)申请日 2022.08.22 (71)申请人 天津理工大 学 地址 300380 天津市西青区 宾水西道391号 (72)发明人 李天军　刘子铭　陈胜勇　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/70(2017.01) G06T 7/80(2017.01) G06T 17/00(2006.01) (54)发明名称 一种基于单目的注视点估计 视线追踪方法 (57)摘要 本发明公开了一种基于单目的注视点估计 视线追踪方法， 包括如下步骤： 获取待注视点估 计的图像； 根据待注视点估计的图像， 得到头部 姿态旋转向量和头部姿态平移向量； 根据头部姿 态旋转向量和头部姿态平移向量， 拟合生成头部 三维坐标模 型； 从头部三维坐标模 型内提取眼睛 部分的信息点， 得到眼睛三维中心点坐标和注视 向量； 将眼睛三维中心点坐标和注视向量相结 合， 得到最终注视点， 完成对待注视点估计的图 像的注视点估计； 将最终注视点传入控制鼠标的 函数中， 控制鼠标点跟随所得到的最终注视点移 动， 完成对待注视点估计的图像的视线追踪。 该 方法侧重于通过结合头部姿势信息改进一般凝 视估计， 可显著提高注视点估计的准确度。 权利要求书2页 说明书7页 附图2页 CN 115359093 A 2022.11.18 CN 115359093 A 1.一种基于单目的注视点估计视线追踪方法， 其特 征在于， 包括如下步骤： S1、 获取待注视点估计的图像； 根据所述待注视点估计的图像， 得到头部姿态旋转向量 和头部姿态平移向量； S2、 根据所述头 部姿态旋转向量和头 部姿态平移向量， 拟合 生成头部三维坐标模型； S3、 从所述头部三维坐标模型内提取眼睛部分的信息点， 得到眼睛三维中心点坐标和 注视向量； S4、 将所述眼睛三维中心点坐标和注视向量相结合， 得到最终注视点， 完成对所述待注 视点估计的图像的注视点估计。 2.如权利要求1所述的一种基于单目的注视点估计视线追踪方法， 其特征在于， 还包 括： S5、 将所述最终注视点输入预设鼠标移动函数中， 控制鼠标点跟随所得到的所述最终 注视点移动， 完成对所述待注视点估计的图像的视线追踪。 3.如权利要求1所述的一种基于单目的注视点估计视线追踪方法， 其特征在于， 所述步 骤S1包括： 获取待注视点估计的图像； 标定所述待注视点估计的图像的相机内参， 得到内参矩阵； 将所述待注视点估计的图像输入拟合 三维模板模型， 输出 标记点； 对所述待注视点估计的图像进行 人脸框检测， 得到人脸框信息； 根据所述内参矩阵、 标记点和人脸框信息， 得到头部姿态旋转向量和头部姿态平移向 量。 4.如权利要求1所述的一种基于单目的注视点估计视线追踪方法， 其特征在于， 所述步 骤S2包括： 将所述头 部姿态旋转向量 转变为头 部姿态旋转矩阵； 根据所述头 部姿态旋转矩阵和所述头 部姿态平移向量， 拟合 生成头部三维坐标模型。 5.如权利要求1所述的一种基于单目的注视点估计视线追踪方法， 其特征在于， 所述步 骤S3包括： 从所述头部三维坐标模型内提取眼睛部分的信 息点， 将所述眼睛部分的信 息点从三维 坐标点转为二维坐标点； 根据所述 二维坐标点， 得到眼睛二维中心点 坐标； 根据所述眼睛二维中心点 坐标， 建立以头 部为坐标原点的三维空间轴模型； 从所述三维空间轴模型内提取眼睛注视的三维角度， 以及眼睛三维中心点坐标； 将所 述眼睛注视的三维角度转换成注视向量。 6.如权利要求5所述的一种基于单目的注视点估计视线追踪方法， 其特征在于， 通过如 下公式根据所述 二维坐标点， 得到眼睛二维中心点 坐标： 上式中， (xli,yli)表示左眼二维坐标点或右眼二维坐标点； n表示眼睛部分的信息点的权　利　要　求　书 1/2 页 2 CN 115359093 A 2数量； (xlc,ylc)表示左眼二维中心点 坐标或右眼二维中心点 坐标。 7.如权利要求5所述的一种基于单目的注视点估计视线追踪方法， 其特征在于， 通过如 下公式将所述眼睛注视的三维角度转换成注视向量： 上式中， leyevec＝[lvecx,lvecy,lvecz]表示注视 向量； α表示眼睛注视的X轴偏转； β 表示眼睛注视的Y轴偏转； 表示眼睛注视的Z轴旋转。 8.如权利要求1所述的一种基于单目的注视点估计视线追踪方法， 其特征在于， 所述步 骤S4包括： 将所述眼睛三维中心点 坐标和注视向量相结合， 得到映射到屏幕上的注视点的位置； 将所述映射到屏幕上的注视点的位置转换成设置在检测框内部的位置， 得到左眼投影 注视点和右眼投影注视点； 将所述左眼投影注视点和右眼投影注视点取均值， 得到最终注视点， 完成对所述待注 视点估计的图像的注视点估计。 9.如权利要求8所述的一种基于单目的注视点估计视线追踪方法， 其特征在于， 通过如 下公式将所述眼睛三维中心点坐标和注视向量相结合， 得到映射到屏幕上的注视点的位 置： 上式中， leyevec＝[lvecx,lvecy,lvecz]表示注视向量； leyecen3D＝[xlc3d,ylc3d, zlc3d]表示左眼三维中心点坐标或右眼三维中心点坐标； (x,y)表示左眼或右眼映射到屏幕 上的注视点的位置 。 10.如权利要求8所述的一种基于单目的注视点估计视线追踪方法， 其特征在于， 通过 如下公式将所述映射到屏幕上的注视点的位置转换成设置在检测框内部的位置， 得到左眼 投影注视点和右眼投影注视点： 上式中， upper表示预设摄像头到屏幕的距离； wf表示检测框的宽度； hf表示检测框的 高度； ws表示投影屏幕的宽度； hs表示投影屏幕的高度； (x,y)表示左眼或右眼映射到屏幕 上的注视点的位置； (xlp,ylp)表示得到的左眼投影注视点或右眼投影注视点。权　利　要　求　书 2/2 页 3 CN 115359093 A 3