(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210773448.1 (22)申请日 2022.07.01 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 徐慧　赵晨薇　尹必才　王惠荣　 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/10(2022.01) G06V 40/18(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 20/00(2019.01) (54)发明名称 一种基于随机森林的线上考试监 考方法 (57)摘要 本发明涉及机器学习视觉技术领域， 尤其涉 及一种基于随机森林的线上考试监考方法， 包括 以下步骤： S1： 在获得视频帧的 图片后， 利用改进 的MTCNN方法进行人脸检测， 特征提取和人脸对 齐； S2： 基于面部特征点计算头部姿态； S3： 基于 随机森林， 融合头部姿态和面部特征进行视线估 计； S4： 对作弊行为进行判断。 本发明使用基于迁 移学习的人脸检测方法可以在人脸存在较大角 度偏转以及暗光条件下很好的检测到人脸， 在佩 戴眼镜的情况下也可以准确获取到特征点信息。 本发明只需借助网络摄像头， 从而降低对设备的 需求， 有助于推进线上考试的发展； 能够实时检 测考生作弊情况， 减少作弊行为发生的概 率。 权利要求书2页 说明书6页 附图2页 CN 115273180 A 2022.11.01 CN 115273180 A 1.一种基于随机森林的线上考试监 考方法， 其特 征在于， 具体步骤如下： S1： 在获得视频帧的图片后， 利用改进的MTCNN方法进行人脸检测， 特征提取和人脸对 齐； S2： 基于面部特 征点计算头 部姿态； S3： 基于随机森林， 融合头 部姿态和面部特 征进行视线估计； S4： 对作弊行为进行判断。 2.根据权利要求1所述的一种基于随机森林的线上考试监考方法， 其特征在于， 在步骤 S1中， 具体步骤如下： S101： 使用LaPa数据集对MTCNN网络模型进行训练， 得到人脸边界框信息以及106个特 征点标注； S102： 对识别出的人脸进行对齐处 理； S103： 将对齐后的人脸图像进行归一 化处理。 3.根据权利要求1所述的一种基于随机森林的线上考试监考方法， 其特征在于， 在步骤 S2中， 利用已得到的面部特 征点计算头 部姿态， 具体步骤如下： S201： 选用AFL W数据集， 将训练集中的图片水平翻转φ度， 增广数据； S202： 调整旋转之后， 重新定位 新边框的顶点如下： 设原始边框的坐标为(Xmin， Xmax， Ymin， Ymax)， 图像中心的坐标为(Xc， Yc)； 将原始图像的顶点绕(Xc， Yc)旋转φ度， 得到新的边框顶点 坐标： x′min＝min{x cosφ+y sinφ)+x0 x′max＝max{x cosφ+y sinφ}+x0 y′min＝min{‑x cosφ+y sinφ}+y0 y′max＝max{‑x cosφ+y sinφ}+y0 其中： xo＝xc(1‑cosφ)‑ycsinφ yo＝xcsinφ+yc(1‑cosφ) S203： 根据上述变换， 可以求得 水平旋转矩阵如下： S204： 求得欧拉角如下， 其中α 表示俯仰， β 表示偏航， γ表示滚转； β′＝sin‑1M31 4.根据权利要求1所述的一种基于随机森林的线上考试监考方法， 其特征在于， 在步骤 S3中， 具体步骤如下：权　利　要　求　书 1/2 页 2 CN 115273180 A 2S301： 选用car t回归树， 用最小二乘法作为节点分裂的依据， 具体步骤如下： (1)初始时刻将训练集中数据分配到根节点， 训练数据集中的离 差平方和， 公式如下： 其中， yi表示第i个样本的目标函数， y表示m个样本的目标函数平均值； (2)对每一个属性的Xi的所有值进行排序， 取同一属性的相邻两个样本的均值Xi， k， 将其 作为阈值将训练集分为左右两 部分， 计算两 部分的离 差平方和Di， R， Di， L； (3)找到使ΔD＝Di‑Di， R‑Di， L最大化的Xi， k作为分类点， 将样本分为Si， L， Si， R两部分， 对这 两个子集重复相同步骤直到 当前子集满足分裂终止法则， 将到达叶节点的所有目标值拟合 成函数表达式， 对回归树剪枝， 获得规则集； S302： 针对过拟合的问题， 采用L2正则项 进行优化， 提高模型泛化能力； 其中假设随机森林的初始损失函数为 L0， 优化后的损失函数为： S303： 将眼部特征点信息以及头部姿态信息输入到训练好的随机森林视线估计模型 中， 输出视线估计结果。 5.根据权利要求1所述的一种基于随机森林的线上考试监考方法， 其特征在于， 在步骤 S4中， 具体步骤如下： S401： 在开始眼动追踪之前， 视线估计模型提供9个校对点， 系 统通过用户点击校对点 收集注视点信息， 并且通过收集的凝 视数据检测屏幕角， 屏幕角x， y轴的计算如下： xmin＝(x1+x7)/2 xmax＝(x3+x9)/2 ymin＝(y1+y3)/2 ymax＝(y7+y9)/2 假设眼睛注视坐标为(Gx， Gy)， 若Gx＜xmin|Gx＞xmax|Gy＜ymin|Gy＞ymax， 则认为考生没有 看屏幕； S402： 考试期间， 逐帧记录注视点， 若在 连续20s内， 考生视线在屏幕外的时间大于50％ 则标记为异常， 向考生发出警示， 并且在考试结束将完整的视线记录生成可视图发送给监 考员， 监考员可以选择对异常时间段内考 生的作弊行为进行 人为判断。权　利　要　求　书 2/2 页 3 CN 115273180 A 3