(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084573 5.9 (22)申请日 2022.07.19 (71)申请人 华中师范大学 地址 430079 湖北省武汉市珞喻路152号 申请人 湖北大学 (72)发明人 刘海　张昭理　王书通　王坤　 周启云　石佛波　刘婷婷　杨兵　 (74)专利代理 机构 武汉东喻专利代理事务所 (普通合伙) 42224 专利代理师 张英 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/44(2022.01) G06F 3/01(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态融合网络的学习投入度数 据的获取方法 (57)摘要 本发明公开了一种基于多模态融合网络的 学习投入度数据的获取方法， 该方法将待监测学 习主体的脸部图像、 头部旋转图像和脑电信息同 时用于学习投入度的评估中， 采用新颖的多模态 网络模型CGVNet提高了待监测学习主体的学习 投入度数据监测的准确性。 将获取的头部旋转角 度特征向量、 凝视方向特征向量以及脑电信息进 行融合并分类， 从而克服了传统学习投入度监测 方法中监测维度单一的局限性， 减少漏检、 误检 的问题， 对 学习质量的提高和辅助教学具有重要 意义。 权利要求书2页 说明书8页 附图3页 CN 115116117 A 2022.09.27 CN 115116117 A 1.一种基于多模态融合网络的学习投入度数据的获取 方法， 其特 征在于， 包括 步骤： 基于包括穿戴式设备的设备系统获取待监测学习 主体的脸部图像、 头部旋转图像和脑 电信息； 对获取的脸部 图像、 头部旋转图像和脑电信息进行预处理， 以使相关图像和相应时间 戳的脑电信息进行对应； 将进行预处理后的脸部图像、 头部旋转图像和脑电信 息输入到预训练好的多模态网络 模型中， 获取 该待监测学习主体当前的凝 视估计方向、 头 部旋转估计角度和脑电曲线； 基于凝视估计方向、 头部旋转估计角度和脑电曲线， 获取该待监测学习主体当前的学 习投入度数据。 2.如权利要求1所述的学习投入度数据的获取方法， 其特征在于， 所述将进行预处理后 的脸部图像、 头部旋转图像和脑电信息输入到预训练好的多模态网络模型中， 获取该待监 测学习主体当前的凝 视估计方向、 头 部旋转估计角度和脑电曲线具体包括 步骤： 将脸部图像输入到多模态网络模型中的凝视方向估计模型进行特征抽取， 获取对应的 凝视方向特 征向量； 将头部旋转图像输入到多模态网络模型中的头部旋转角度估计模型进行特征抽取， 获 取对应的头 部旋转角度特 征向量； 将凝视方向特征向量、 头部旋转角度特征向量结合脑电信息进行融合并分类， 获取该 待监测学习主体当前的凝 视估计方向、 头 部旋转估计角度和脑电曲线。 3.如权利要求2所述的学习投入度数据的获取方法， 其特征在于， 所述头部旋转角度估 计模型的输入层输入的是头部旋转图像， 特征抽取层 包括三个卷积层、 三个池化层、 两个全 连接层和三个drop ‑out层， 输出层输出的是对应的头部旋转角度特征向量； 头部旋转角度 估计模型使用Nesterov的加速梯度下降法进行参数优化。 4.如权利要求2所述的学习投入度数据的获取方法， 其特征在于， 对于输入到凝视方向 估计模型 的脸部图像， 首先利用基于GAN的语义图像修复法来对穿戴式设备覆盖的区域进 行修复。 5.如权利要求4所述的学习投入度数据的获取方法， 其特征在于， 所述利用基于GAN的 语义图像修复法来对穿戴 式设备覆盖的区域进行修复具体包括： 使用最小二乘损失法， GAN的训练目标 是最小化 LGAN(D)和LGAN(G)， 其中， LGAN(D)＝Ex～p[(D(x)‑1)2]+Ex～pn[(D(G(x) ))2]， LGAN(G)＝Ex～pn[(D(G(z) )‑1)2]， 其中， Di表示鉴别器， D(xi)为输入图像xi为真实样本的概率； Gi表示生成器， 用于输 出合 成图像； LGAN(D)测量的是D中图像的真实感， LGAN(G)测量的是由G产生的图像的真实感， 将其 认为是知觉损失， 知觉损失的公式为： Lpercepti on(z)＝[D(G(z))‑1]2， 根据非遮挡的真实图像x与生成的图像G(z)的差值来测量上下文损失， 上下文损失的 公式为： Lcontext(z|M， x)＝|M1⊙x‑M1⊙G(z)|， 其中，⊙是元素积， M1是M的补数， M为 不应该被修复的区域； 生成用于修复的最佳图像相 当于找到最佳 值， 其最小化了知觉损失和上下文损失的权　利　要　求　书 1/2 页 2 CN 115116117 A 2组合公式为： 其中， λ是加权参数， 找到 z后， 修复图像可以通过以下公式生成： Xinpainted＝M1⊙x‑M1⊙G(z)， 然后， 将泊松混合应用于Xinpainted， 以生成最终的修复图像， 使得在修复区域和非修复 区域之间具有无 缝边界。 6.如权利要求5所述的学习投入度数据的获取方法， 其特征在于， 将脸部图像输入到多 模态网络模型中的凝 视方向估计模型进行 特征抽取具体包括： 使用关键点检测模块抽取5个面部关键点的位置， 用于生成眼睛图像； 根据标注的注视标签对凝 视方向估计模型进行训练。 7.如权利要求1所述的学习投入度数据的获取方法， 其特征在于， 学习投入度 数据包括 脑电曲线偏离程度数据； 脑电曲线偏离程度数据通过计算脑电曲线偏离脑电基准曲线的程 度来获取； 脑电基准 曲线为学习投入度达到标准的学习主体产生的脑电信息形成的曲线； 脑电曲线偏离程度数据可用于分析待监测学习主体的学习投入度。 8.如权利要求1所述的学习投入度数据的获取方法， 其特征在于， 对获取的脸部 图像、 头部旋转图像和脑电信息进行 预处理时， 还包括： 剔除质量 不符合要求的数据， 保留质量符合要求的数据进行 预处理； 对进行预处理的数据进行包括扭曲、 加入噪点、 降低分辨率的一种或多种方法的数据 增强操作。 9.一种电子设备， 其特征在于， 包括至少一个处理单元、 以及至少一个存储单元， 其中， 所述存储单元存储有计算机程序， 当所述计算机程序被所述处理单元执行时， 使得所述处 理单元执行权利要求1～8任一项所述方法的步骤。 10.一种存储介质， 其特征在于， 其存储有可由访问认证设备执行的计算机程序， 当所 述计算机程序在访问认证设备上运行时， 使得所述访问认证设备执行权利要求 1～8任一项 所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115116117 A 3