(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210960856.8 (22)申请日 2022.08.11 (71)申请人 郑州世卓医药 科技有限公司 地址 450000 河南省郑州市郑东 新区金水 东路156号河南中医药大学综合楼 BM916 (72)发明人 谭祥汉　梁绿圆　聂雨虹　江明月　 孙云洋　翁一鸣　任翎嘉　苏洁欣　 丁申奥　曹佳蕾　 (74)专利代理 机构 河南中豫律师事务所 41 181 专利代理师 王克鹏 (51)Int.Cl. G16H 20/70(2018.01) G06T 17/00(2006.01) A63F 13/52(2014.01)A63F 13/825(2014.01) (54)发明名称 一种基于VR交互技术的视觉刺激儿童孤独 症的训练方法 (57)摘要 本发明属于计算机技术领域， 尤其是一种基 于VR交互技术的视觉刺激儿童孤独症的训练方 法， 针对现有的个性化程度不高的问题， 现提出 如下方案， 其包括以下步骤： 通过问卷或者自测 游戏数据获取孤独症儿童的档案信息， 档案信息 包括基本个人数据、 病况信息以及游戏数据， 根 据得到的孤独症儿童的基本个人数据、 病况信息 以及游戏数据， 进行智 能评估， 该技术可 以通过 不同患者的病情和个体差异提供适合于患者的 VR游戏和视频， 并且可以在游戏中和家长或者医 生进行互动， 以避免孤独症儿童因为抵触心理导 致在现实中不敢面对陌生人而为治疗产生的障 碍。 通过VR提供了更好的训练环境， 来帮助患者 治疗孤独症， 敢于面对社会。 权利要求书4页 说明书9页 附图3页 CN 115331783 A 2022.11.11 CN 115331783 A 1.一种基于VR交互技术的视觉刺激儿童孤独症的训练方法， 其特征在于， 包括以下步 骤： S1： 通过问卷或者自测游戏数据获取孤独症儿童的档案信息， 档案信息包括基本个人 数据、 病况信息以及游戏数据， 根据得到的孤独症儿童的基本个人数据、 病况信息以及游戏 数据， 进行智能评估， 病况信息具体包括患者对视频和游戏中图像颜色及形状、 速度、 敏捷 度、 空间感知能力， 个人数据具体包括年龄、 患病时间、 患病症状、 患病频率和患病程度， 游 戏数据包括患者的游戏结果、 时间、 心率数据、 眨眼数据和手臂活动数据； S2： 根据上述孤独症儿童的患者信息， 使用机器学习人工智能算法进行计算， 得到VR游 戏模型， 并生成个性 化VR游戏； S3： 在VR游戏中跟患者参与游戏的结果进行奖励和惩罚， 并将游戏结果反馈给VR模型 进行机器学习的计算以根据患者表现对游戏奖惩机制进行调整， 以达到治疗孤独症的作 用， 患者和家属需要同时佩戴VR眼镜， 实现家属 和患者虚拟形象的同步和交 互； S4： 通过预先收集家人和医生的生物和动作信息， 形成数据库， 得到分类结果， 在游戏 中实现虚拟形象和使用者的同步； S5： 通过孤独症儿童的患者信息以及在游戏中患者的表现， 在VR中得到对应的游戏和 视频， 患者通过VR眼镜中的游戏和视频和家人和医生的虚拟形象进 行交互， 并实现表情， 语 言， 动作的同步， 在游戏中不断反馈虚拟形象数据到生物和动作信息数据库并进行比对和 更新， 以实现交 互系统的自我更新 来提高准确性； S6： 创建游戏数据库储存中的患者数据， 分析各项数据变化率， 以此来分析孤独症病情 并更新训练方法， 系统拥有智能分析功能， 可根据每月、 每季度以及年度数据生成分析报 告， 以此判断训练过程的效果。 2.根据权利要求1所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法， 其 特征在于， 所述在S1中， 在使用VR设备之前， 使用HTML写在线问卷， 通过创建数据库池的方 式， post方法传递数据， 将获取到的数据同步到本地数据库里； 使用ER图明确数据库中个表 格关系， 并使用Mysql创建数据库VR.s ql， 主要的表有用户信息表 ‑来自HTML的在 线问卷， 包 括年龄、 病情症状、 个性监测和 喜好， vr游戏数据 ‑包括时长和得分， 用户总表， 每个用户注 册的时候有独立的用户id， 各表格可依靠用户id连接和相互调用， 根据医学生提供的素材， 创建孤独症诊断数据库， 并根据游戏结果不断更新医学诊断数据库， 提高诊断精准度和成 功率； 使用echart实现数据库数据可视化， 形成两个报告： 病情诊断用户信息报告和游戏数 据报告， 游戏数据报告包含完成度、 时长、 得分和游戏后病情诊断， 为每个患者形成个性化 报告。 3.根据权利要求2所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法， 其 特征在于， 信息收集部分： 使用streaming  time series创建自闭儿童用户信息库数据流， 有起点和终点的字节数据序列， 包含了以往的输入流和最新的自闭儿童数据分析结果， 可 以持续自动产生大量的细节数据， 对自闭儿童在VR游戏中的细节反映做出分析， 其复杂分 析需要以实时的方式对更新留进行分析， 恰好和我们VR游戏的实时更新相匹配， 改变了数 据流只能被读取一次或少数几次的限制。 4.根据权利要求3所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法， 其 特征在于， 具体实施获取孤独症儿童的档案信息： 登陆前进 行数据库关联， 将系统与医院或权　利　要　求　书 1/4 页 2 CN 115331783 A 2者孤独症儿童信息库相联系并读取数据， 在操作时使用streaming  time model进行实时备 份和更新， 将每一次数据和以往相比对 得出最新结果； 运用时间序列模型构 造V‑optimal处 理以往静态直方图数据， 来源于以往数据库， 首先构造一个数据流数据的略 图， 然后从略图 中构造合适的直方图易于略图数据更新又能实现直方图的动态化， 再利用直方图的精确查 询准确判断孤独症儿童的严重程度， 通过deterministic  bucketing和randomized   bucketing技术， 构造不同精度的buckets然后将输入的孤独症儿童数据逐级分到这些 backets中， 从而完成动态直方图的构造， 便于对新的信息进行分析和处理得出有效结论， 更直观地 通过动态直方图看出孤独症儿童的改善情况。 5.根据权利要求1所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法， 其 特征在于， 所述在S2中， 运用工具： 基于OpenGL的VR建模技术： (1)能简便三维建模过程， 通 过使用OpenGL库里包含的辅助函数， 可以简单地绘制出基本的3D图形， 而高复杂性的模 型， 可通过其它合 成的方法来 实现， 合成的基本方法有： 1.简单几何体合 成， OpenGL中含有 椎体 和球体简单几何体， 可通过改变这些几何体的参数合 成； 2.曲面体合成， 通过计算求值程序 得到Bezier曲线(面)或者绘制出NURBS曲线或曲面； 3.三角形合 成， 由于三角形是最简单的 图形任何多边形都能由它表达， 是OpenGL的首选设计图元； (2)能逼真模拟建模环境， 依赖 于OpenGL所提供的辅助函数， 可以有效地对模型进行着色渲 染、 光照变化、 纹理映射及深度 检测的修饰， 能给用户提供具有高度真实感的设计体验， 切实反映出用户的实际需要； (3) 高效的实时动画响应， 由于具有能对动画颜色、 深度、 模板和累积进行双缓存的操作函数， OpenGL能对动画实现连续显示， 不但大幅简 便了程序算法， 还提升了画面动态显示的速度； (4)具有较佳的灵活性， OpenGL作为一个独立的、 线型的软件接口， 能够实现在不同的硬件 平台、 标准视窗和操作系统中工作。 6.根据权利要求5所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法， 其 特征在于， 建模具体实现方法： 1、 获取孤独症儿童的档案信息： 包括使用者的家庭信息、 基 本信息、 病 况信息、 需求信息和评估报告， 其中， 评估报告中根据所述孤独症儿童对不同虚 拟仿真图像颜色、 形状、 物体运动速度及空间大小因素的感知度， 以及对不同声音的声调、 声色、 频率及 音量大小的感知度 做出1‑5级不同程度的判断， 并根据此判断为儿童量身定做 具体治疗方案及治疗场景； 2、 采用预设方法构建虚拟仿真游戏模型： 依据过往孤独症儿童 的档案信息和训练数据， 在VR 内容中建立人体模 型， 为人体模型预留数据接口； 使孤独症儿 童及其余人员在关节处佩戴动作捕捉设备以获取末端效应器的位置信息， 其余人员为家 属、 朋友、 老师和其他ASD儿童， 利用IK反向动力学算法计算出人体运动数据， 包括关节旋转 角和位置； 再将这些信息赋予人体模型预留的接口， 驱动人体模型按照佩戴硬件的目标人 物动起来， 并显示在内容中以同步表达所述人员的动作指令或者是手势信息； 摄像机获取 目标物体的图像， 服务器端通过桌面系统和投影系统对交互数据进 行放大、 识别和处理， 然 后在图像中提取出特征点； 再利用PNP算法获得特征点在摄像机坐标系下的坐标； 用旋转理 论将摄像机坐标系 下的坐标转换到世界坐标系 下， 获得世界坐标系 下特征点的信息， 最终 获得位置信息， 使得孤独症儿童的动作与虚拟场景的操作达到协调一致； 3、 采用预设方法 构建虚拟仿真游戏场景： 利用多特征三维稠密重建方法构建不同虚拟仿真游戏场景， 根据 儿童可接受程度进 行选择， 需要 先分析模型