(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211006866.4 (22)申请日 2022.08.22 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 刘富强　胡新宇　王俊元　李雷　 贺茂恩　 (74)专利代理 机构 上海德昭知识产权代理有限 公司 31204 专利代理师 陈龙梅 (51)Int.Cl. G06F 3/01(2006.01) G06F 16/332(2019.01) G06N 3/08(2006.01) G06T 17/00(2006.01) G10L 13/02(2013.01) (54)发明名称 基于神经网络的元宇宙情感陪护虚拟人实 现方法及系统 (57)摘要 本发明提供一种基于神经网络的元宇宙情 感陪护虚拟人 实现方法及系统， 陪护委托人构建 客制化的元宇宙虚拟人及空间以托管与老人情 感沟通的时间， 提高了被陪护人在情感陪护过程 中虚拟人对象的智能性， 增强其在接受陪护时的 真实感、 亲切感与沉浸感； 通过智能技术建立虚 拟人聊天后端和学习系统， 使虚拟人从形象到语 音再到聊天内容特点都具有高度可客制化、 个性 化特性， 解决了传统机器人情感陪护的机械死板 且单一的问题， 使机器情感陪护可以进行量身定 制与随使用自适应学习改进； 通过图像与建模技 术建立虚拟人所处的场景， 在场景营造、 细节还 原等方面逼近现实， 进一步增强情感陪护过程的 观感真实性， 并与信息反馈机制结合， 提高信息 反馈效率与准确性。 权利要求书3页 说明书16页 附图16页 CN 115494941 A 2022.12.20 CN 115494941 A 1.一种基于神经网络的元宇宙情感陪护虚拟人系统， 其特 征在于， 包括： 虚拟人学习模块， 基于陪护委托人提交 的个人影像资料、 多模态语料数据、 指定领域的 公共信息， 学习生成元宇宙情感陪护虚拟人的客制化元宇宙视听形象及客制化语音聊天 内 容； 环境录入与配置模块， 基于所述陪护委托人提供的环境影像资料， 生成客制化元宇宙 空间环境 三维模型及环境细节； 情感沟通陪护模块， 根据所述虚拟人学习模块、 所述环境录入与配置模块的结果生成 所述陪护委托人期望提供 给被陪护人的元宇宙情感陪护虚拟人； 以及 信息反馈模块， 在陪护过程中为所述陪护委托人提供反馈信息， 其中， 所述虚拟人 学习模块包括： 个体形象客制化单元， 基于所述个人影像资料， 对该个人影像资料中的所述陪护委托 人形象进行三维重建， 并从该个人影像资料中提取各种状态下的神态表情、 口型特征进行 存储和学习， 从而得到所述 客制化元宇宙视听形象； 以及 聊天内容客制化单元， 基于所述多模态语料数据以及所述指定领域的公共信息， 进行 语义情感分析以及语句合成， 从而得到所述 客制化语音聊天内容。 2.根据权利要求1所述的基于神经网络的元宇宙情感陪护虚拟人系统， 其特 征在于： 其中， 所述个体形象客制化单元包括三维重建神经网络模型、 语言与特征神经网络模 型、 姿态与神情生成神经网络模型以及口型生成神经网络模型， 分别用于生成所述客制化 元宇宙视听形象中的人物与环境 三维模型、 聊天时的声 音、 姿态与神情以及口型， 所述个体形 象客制化单元还提供预览功能， 并根据 所述陪护委托人对预览的反馈对所 述客制化元宇宙视听形象进行修 正或重新学习， 所述聊天内容客制化单元包括语音聊天内容生成神经网络模型， 所述多模态语料数据 经语音识别和情感语义分析后， 语义和情感识别结果交由所述语音聊天 内容生成神经网络 模型生成客制化的语音聊天内容， 所述聊天内容客制化单元还提供预览功能， 并根据 所述陪护委托人对预览的反馈对所 述语音聊天内容进行修 正或重新 生成。 3.根据权利要求2所述的基于神经网络的元宇宙情感陪护虚拟人系统， 其特 征在于： 其中， 所述 三维重建神经网络模型为神经网络的结构化 堆叠， 所述语言与 特征神经网络模型为训练好的迁移神经网络， 所述迁移神经网络为经过预 训练的具有泛化能力的可在模型应用过程中继续训练改善的神经网络的结构化 堆叠， 所述姿态与神情生成神经网络模型为训练好的姿态学习神经网络， 所述口型生成神经网络模型为训练好的 口型学习神经网络， 所述姿态学习神经网络和所述口型 学习神经网络均为 生成对抗网络， 所述语音聊天内容 生成神经网络模型为神经网络的结构化 堆叠。 4.根据权利要求1所述的基于神经网络的元宇宙情感陪护虚拟人系统， 其特 征在于： 其中， 所述环境录入与配置模块包括： 预设模型存 储单元， 预存有 若干聊天背景环境的三维模型以及若干环境细节效果； 影像资料提交接口， 供 所述陪护委托人提交希望 录入的环境的照片或全景照片； 环境模型生成单元， 用于生成环境三维模型， 提供预设方式以及客制化方式， 在预设方权　利　要　求　书 1/3 页 2 CN 115494941 A 2式下， 所述陪护委托人从所述预设模型存储单元中选择预存的所述三维模 型作为所述环境 三维模型， 在客制化方式下， 基于所述照片或所述全景照片生成所述环境 三维模型； 环境细节配置单元， 用于配置环境细节， 提供预设方式以及客制化方式， 在预设方式 下， 所述陪护委托人从所述预设模型存储单元中选择预存的所述环境细节效果作为所述环 境细节， 在客制化方式下， 基于所述陪护委托人输入的地理位置信息和/或环 境时刻配置作 为环境生成依据。 5.根据权利要求1所述的基于神经网络的元宇宙情感陪护虚拟人系统， 其特 征在于： 其中， 在所述陪护委托人有条件提供三维数据时， 所述虚拟人学习模块还接受所述三 维数据， 并以所述 三维数据为依据对客制化的虚拟人三维模型进行修 正， 所述环境录入与配置模块还接受所述三维数据， 并以所述三维数据为依据对客制化的 环境三维模型进行修 正， 所述三维数据为 三维点云数据、 景深数据中的任意 一种或两种的组合。 6.根据权利要求1所述的基于神经网络的元宇宙情感陪护虚拟人系统， 其特 征在于： 其中， 所述情感沟通陪护模块包括： 自然语言处理与生成单元， 在陪护过程中监听所述被陪护人的说话行为， 并对监听到 的被陪护人语言进行语音识别和情感语义分析， 获得所述被陪护人 的主要意图， 并根据所 述主要意图完成相应的处 理动作； 以及 可视化单元， 根据所述虚拟人学习 模块以及所述环境录入与配置模块的结果生成客制 化的元宇宙虚拟人个体半身形象及其所处的元宇宙环境， 并进一步根据所述自然语言处理 与生成单 元的结果 生成包含所述元宇宙情感陪护虚拟人个 体的情感陪护元宇宙空间。 7.根据权利要求6所述的基于神经网络的元宇宙情感陪护虚拟人系统， 其特 征在于： 其中， 所述自然语言处 理与生成单 元包括： 自然语言处理神经网络模型， 用于进行所述情感语义分析， 提取出语言信息中的语义 要点与所述主 要意图； 以及 内容生成部分， 其中， 所述内容 生成部分包括： 内容生成神经网络模型或第 三方内容生成服务， 基于所述语义要点与 所述主要意图生 成文本回复内容； 以及 从文本到语音神经网络模型， 基于所述文本回复内容以及所述虚拟人学习模块的配 置， 生成所述元宇宙情感陪护虚拟人的声 音音频流， 所述可视化单元生成所述元宇宙情感陪护虚拟人在所述情感陪护元宇宙中的三维半 身像视频流。 8.根据权利要求6所述的基于神经网络的元宇宙情感陪护虚拟人系统， 其特 征在于： 其中， 所述被陪护人的所述主 要意图分为信息服 务需求与情感沟通需求， 当所述主要意图为所述信 息服务需求 时， 所述情感沟通陪护模块通过互联网进行对应 的信息处 理以满足该需求； 当所述主要意图为所述情 感沟通需求 时， 所述情感沟通陪护模块根据 所述虚拟人学习 模块的配置， 生成符合语境的个性化回复内容， 并根据所述虚拟人学习模块的配置以及生 成的所述个性化回复内容进一步确定情感和语调， 以特定声纹、 音色、 方言声音 特征进行合权　利　要　求　书 2/3 页 3 CN 115494941 A 3