(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210977864.3 (22)申请日 2022.08.15 (71)申请人 汉华智能科技 （佛山） 有限公司 地址 528000 广东省佛山市南海区桂城街 道平西上海村东平路北侧瀚天科技城 B区产业区2号楼C座4楼 401单元及D座 4楼403单元 (72)发明人 彭柳源　张世权　宋晓峰　胡心祥　 谢晓璐　 (74)专利代理 机构 芜湖宸泽知识产权代理事务 所(普通合伙) 34208 专利代理师 李俊建 (51)Int.Cl. G06F 3/01(2006.01) G06F 3/16(2006.01)G06N 3/04(2006.01) G06F 3/0484(2022.01) G06T 7/55(2017.01) G06T 7/70(2017.01) G06T 7/80(2017.01) G06T 17/00(2006.01) G06T 19/00(2011.01) G06V 40/10(2022.01) G06V 40/20(2022.01) A47G 33/00(2006.01) H04N 9/31(2006.01) H04L 67/12(2022.01) (54)发明名称 基于物联网的远程祭拜方法、 系统及 存储介 质 (57)摘要 本发明公开的一种基于物联网的远程祭拜 方法、 系统及存储介质， 包括： 通过电子祭祀设备 获取墓碑的二维图像信息， 根据所述二维图像信 息进行三维重建构建墓碑三维模 型； 根据季节信 息及地域信息选取预设场景， 将所述墓碑三维模 型结合预设场景生成目标用户与墓碑的交互场 景； 将逝者信息导入所述交互场景， 获取目标用 户的声音信息及动作信息， 根据所述声音信息及 动作信息进行语义分析及动作识别； 通过语义分 析及动作识别结果匹配相应的祭拜交互项目， 将 所述祭拜交互项目发送到电子祭祀设备上进行 显示。 本发明通过虚拟交互进行远程祭拜， 实现 祭祀者的身临其境， 满足心理需求， 同时使得祭 祀活动环保便捷。 权利要求书3页 说明书10页 附图4页 CN 115097946 A 2022.09.23 CN 115097946 A 1.一种基于物联网的远程祭拜方法， 其特 征在于， 包括以下步骤： 通过电子祭祀设备获取墓碑的二维图像信 息， 根据所述二维图像信 息进行三维重建构 建墓碑三维模型； 根据季节信 息及地域信 息选取预设场景， 将所述墓碑三维模型结合预设场景生成 目标 用户与墓碑的交 互场景； 将逝者信息导入所述交互场景， 获取目标用户的声音信息及动作信息， 根据所述声音 信息及动作信息进行语义分析及动作识别； 通过语义分析及动作识别结果匹配相应的祭拜交互项目， 将所述祭拜交互项目发送到 电子祭祀设备 上进行显示。 2.根据权利要求1所述的一种基于物联网的远程祭拜方法， 其特征在于， 根据 所述二维 图像信息进行三维重建构建墓碑三维模型， 具体为： 通过电子祭祀设备上的双目系统获取墓碑二维图像信息， 对二维图像信息进行预处 理， 获取墓碑边 缘在图像坐标系的位置信息； 将图像坐标系中的位置信息进行坐标变换为世界坐标系， 对双目系统进行标定， 根据 左目图像及右目图像中的同一 边缘目标点的成像点计算视 差， 获取目标点的深度信息； 获取标定后双目系统采集的左目图像与右目图像的相似点进行匹配， 进行图像 配准； 根据双目系统的左右视差图， 目标点深度信 息及双目相机的内外参数获取边缘目标点 的空间坐标， 通过空间坐标生成墓碑点云， 根据墓碑点云进行三维重建。 3.根据权利要求1所述的一种基于物联网的远程祭拜方法， 其特征在于， 将逝者信 息导 入所述交互场景， 获取目标用户的声音信息及动作信息， 根据所述声音信息及动作信息进 行语义分析及动作识别， 具体为： 获取逝者生前的声纹信 息及视频图像信 息， 将所述声纹信 息及视频图像信 息导入交互 场景， 将逝者 生前图像在交 互场景中进行投影， 并预设语音及动作指令； 获取目标用户在交互场景中的视频流， 通过时序提取帧图像数据选取关键帧， 根据关 键帧提取目标用户的骨架数据， 根据骨架数据构成骨架动作序列， 进行目标用户动作识别 生成动作信息； 将预设动作信 息与预设语音及动作指令相匹配， 判断目标用户的动作信 息与预设动作 信息的相似度， 根据所述相似度提取 预设动作对应的语音及动作指令； 获取目标用户的语音信号， 根据所述语音信号判断目标用户的情绪信息， 并通过情绪 信息生成情绪标签， 将所述语音信号进行识别转换为文字字符串的文本信息， 根据文本信 息生成语料信息并赋予情绪标签生成语义信息； 构建语义识别模型， 通过预设语音及动作指令对应的语料信 息及预设数量的情绪标签 对语义识别模型进行初始化训练， 将所述语义信息输入训练好的语义识别模型进 行识别分 类， 获取对应的语音及动作指令 。 4.根据权利要求3所述的一种基于物联网的远程祭拜方法， 其特征在于， 获取目标用户 的动作信息及语义信息， 具体为： 通过OpenPose算法获取目标用户的骨骼点位置信息， 根据所述骨骼点位置信获取目标 用户的骨架数据， 并根据骨骼点 位置信息及 骨架数据提取 特征向量； 基于深度学习构建动作识别模型及语义识别模型；权　利　要　求　书 1/3 页 2 CN 115097946 A 2通过相关数据集中选取预设动作 数据进行训练， 将所述特征向量输入训练好的动作识 别模型， 输出相似度最高的动作信息； 获取与语音及动作指令对应的语料信息作为训练语料， 对所述训练语料进行特征提 取； 对文本信 息进行预处理提取词向量， 根据 各词向量的出现频率及 分布广度获取特征向 量权重， 将所述特征向量权重与训练语料 的特征信息进行匹配， 并与预设数量的情绪标签 融合； 结合注意力 机制配置差异化权重获取语义特征， 根据语义特征输出语义所对应的语音 及动作指令的概 率。 5.根据权利要求1所述的一种基于物联网的远程祭拜方法， 其特征在于， 所述通过语义 分析及动作 识别结果匹配相应的祭拜交互项目， 将所述祭拜交互项目发送到电子祭祀设备 上进行显示， 具体为： 通过电子祭祀设备实现用户留言、 祭品赠送及香烛操作的祭拜交互项目， 根据目标用 户的动作信息及语义信息的识别结果获取 预设动作及预设语料的时间戳； 当识别到目标用户出现预设动作时， 检测 交互场景中的虚拟香烛是否为点燃状态， 若 虚拟香烛处于未点燃状态， 则自动将虚拟香烛点燃； 从语义信息的识别结果中获取目标用户对逝者的留言及祭品赠送信息， 将用户留言、 祭品赠送及香烛操作根据时间戳发送到电子祭祀设备 上进行显示； 若存在多名用户同时进行祭拜活动， 则将香烛持续时间进行累计， 显示当前香烛的剩 余服务时间。 6.根据权利要求1所述的一种基于物联网的远程祭拜方法， 其特 征在于， 还 包括： 根据目标用户的语音信号实时判断祭拜对象的实时情绪变化， 生成 目标用户的情绪变 化曲线； 根据目标用户历史祭拜的祭拜时长及情绪变化情况确定目标用户的情绪变化基线， 并 获取情绪变化基线中情绪 突变点处目标用户的动作信息及语义信息； 将目标用户的情绪变化曲线与所述情绪变化基线进行对比， 判断目标用户情绪变化趋 势； 根据情绪变化基线中情绪突变点处目标用户的动作信息及语义信息选取目标用户情 绪变化曲线的情绪关键点， 计算目标用户情绪变化曲线的情绪关键点与所述情绪突变点的 差值； 根据所述变化趋势及所述差值判断目标用户是否出现情绪过激情况， 若出现， 则在交 互场景中生成提醒信息并暂停祭拜交 互。 7.一种基于物联网的远程祭拜系统， 其特征在于， 该系统包括： 存储器、 处理器， 所述存 储器中包括一种基于物联网的远程祭拜方法程序， 所述一种基于物联网的远程祭拜方法程 序被所述处 理器执行时实现如下步骤： 通过电子祭祀设备获取墓碑的二维图像信 息， 根据所述二维图像信 息进行三维重建构 建墓碑三维模型； 根据季节信 息及地域信 息选取预设场景， 将所述墓碑三维模型结合预设场景生成 目标 用户与墓碑的交 互场景；权　利　要　求　书 2/3 页 3 CN 115097946 A 3