(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210973504.6 (22)申请日 2022.08.15 (71)申请人 西安欧亚学院 地址 710065 陕西省西安市雁塔区东仪路8 号 (72)发明人 何鹏举　刘欣　王安鹏　徐小青　 杨磊　 (74)专利代理 机构 西安铭泽知识产权代理事务 所(普通合伙) 61223 专利代理师 韩晓娟 (51)Int.Cl. G06K 9/00(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 19/00(2011.01)G06T 17/00(2006.01) G10L 21/0272(2013.01) G10L 25/51(2013.01) G01H 11/06(2006.01) G01S 3/802(2006.01) (54)发明名称 一种基于音频感知和数字孪生的设备运行 状态监测方法 (57)摘要 本发明公开了一种基于音频感知和数字孪 生的设备运行状态监测方法， 包括： 首先基于自 回归模型AR的卡尔曼滤波结合的QLKF滤波算法 对设备音频信号进行在线滤波降噪， 通过特征值 分布法估计设备音频信号中的声源个数， 使用非 负矩阵分解解卷积算法将混合信号进行盲分离， 对分离得到的声源信号通过ISM算法进行波达方 向角DOA估计， 对摄像头进行标定， 获得其内、 外 参矩阵， 结合摄像头采集图像信息将环境中声源 的DOA角度谱经过空间坐标转换后与环境图像信 息进行融合， 通过分类网络实现对设备声源信号 状态的分类， 并通过数字孪生技术显示。 该方法 解决了多声源情况下的设备声源定位与状态监 测。 权利要求书4页 说明书14页 附图7页 CN 115293212 A 2022.11.04 CN 115293212 A 1.一种基于音频感知和数字 孪生的设备运行状态监测方法， 其特 征在于， 包括： 获取设备不同运行状态下多 声源混合信号； 采用非负矩阵分解卷积NMFD算法将多 声源混合信号进行盲源分离； 对分离得到的各个声源信号通过ISM算法进行波达方向角DOA估计， 获各个声源的DOA 角度谱； 将各个声源的DOA角度谱经过空间坐标转换后与环境图像信息进行融合， 获得空间中 声源在环境图像中的位置； 根据多声源混合信号， 按照设备运行时产生的音频信号的特征对空间中声源分类， 获 得分类结果； 构建设备的数字 孪生体， 在数字 孪生体中显示设备运行时声源的位置和种类。 2.如权利要求1所述的一种基于音频感知和数字孪生的设备运行状态监测方法， 其特 征在于， 还包括： 采用强化学习与基于自回归AR模型的卡尔曼滤波结合的QLKF滤波算法对 不同运行状态下多 声源混合信号进行在线滤波降噪， 获得多 声源混合信号， 其 步骤包括： 输入信号数据， 进行平稳性检验； 对信号时间序列进行分段建模， 包括模型识别与模型参数的计算， 建立信号的ARp模 型； 将ARp模型转 化为离散系统状态空间模型； 卡尔曼滤波状态空间模型初始化： 参数初始化： Agent状态s ←s0， Q(s,a)←0， 回报函数r ←0； 基于 ε‑贪婪策略选择当前状态s对应的动作a； 执行动作a并获得 下一个状态s'； 执行第一卡尔曼滤波算法K F1： 执行第二卡尔曼滤波算法K F2： 更新累积回报： 分别表示系统激励噪声协方差阵与量测噪声协方差阵的估计值， 输出 进行卡尔曼 滤波： Pt表示均方误差阵； 基于贪婪策略更新 值函数： 执行状态转移： s ←s'； 重置回报： r ←0； 重置第二卡尔曼滤波算法K F2状态估计值与估计均方差：权　利　要　求　书 1/4 页 2 CN 115293212 A 2输出滤波结果 Pt。 3.如权利要求2所述的一种基于音频感知和数字孪生的设备运行状态监测方法， 其特 征在于， 还包括采用特征值分布法估计多声源混合信号中的声源个数， 当声源个数大于1 时， 采用非负矩阵分解 解卷积NMFD算法将多 声源混合信号进行盲源分离， 其包括： 输入经过降噪处 理的环境音频阵列信号数据， 计算阵列信号自相关矩阵R； 将信号自相关矩阵R进行 特征值分解， 将所 得的特征值进行降序排列得到 λ1, λ2,…, λn； 求取相邻特征值的最大下降速率δε＝max{ δ1, δ2,…, δM‑1}， 得到信号源个数估计值ε， 如 果 ε>1， 执 行基于NMFD算法的盲源分离： 将信号进行短时傅里叶变换变换到频域得到初始混合矩阵V0， 并计算其功率谱值V'； 随机初始化非负矩阵W与H， 将V' ,W和H代入以下公式所示的更新 规则中： 式中：⊙为Hadamard矩阵； V代表重构的非负矩阵； 1表示 中所有元素均 为1的矩阵， 当目 标函数小于设定的阈值时算法收敛 退出， 得到编码矩阵H即为分离得到的源信号S； 通过更新得到的W和H， 得到K ‑L散度E： 持续迭代更新， 直到 E小于设定的收敛阈值后停止， 得到最终的Wfinal和Hfinal； 令 根据信号初始混合矩阵V0的恢复 的相位得到 对 进行短时傅里叶逆变换 得到分离信号。 4.如权利要求3所述的一种基于音频感知和数字孪生的设备运行状态监测方法， 其特 征在于， 所述将各个声源的DOA角度谱经过 空间坐标转换后与 环境图像信息进 行融合， 获得 空间中声源在环境图像中的位置， 包括： 对盲源分离得到的声源阵列信号通过ISM算法进行波达方向角DOA估计， 获得环境中声 源的DOA角度谱； 将声源的DOA角度谱转换到三维坐标空间得到声源的DOA空间谱； 根据摄像机内外参矩阵将声源的DOA空间谱转换到像素坐标系下得到声源的DOA像素 谱； 将声源的DOA像素谱与摄像机拍摄的环境图像进行半透明叠加， 从而实现声源的定位权　利　要　求　书 2/4 页 3 CN 115293212 A 3