(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229080.2 (22)申请日 2022.03.10 (71)申请人 中国科学院空天信息创新研究院 地址 100190 北京市海淀区北四环西路19 号 (72)发明人 李晓宇　黄飞　金力　孙显　 马豪伟　张雅楠　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 樊晓 (51)Int.Cl. G06F 16/9536(2019.01) G06Q 50/00(2012.01) G06F 16/35(2019.01) G06F 16/55(2019.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 虚假信息 检测方法、 装置、 设备及 介质 (57)摘要 本公开提供了一种虚假信息检测方法， 包 括： 获取待检测的社交媒体信息， 其中， 待检测的 社交媒体信息包括待检测图像和第一待检测文 本； 在待检测图像中包含第二待检测文本的情况 下， 从第一待检测文本和第二待检测文本中提取 待检测文本特征向量； 结合空间域中的语义特征 和频域中的物理特征， 从待检测图像中提取待检 测图像特征向量； 将待检测文本特征向量和待检 测图像特征向量融合， 得到待检测融合特征向 量； 以及将待检测融合特征向量输入 预先训练好 的分类模型， 输出检测结果。 本公开还提供了一 种虚假信息检测装置、 设备、 存储介质和程序产 品。 权利要求书2页 说明书16页 附图7页 CN 114579876 A 2022.06.03 CN 114579876 A 1.一种虚假信息检测方法， 包括： 获取待检测的社交媒体信息， 其中， 所述待检测的社交媒体信息包括待检测图像和第 一待检测文本； 在所述待检测图像中包含第 二待检测文本的情况下， 从所述第 一待检测文本和所述第 二待检测文本中提取待检测文本特 征向量； 结合空间域中的语义特征和频域中的物理特征， 从所述待检测图像中提取待检测图像 特征向量； 将所述待检测文本特征向量和所述待检测图像特征向量融合， 得到待检测融合特征向 量； 以及 将所述待检测融合特 征向量输入预 先训练好的分类模型， 输出检测结果。 2.根据权利要求1中所述的方法， 其中， 所述在所述待检测图像中包含第 二待检测文本 的情况下， 从所述第一待检测文本和所述第二待检测文本中提取待检测文本特征向量包 括： 利用知识整合的增强表示模型对所述第一待检测文本编码， 以便添加待检测文本标 识， 其中， 所述待检测文本标识包括： 第一待检测文本的句 子、 第一待检测文本中句子分隔 符、 待检测特 征向量； 提取所述待检测特 征向量， 得到第一待检测文本的信息； 在所述待检测图像中包含所述第 二待检测文本的情况下， 从所述待检测图像中提取关 于所述第二待检测文本的信息； 利用文本分隔符， 将所述第 二待检测文本的信 息与所述第 一待检测文本的信 息进行拼 接， 得到拼接信息； 从所述拼接信息中提取 所述待检测文本特 征向量。 3.根据权利要求1中所述的方法， 其中， 所述结合空间域中的语义特征和频域中的物 理 特征， 从所述待检测图像中提取待检测图像特 征向量包括： 将所述待检测图像输入卷积神经网络， 输出 所述频域中的物理特 征的矩阵； 基于所述频域中的物 理特征的矩阵， 利用长短期记忆模型提取所述空间域中的语义特 征， 得到权重矩阵； 基于所述频域中的物理特 征的矩阵与所述权 重矩阵， 得到所述待检测图像特 征向量。 4.根据权利要求1中所述的方法， 其中， 所述预先训练好的分类模型通过预先训练的方 法得到， 所述预 先训练的方法包括： 获取在预设时间区间内产生的目标社交媒体信息， 其中， 所述目标社交媒体信息包括 虚假信息、 真实信息以及信息标签， 所述虚假信息和所述真实信息均包括图像和第一文本； 在所述图像中包含第 二文本的情况下， 从所述第 一文本和所述第 二文本中提取文本特 征向量； 结合所述空间域中的语义特征和所述频域中的物 理特征， 从所述图像中提取图像特征 向量； 将所述文本特 征向量和所述图像特 征向量融合， 得到融合特 征向量； 将所述融合特 征向量输入分类模型， 得到分类结果； 以及 基于所述分类结果和所述信 息标签调整所述分类模型的参数， 将调参后的分类模型作权　利　要　求　书 1/2 页 2 CN 114579876 A 2为所述预 先训练好的分类模型。 5.根据权利要求4中所述的方法， 其中， 所述获取在预设时间区间内产生的目标社交媒 体信息包括： 获取在预设时间区间内产生的原 始社交媒体信息； 将所述原 始社交媒体信息进行 预处理， 得到预处 理后的社交媒体信息； 对所述预处 理后的社交媒体信息进行聚类， 得到真实信息 簇和虚假信息 簇； 分别从所述真实信息 簇和所述虚假信息 簇中筛选， 得到所述目标 社交媒体信息 。 6.根据权利要求5中所述的方法， 其中， 所述将所述原始社交媒体信息进行预处理， 得 到预处理后的社交媒体信息包括： 从所述原始社交媒体信 息中筛选包括所述图像和所述第 一文本的社交媒体信 息， 得到 第一处理后的社交媒体信息； 在所述第一处理后的社交媒体信 息包括多个图像的情况下， 筛选一个代表图像作为所 述图像， 得到所述预处 理后的社交媒体信息； 和/或 根据预设像素阈值， 从所述第一处理后的社交媒体信息中筛选， 得到所述预处理后的 社交媒体信息 。 7.一种虚假信息检测装置， 包括： 获取模块， 用于获取待检测的社交媒体信 息， 其中， 所述待检测的社交媒体信 息包括待 检测图像和第一待检测文本； 第一提取模块， 用于在所述待检测图像中包含第二待检测文本的情况下， 从所述第一 待检测文本和所述第二待检测文本中提取待检测文本特 征向量； 第二提取模块， 用于结合空间域中的语义特征和频域中的物理特征， 从所述待检测图 像中提取待检测图像特 征向量； 融合模块， 用于将所述待检测文本特征向量和所述待检测图像特征向量融合， 得到待 检测融合特 征向量； 以及 检测模块， 用于将所述待检测融合特征向量输入预先训练好的分类模型， 输出检测结 果。 8.一种电子设备， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器执行根据权利要求1～6中任一项所述的方法。 9.一种计算机可读存储介质， 其上存储有可执行指令， 该指令被处理器执行时使处理 器执行根据权利要求1～6中任一项所述的方法。 10.一种计算机程序产品， 包括计算机程序， 所述计算机程序被处理器执行时实现根据 权利要求1～6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114579876 A 3