(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210391883.8 (22)申请日 2022.04.14 (71)申请人 联通 （广东） 产业互联网有限公司 地址 510000 广东省广州市黄埔区(中新广 州知识城)亿创街1号 406房之555 申请人 联通数字科技有限公司广东省分公 司 (72)发明人 黄桂芳　邱述洪　朱艳春　柳子用　 匡思羽　刘洺锟　欧阳滨滨　 林梓陆　陈益祥　周皓晖　 (74)专利代理 机构 广州润禾知识产权代理事务 所(普通合伙) 44446 专利代理师 郑永泉 (51)Int.Cl. G06T 7/00(2017.01)G06T 5/00(2006.01) G06V 10/762(2022.01) G06K 9/62(2022.01) G06N 5/04(2006.01) (54)发明名称 基于边云协同的内窥镜视频辅助诊断的方 法、 系统、 设备及 介质 (57)摘要 本发明提供基于边云协同的内窥镜视频辅 助诊断的方法、 系统、 设备及介质， 方法包括： 获 取内窥镜视频图像， 在边缘资源 上对内窥镜视频 图像执行预处理操作和特征提取操作； 预处理操 作为： 对内窥镜视频图像进行白平衡调节； 对白 平衡调节后的内窥镜视频图像进行畸变校正； 对 内窥镜视频图像去噪； 检测内窥镜视频图像中的 高光区域并对其进行增强； 对内窥镜视频图像作 去运动模糊处理； 特征提取操作为： 对内窥镜视 频图像进行特征提取得到其图像特征； 对内窥镜 视频图像的图像特征进行聚类， 以确定作为关键 帧的内窥镜视频图像， 将其图像特征输出至设于 中心云的推理模 型以得到推理结果。 该方法合理 利用边缘资源和中心云的资源， 避免浪费中心云 资源处理无用帧。 权利要求书3页 说明书10页 附图6页 CN 114663424 A 2022.06.24 CN 114663424 A 1.一种基于边云协同的内窥镜 视频辅助诊断的方法， 其特 征在于， 从内窥镜视频中获取若干帧内窥镜视频图像， 在边缘资源上对每帧所述内窥镜视频图 像执行预处理操作以及特 征提取操作； 所述预处 理操作包括： 确定所述内窥镜视频图像的色温， 利用预先确定的色温校正曲线结合所述内窥镜视频 图像的色温对所述内窥镜 视频图像进行白平衡调节； 根据预先获取到的所述内窥镜的摄像头的畸变系数对白平衡调节后的内窥镜视频图 像进行畸变校正； 采用自适应二进 小波降噪模型对畸变校正后的内窥镜 视频图像进行去噪； 检测去噪后的内窥镜视频图像中的高光区域， 重置所述高光区域的像素值， 并对所述 高光区域进行增强； 采用维纳滤波的方式对增强后的内窥镜 视频图像进行去运动模糊处 理； 所述特征提取操作包括： 对所述预处理操作后的内窥镜视频图像进行特征提取， 得到所述内窥镜视频图像的图 像特征； 对所有所提取的内窥镜视频图像的图像特征进行聚类， 以确定所有所述内窥镜视频图 像中的作为关键帧的若干帧内窥镜 视频图像； 将作为关键帧的若干帧内窥镜视频图像的图像特征输出至设于中心云的推理模型， 以 使所述推理模型输出推理结果。 2.根据权利要求1所述的基于边云协同的内窥镜 视频辅助诊断的方法， 其特 征在于， 确定所述内窥镜视频图像的色温， 利用预先确定的色温校正曲线结合所述内窥镜视频 图像的色温对所述内窥镜 视频图像进行白平衡调节， 具体包括： 确定所述内窥镜视频图像中的所有白色色块， 根据 各个所述白色色块的色温确定所述 所有白色色块的当前色温， 利用预先确定的色温校正曲线 结合所述所有白色色块的当前色 温对所述内窥镜 视频图像进行白平衡调节。 3.根据权利要求1所述的基于边云协同的内窥镜视频辅助诊断的方法， 其特征在于， 采 用自适应二进 小波降噪模型对畸变校正后的内窥镜 视频图像进行去噪， 具体包括： 将畸变校正后的内窥镜视频图像按照预先确定的分解 次数进行二进小波变换， 得到一 组小波系数； 利用软阈值方法确定所述 一组小波系数的估计小 波系数； 利用自适应噪声分析 方法对所述估计小 波系数进行噪声处 理； 利用噪声处理后的估计小波系数经过小波逆变换， 重建所述内窥镜视频图像， 作为去 噪后的内窥镜 视频图像。 4.根据权利要求3所述的基于边云协同的内窥镜视频辅助诊断的方法， 其特征在于， 利 用自适应噪声分析 方法对所述估计小 波系数进行噪声处 理， 具体包括： 以n*n个像素作为图像窗口扫描所述内窥镜视频图像， 对每个作为窗口中心的像素执 行噪声判断及处 理操作； 所述噪声判断及处理操作为： 将所述作为窗口中心的像素与同一窗口中其余n*n ‑1个 像素作差， 并取绝对值 所述n为奇数；权　利　要　求　书 1/3 页 2 CN 114663424 A 2判断 的次数是否大于预设的次数阈值， 如是， 则对所述作为窗口中心的像素 对应的估计小 波系数进行噪声处 理； 其中σ 通过以下式子确定： 其中， 所述M*N表示所述内窥镜视频图像的大小， 所述i和 j分别表示所述内窥镜视频图 像中像素的行数和列数； 表示以第i行第j列的像素作为窗口中心的像素时， 第i行 第j列的像素与窗口其 余n*n‑1个像素的差 。 5.根据权利要求1所述的所述的基于边云协同的内窥镜视频辅助诊断的方法， 其特征 在于， 检测去噪后的内窥镜视频图像中的高光区域， 重置所述高光区域的像素值， 并对所述 高光区域进行增强， 具体包括： 针对所述去噪后的内窥镜 视频图像中的每一个 像素执行高光检测操作： 所述高光检测操作为： 分别确定所述像素的8领域、 15领域和24领域的平均像素差值； 结合所述像素的8领域、 15领域和2 4领域的平均像素差值， 使用侧抑制算法确定所述像素的 1邻域的平均像素差值； 根据每个所述像素1邻域的灰度直方图中不同灰度等级对应的像素个数确定所述内窥 镜视频图像中的高光区域阈值thr； 确定每个所述像素的1邻域的灰度直方图的灰度变化范围α； 对每个所述像素的1邻域的灰度直方图作高斯函数逼近， 确定对应每个所述像素作高 斯函数逼近后的灰度直方图的虚拟峰值对应的灰度值θ； 对每个所述像素的1邻域平均像素差值判断其是否大于所述高光区域阈值thr， 如是， 则根据对应同一像素的所述灰度变化范围α 以及所述灰度值θ重置所述像素的1邻域平均像 素差值。 6.根据权利要求1所述的基于边云协同的内窥镜视频辅助诊断的方法， 其特征在于， 采 用维纳滤波的方式对增强后的内窥镜 视频图像进行去运动模糊处 理， 具体包括： 将增强后的内窥镜视频图像f(x， y)与点扩充函数h(x， y)进行卷积运算得到模糊图像g (x， y)； 所述卷积运 算为： 其中， 所述ξ和 η为所述内窥镜视频 图像f(x， y)中的像素坐标， 所述x和 y为所述点扩充 函数h(x， y)中的像素坐标； 所述 n(x， y)代 表可加性噪声； 根据式子G(u， v)＝F(u， v)H(u， v)+N(u， v)对所述卷积运算的式子的两边取傅里叶变 换； 其中， 所述G(u， v)为模糊图像g(x， y)的傅里叶变换， 所述F(u， v)为原图像f(x， y)的傅 里叶变换， 所述H(u， v)为点扩充函数h(x， y)的傅里叶变换， 所述N(u， v)为可加性噪声n(x， y)的傅里叶变换；权　利　要　求　书 2/3 页 3 CN 114663424 A 3