(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210909262.4 (22)申请日 2022.07.29 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 韦鑫宇　陈元平　徐一新　季颖　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 冯燕平 (51)Int.Cl. G01N 21/25(2006.01) G01B 11/25(2006.01) G06V 20/68(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06T 7/00(2017.01) G06T 17/00(2006.01) (54)发明名称 基于相位和高光谱信息融合的果蔬品质检 测装置及方法 (57)摘要 本发明提供一种基于相位和高光谱信息融 合的果蔬品质检测装置及方法， 包括高光谱分析 单元、 结构光成像单元、 被测物载物台单元和数 据处理单元； 高光谱分析单元用于采集被测样本 在设定波长范围内的高光谱图像； 结构光成像单 元用于采集由被测样本面型高度导致的变形条 纹图像； 本发 明对被测物表面高光谱信息和三维 高度信息同步检测， 基于三维重建图像与高光谱 图像的像素坐标的映射关系， 将高光谱图像的像 素值赋予三维图像的像素， 通过对二者数据进行 匹配， 将被测物高光谱信息和三维信息的融合， 实现对被测物外观和 内部成分四维信息的同步 对应表征。 权利要求书2页 说明书9页 附图2页 CN 115266608 A 2022.11.01 CN 115266608 A 1.基于相位和高光谱信息融合的果蔬品质检测装置， 其特征在于， 包括高光谱分析单 元、 相位成像单 元、 被测物载物台单 元和数据处 理单元； 所述高光谱分析单元用于采集被测样本在设定波长范围内的高光谱图像， 并将高光谱 图像数据传递给 数据处理单元； 所述相位成像单元用于采集由被测样本面型高度导致的变形条纹图像， 并将变形条纹 图像数据传递给 数据处理单元； 所述被测物载物台单 元用于放置被测样本； 所述数据处理单元包括计算机(9)， 所述计算机(9)分别与高光谱分析单元、 相位成像 单元和被测物载物台单元连接， 计算机(9)对高光谱图像数据和 变形条纹图像数据进行处 理， 将处理后的变形条纹图像输入建立的预测 三维高度的神经网络模型中， 得到被测样品 的三维重建图像； 对高光谱 数据进行解析， 生 成完整的样 本高光谱图像； 基于三维重 建图像 与高光谱图像的像素坐标 的映射关系， 将 高光谱图像的像素值赋予三维 图像的像素， 实现 三维重建图像与高光谱图像的数据融合。 2.根据权利要求1所述的基于相位和高光谱信息融合的果蔬品质检测装置， 其特征在 于， 所述高光谱分析 单元包括高光谱相机(3)和卤素灯(5)； 所述高光谱相机(3)用于采集被测样本在设定波长范围内的高光谱图像； 所述卤素灯 (5)用于对样本的照明。 3.根据权利要求2所述的基于相位和高光谱信息融合的果蔬品质检测装置， 其特征在 于， 所述高光谱相机(3)用于采集被测样本在400 ‑1000nm波长范围内的高光谱图像； 所述卤 素灯(5)用于对样本的照明， 照射波长范围覆盖40 0‑1000nm的光。 4.根据权利要求1所述的基于相位和高光谱信息融合的果蔬品质检测装置， 其特征在 于， 所述相位成像单元包括编码结构光投影仪(1)和工业CCD(2)， 编码结构光投影仪(1)和 工业CCD(2)分别与计算机(9)连接； 计算机(9)根据被测样本的高度设置编码条纹， 并将条 纹传送至编码结构投影仪(1)， 编码结构光投影仪(1)用于将条纹投影到被测样本的表面， 被测样本高度的变化导致条纹发生变形， 条纹的形变量包含样本高度信息， 工业CCD(2)用 于采集由被测物面型高度导 致的变形 条纹图像， 并上传至计算机(9)。 5.根据权利要求1所述的基于相位和高光谱信息融合的果蔬品质检测装置， 其特征在 于， 所述被测物载物台单 元包括步进电机(6)、 载物台(7)、 遮光 罩(4)和散热风扇(8)； 所述载物台(7)置于步进电机(6)的滑轨上， 步进电机(6)通过螺杆驱动载物台(7)， 使 载物台(7)能够 双向移动， 步进电机(6)与计算机(9)连接； 所述遮光罩(4)置于高光谱相机(3)下方， 遮光罩(4)上部设有用于透过被测样本反射 光线的空隙， 遮光罩(4)下部与载物台(7)之间设有用于被测样 本进出的间隙； 遮光罩(4)内 部设有散热风扇(8)。 6.根据权利要求1 ‑5任意一项所述基于相位和高光谱信 息融合的果蔬品质检测装置的 检测方法， 其特 征在于， 包括以下步骤： 采集变形条纹图像： 通过数据处理单元的计算机(9)根据被测样本的高度设置频率的 编码条纹， 并将编码条纹传送至投影仪(1)， 编码结构光投影仪(1)将标准的正弦编码条纹 投影到被测样本表面， 由于样本高度的变化导致条纹发生变形， 条纹的形变量包含样本高 度信息， 工业CCD(2)对变形条 纹图像实时采集， 得到变形条 纹图像， 并上传至数据处理单元权　利　要　求　书 1/2 页 2 CN 115266608 A 2的计算机(9)； 采集高光谱图像： 开启高光谱成像单元， 载物台(7)配合高光谱相机(3)的采集频率移 动， 进行线扫的高光谱图像采集， 并将高光谱图像上传至数据处 理单元的计算机(9)； 数据处理： 所述数据处理单元的计算机(9)对获取到的变形条纹图像进行数据 预测， 首 先进行预处理， 将预处理后的变形条纹图像输入建立的预测三维高度的神经网络模型中， 得到被测样品的三维重建图像， 数据 处理单元对高光谱数据进行解析， 生成完整的样本高 光谱图像； 数据 处理单元基于三维重建图像与高光谱图像的像素坐标 的映射关系， 将 高光 谱图像的像素值赋予三维 图像的像素， 实现三维重建图像与高光谱图像的数据融合， 并进 行四维可视化。 7.根据权利要求6所述基于相位和高光谱信息融合的果蔬品质检测装置的检测方法， 其特征在于， 所述采集变形 条纹图像的步骤具体为： 将被测样品置于载物台(7)上， 此时载物台(7)位于遮光罩(4)外部， 开启相位成像单 元， 编码结构光投影仪(1)将特定频率的编码条 纹投影到被测样品表 面， 工业CCD(2)对变形 条纹实时采集， 得到多个频率下的变形 条纹图像， 并上传至数据处 理单元的计算机(9)。 8.根据权利要求6所述基于相位和高光谱信息融合的果蔬品质检测装置的检测方法， 其特征在于， 所述采集高光谱图像的步骤具体为： 关闭相位成像单元， 开启高光谱分析单元， 计算机(9)控制步进电机(6)使载物台(7)移 动至遮光罩(4)内， 步进电机(6)与载物 台(7)配合高光谱相机(3)的采集频率移动， 进行线 扫的高光谱图像采集， 并上传至数据处 理单元的计算机(9)。 9.根据权利要求6所述基于相位和高光谱信息融合的果蔬品质检测装置的检测方法， 其特征在于， 所述数据处 理单元对变形 条纹数据预测具体为： 计算机(9)对获取的变形条纹图像进行预处理， 包括对变形条纹图像进行标准化处理、 使用DCT算法对图像进 行无损压缩； 使用MATLAB软件建立被测样 本模型， 模拟被测样本的变 形条纹光场分布， 得到仿 真模拟的变形条纹； 设计预测三 维高度的神经网络模型， 把 实验采 集的变形条纹与仿 真模拟的变形条纹作为训练数据集进行训练； 以待 预测条纹图作为神经 网路的输入， 预测被测样本的高度信息， 并恢复上表面三 维结构， 得到被测样品的三 维重建 图像。 10.根据权利要求6所述基于相位和高光谱信 息融合的果蔬品质检测装置的检测方法， 其特征在于， 所述数据处 理单元将高光谱数据和三维重建数据进行融合具体为： 对工业CCD(2)与高光谱相机(3)进行分布式标定， 根据空间位置对图像像素进行匹配， 建立数据关联； 按照像素坐标提取同名特 征点对三维重建图像 像素与高光谱图像 像素进行 联合标定； 使用共线方程法， 获得三维重建图像在高光谱图像中对应的像素坐标， 将对应像素的 光谱信息值赋值给三维图像的像素点， 实现图像融合， 并进行四维可视化。权　利　要　求　书 2/2 页 3 CN 115266608 A 3