高光谱和多光谱成像农业、医疗保健和遥感等多种应用

在过去的二十年中，高光谱成像(HSI) 和 多光谱成像(MSI) 的重要性和实用性一直在增长。尽管这些术语经常被混为一谈，但它们代表了两种截然不同的成像实践，每一种都适合自己的应用空间。与仅使用可见光谱的光的标准机器视觉成像相比，这两种技术都具有优势。然而，随着 HSI 和 MSI 的优势，成像系统在照明、过滤和光学设计方面的复杂性也随之增加。

高光谱和多光谱成像在农业中用于监测广泛电磁频谱范围内田地的健康状况

在典型的机器视觉应用中，传感器使用和捕获的照明大约在 400 nm(紫色)到 700 nm(深红色)之间(图 1)。通常使用在 550 nm 附近具有峰值光谱灵敏度的成像透镜组件和传感器收集光。大多数相机传感器的量子效率，或将光子转换为电信号的能力，在扩展到紫外或近红外时会显着降低。

图 1.可见光谱之外的波长区域用于高光谱和多光谱成像

用最简单的术语来说，HSI 捕获的图像包含来自更广泛电磁频谱部分的信息。该范围可以从紫外光开始，延伸到可见光谱，并以近红外或短波红外结束。扩展的波长范围可以揭示材料成分的特性，否则这些特性是不明显的。

机器视觉中使用的传感器将输出一系列灰度值，从而生成查看区域内某些对象的二维图像。其功能用途通常是为了分类、测量或定位对象而进行的特征识别。除非使用光学过滤，否则视觉系统无法识别用于照明的波长。对于具有拜耳滤光片图案 (RGB) 的传感器来说显然不是这样，但即便如此，每个像素都仅限于接受来自窄波长带的光，并且相机软件会在事后分配颜色。在真正的高光谱图像中，每个像素对应坐标、信号强度和波长信息。因此，HSI 通常被称为成像光谱学1。

顺便说一句，光谱仪收集波长信息以及检测到的各种波长的相对强度信息2。这些设备通常从样本上的单一来源或位置收集光。它们可用于检测散射和反射特定波长的物质的存在，或基于荧光或磷光发射的材料成分。HSI 系统通过将位置数据分配给收集的光谱，将这项技术提升到一个新的水平。高光谱系统不输出二维图像，而是输出高光谱数据立方体或图像立方体3。

图像采集模式

目前使用四种主要的高光谱采集模式或方法，每种模式或方法各有优缺点(图 2)。第一个称为扫帚，是一种点扫描过程，一次获取一个空间坐标的光谱信息。这种方法往往提供最高水平的光谱分辨率，但需要系统在 x 轴和 y 轴上扫描目标区域，从而显着增加总采集时间1。

图 2.四种主要的高光谱采集模式是点扫描或扫帚(a);线扫描，或推扫式(b);平面或区域扫描(c);和单发，或快照(d)

第二种模式称为推扫式，使用线扫描数据捕获技术。当一行像素扫描一个区域以捕获光谱和位置信息时，只需要一个空间运动轴。推扫式系统体积小、重量轻、操作简单且信噪比高1。使用此方法时，正确选择曝光时间至关重要。忽视这样做会导致光谱带饱和度或曝光不足的不一致。

一些人认为 MSI 只是 HSI 的低级形式，具有较低的光谱分辨率。事实上，这两种技术根据任务各有优势。第三种方法是平面扫描。此模式一次成像整个 2D 区域，但在每个波长间隔。该过程涉及捕获大量图像以创建高光谱数据立方体的光谱深度。虽然这种捕捉方法不需要传感器或整个系统的平移，但在采集过程中主体保持静止是至关重要的;否则，位置和光谱信息的准确性将受到影响。

第四种也是最近开发的方法称为单次拍摄或快照。单次成像仪在单个积分周期内收集整个高光谱数据立方体。尽管单发似乎是 HSI 实现的首选未来，但它目前受到相对较低的空间分辨率的限制，需要进一步开发。

主要差异

MSI 系统在许多方面与 HSI 系统相似，但有一些关键区别。与使用 HSI 系统有效连续波长的数据收集相比，MSI 专注于根据应用预先选择的几个波段。常见的 RGB 传感器有助于说明 HSI 和 MSI 系统之间的差异。在 RGB 传感器中，拜耳图案(由红色、绿色和蓝色滤光片组成)层叠在像素上。滤光片允许来自特定色带的波长被像素吸收，同时衰减其余光。这些带通滤波器的传输带在 100 至 150 nm 范围内，并且具有轻微的光谱重叠(图 3)。然后用假色渲染捕获的图像以近似人眼所见。在大多数 MSI 应用程序中，波段明显更窄且数量更多。波段通常在几十纳米的数量级，并不完全是可见光谱的一部分。根据应用，紫外、近红外和热波长(中波红外)也可以有隔离通道4 .

图 3. RGB 相机的量子效率曲线显示了红色、绿色和蓝色之间的重叠

一些人认为 MSI 只是 HSI 的低级形式，具有较低的光谱分辨率。事实上，这两种技术各有优势，具体取决于任务。HSI 最适合对连续频谱中信号的细微差异敏感的应用。对较大波段进行采样的系统可能会错过这些小信号。然而，一些系统要求屏蔽大部分电磁频谱，并且只选择性地捕获光(图 4)。其他波长可能会产生明显的噪音，可能会破坏测量和观察。此外，如果数据立方体中包含的光谱信息越少，图像捕获、处理和分析就可以更快地进行。

图 4.多光谱和高光谱图像堆栈。比较 MSI 和 HSI 中的图像堆栈，在 MSI 中，多个图像是在不同的离散波长区域拍摄的，在 HSI 中，图像是在更大的连续波长范围内拍摄的

应用

需要 HSI 和 MSI 的应用数量持续增长。这些技术在生命科学和遥感领域有着广泛的应用。更具体的市场包括农业、食品质量和安全、制药和医疗保健3. 农民发现这两种技术都特别有用。为了扫描田野，拖拉机和无人机可以配备光谱成像仪。通过分析所拍摄图像的光谱特征，农民可以准确地确定作物的状况，包括植物的总体健康状况、土壤状况、用某些化学物质处理过的区域或有害物质的存在，例如侵扰。所有信息都有独特的光谱标记，可以捕获、分析和使用以确保最佳的农产品生产。

医疗保健也是如此。在高光谱成像仪的帮助下，医生现在可以对皮肤进行无创扫描，以检测患病或恶性细胞。某些波长更适合深入皮肤，因此可以更详细地了解患者的状况。在正确的刺激下，癌症和其他患病细胞会发出荧光或吸收光线，从而使它们很容易与健康组织区分开来。医生不再需要根据观察或患者对症状的描述做出有根据的猜测。复杂的系统可以记录并自动解释光谱数据。这可以显着加快诊断并迅速治疗受影响的确切区域。 

几十年来，HSI 和 MSI 一直是遥感的重要组成部分，遥感涉及使用无人驾驶飞行器 (UAV) 和卫星对地球表面进行航空成像。光谱摄影可以穿透地球大气层和各种类型的云层，从而清晰地看到下面的地面。遥感可用于监测人口变化、观察地质变化和研究考古遗址等任务。这些成像技术在环境研究中变得越来越重要。它们能够收集有关森林砍伐、生态系统退化、碳循环和不稳定天气模式的数据。研究人员利用收集到的信息创建全球生态预测模型。

受益于 HSI 和 MSI 的应用程序空间数量庞大且不断增加，但当前技术的复杂性可能会减缓某些行业的采用速度。与其他机器视觉组件相比，这些系统要贵得多。传感器更复杂，具有更宽的光谱灵敏度，并且必须精确校准。传感器芯片通常需要使用硅以外的基板，硅仅对大约 200 至 1000 nm 敏感。砷化铟 (InAs)、砷化镓 (GaAs) 和砷化铟镓 (InGaAs) 材料用于收集高达 2600 nm 的光。如果要求从 NIR 到 MWIR 成像，则需要汞镉碲(MCT 或 HgCdTe)传感器。1 .

将这些高端传感器与适当的光学元件配对存在另一个挑战。需要带通滤波器、棱镜或光栅等衍射光学器件，甚至液晶或声光可调谐滤波器来分离不同波长的光，以便记录光谱数据7. 此外，用于这些相机的镜头必须设计为能够在广泛的波长范围和温度波动下实现最佳工作。在设计中需要更多光学元件会增加系统成本和重量。这些元件还需要具有不同的折射率和色散特性以进行宽带色彩校正。不同的玻璃类型也具有不同的热性能和机械性能。选择具有适当内部透射光谱的玻璃后，必须在每个镜片上涂上宽带多层增透膜，以确保最大的光通量。这些情况下的众多独特要求使得 HSI 和 MSI 的镜头设计过程非常繁琐，并且这种设计需要高超的技巧。

未来发展的目标包括使 HSI 和 MSI 系统更加紧凑、价格合理且用户友好。这些领域的改进将鼓励新市场使用该技术，并将推动已有市场的发展。