高光谱图像——高光谱相机和多光谱相机

近期，在机器视觉行业中，对利用分光成像进行图像处理技术的关注越来越高，高光谱相机和多光谱相机的应用也越来越广泛。本文将介绍光谱技术以及光谱相机的种类。

普通相机在光线进入时，会将光的所有波长组合成一张图像，通过多光谱相机则可以将光源分成多光谱信息。这里的分光是指将光线分成多波长的现象。人眼只能感知可见光区域（380-780nm）的波长，而分光图像可以将相同波长分成多个波段后处理数据。

图1 分光概念

AVAL DATA的高光谱相机（AHS-003VIR）可以将450~1700nm的波长分成512个波段进行拍摄，并获得人眼无法感知的NIR、SWIR范围的光谱图像。 光谱成像是在空间信息中添加了光谱技术，将物体的光学特性以光谱（分光）形式存储，广泛用于物质识别、分析和变化预测等领域。 在本文会介绍使用于高光谱图像分析的高光谱相机以及多光谱相机。

光谱相机内部结构

光谱相机内部结构如下所示。从光源进入的光线，通过镜头和光栅集中后，通过分光装置(光栅Grating)进行分光，最后传输到传感器。

图2 光谱相机内部结构

主要根据拍摄方式、波段数量和分光方式等分为多种光谱相机。因此，首先了解拍摄目的和使用环境后选择光谱相机非常重要。

光谱相机种类

拍摄方式：根据拍摄方式，可以分为 Push broom和 Snapshot 两种方式。

图3 Push broom 和 Snapshot 方式

Push broom方式类似于线扫描方式，相机或被摄体在移动时进行拍摄。每获取一行Y轴数据，就保存了每行的分光波长数据，用户可以根据需要移动Y轴合并生成高光谱数据立方体(Cube)。Snapshot方式可以同时获取空间信息和光谱信息，可在瞬间获取物体的光谱特性。各拍摄方式的长处和短处以及应用信息如下所示。

表1 Push broom 和 Snapshot

光谱波段数量。

图4 高光谱相机和多光谱相机

根据光谱波段数量的不同，可分为高光谱相机和多光谱相机。多光谱相机通常具有3-10个波段，可以进行光谱分析，而高光谱相机通常具有100个以上的波段，可以进行光谱分析。在选择相机时，需要考虑各相机的优点和缺点以及使用环境选择合适的相机。（*高光谱相机的波段数可能因型号而异）

表2 高光谱和多光谱相机的特点

根据分光方法，可分为有单色仪（Monochromator）、滤光片（Filter）、傅里叶变换（Fourier Transform）相机。下面我们将详细介绍每个分光技术。

图5 单色仪、滤光片、 傅里叶变换方式

单色仪（Monochromator）方法可以分为两种主要类型：棱镜（Prism）和光栅（Grating）。棱镜采用折射方式将光分散，而光栅则利用衍射方式将光分散。 

滤光片（Filter）方法是通过滤光片，将所需波长的光分散。滤光片可分为固定滤光片和可变滤光片，固定滤光片具有特定的波长，而可变滤光片可以由用户自行选择滤光片波长。

傅里叶变换（Fourier transform）方法最初是由约瑟夫·傅里叶（Joseph Fourier）在研究热传导时用于求解热方程的方法。它使用具有不同振幅的单一正弦波进行傅里叶逆变换，将连续的光谱分解为不同频率的光谱成分，通过光电探测器获取光谱信息，实现光谱分析。

AVAL DATA 提供单色仪（Monochromator）方式的AHS-003VIR和滤光方式的ABA-013VIRLF。它们都是Push-broom方式的相机，支持从可见光到近红外光的宽广光谱范围。

图6 Hyperspectral camera (左) 和 Multispectral camera (右)

表3 AHS-003VIR和 ABA-013VIRLF配置信息

光谱成像系统的构成部分

除了分光相机外，分光成像系统的结构还需要其他配件，比如， 光源、镜头、图像处理软件。

图7 分光图像系统的结构

光源：光源通常在户外环境（如地质状况、环境监测、目标检测等）以及卫星、航空、无人机（UAV）和地面等应用领域中使用自然光（太阳光），而在室内环境中则使用灯泡、发光二极管（LED）或激光等单独的照明装置。AVAL DATA的AHS-003VIR超光谱相机在450-1700nm的广谱范围内进行分光，使用高通量和宽波长的卤素灯照明。

图8 卤素灯（高光谱相机专用）

图9 AHS-003VIR 传感器量子效率

镜头：我们建议在使用光谱相机时，选择具有色差校正功能的APO（Apochromat）镜头。由于玻璃的折射率会随光的波长而变化，因此会产生色差。因此，如果使用没有色差功能的镜头，不同波长的光焦点会不同，导致图像在不同波长上变得模糊。因此，在使用光谱相机时，建议选择具有色差校正功能的APO镜头。

图10 色差校正与否的图像

软件：AVAL DATA高光谱相机（AHS-003VIR）和多光谱相机（ABA-013VIRLF）覆盖了宽广的波长范围，并且拍摄的数据以每个波长的BMP文件或包含图像尺寸和波长信息的立方体数据（比如ENVI格式）。以BMP格式数据应用时，需要具备光谱数据和机器学习等分析方面的知识，并且需要配备适用于适当处理大量数据的解决方案，因此通常使用BMP文件来直接分析和处理并不容易。相反，以ENVI格式提取的数据除了图像数据外还包含各种波长信息，因此可以专门使用于高光谱成像的软件（如perClass Mira）或其他各种成像软件（如Matlab和其他软件）来分析和处理数据。我们的光谱相机与perClass Mira等专用高光谱成像软件以API兼容，操作方面很容易，并且也以ENVI文件格式与其他软件可以兼容。

在图11(左侧)表示，使用perClass Mira进行塑料分类的示例。它对5种塑料树脂进行了图像处理后，在图（右侧）也可见每个塑料的波长信息。

图11 使用 perClass Mira 的塑料分类图像 (左)，塑料波长信息 (右)

图12展示了使用高光谱相机进行图像获取和分类的过程，分为3个阶段。简单来说，产品在Y轴方向移动时，获取图像和光谱数据，提取特定数据进行学习，然后获得分类结果。

结论

光谱成像技术从多光谱的遥感应用开始逐渐增加并且波段数量并不断增加，应用领域也不仅限于地质研究、国防、医疗保健、食品、农业、矿产等领域，最近在机器视觉领域，特别是在半导体、垃圾分类、食品分析、混合材料分析等应用中，对超光谱成像相机的研究和评估越来越多，如果您正在进行相关议题，建议考虑利用光谱成像技术。