多光谱相机技术浅析

最早问世的一批多光谱系统要么用于太空科学成像，要么用于绘画和文物的分析和数字化处理。1972年发射的陆地卫星1号(LANDSAT 1)装备了一个四波段多光谱成像系统，包括可见光的绿色和红色通道，以及两个NIR波段。

到1999年发射陆地卫星7号(LANDSAT 7)时，该系统已经扩展到8个多光谱波段，包括从可见光的蓝色通道到热红外波段。这些以及随后发射的多光谱卫星主要用于农业和环境分析，应用范围涵盖海岸和洋流观测、植被分析、干旱胁迫、燃烧/火灾影响地区监测，甚至于云覆盖模式的分析。从所用的光学元件到传感器，这些都是极其复杂和昂贵的系统。

同样，先进的多光谱静物相机多年来一直用于艺术和考古应用领域。这些相机使用多达18个多光谱波段来绘制和初步识别艺术品上的颜料和修饰。这些图像也用于对旧的和褪色的文件和文物进行数字化和/或视觉增强处理。修复人员还可以使用多光谱成像技术来区分原始部分与修复部分，并选择合适的修复程序。

随着时间的推移，基于傅里叶变换光谱学、液晶可调滤波器、宽频带和窄频带滤波器等，已经开发出不同类型的多光谱系统。随着各种方法的改进，它们的应用范围已经从超高端的卫星和艺术保护系统迁移到将分辨率、帧速率和性价比完美融合在一起的机器视觉相机，这使得它们得以用于广泛的多光谱应用。在本技术指南中，我们将重点介绍这些基于相机的多光谱成像技术，这些技术在机器视觉应用中正变得越来越流行。

两个(或多个)独立的相机(面阵扫描或线阵扫描)

为机器视觉设置增加更多光谱范围的最初方法，是将多个相机对准同一个目标。例如，如果一个水果生产商想要检验水果的颜色是否正常以及内部是否存在损伤，除了彩色相机，他们可能还会在检验设备中添加NIR相机。但是，将两个图像的光谱数据合并成单一的检验步骤是极具挑战性且很容易出错的任务。即使这两个相机是紧挨着放置，由于光学视差的存在，要对齐两个图像的像素并非易事。因此，任何试图“融合”这两个图像的尝试通常都没有成功。相反，大多数客户将额外的光谱成像视为完全独立的检验步骤，相机、照明、拍摄和安装(和费用)之间没有任何关联，并且没有办法利用整个过程中使用的任何其他相机的图像数据。

滤光轮相机(面阵扫描)

滤光轮相机(也称为基于多窄频带滤波器的成像仪)通过旋转安装在传感器或镜头前面的滤光轮中的滤光片来捕获多通道光谱图像。这种滤光轮通常可支持多达12个波段。然后从多光谱图像中估计每个像素的光谱反射率。基于滤光轮的相机的优点是每个波段均可实现全空间分辨率。滤光片可以根据应用要求定制，并且可以对滤光轮进行修改。该系统的缺点是成像速度慢、耗时长、图像配准复杂、几何畸变复杂，以及高昂的滤光片定制成本。此外，向系统中添加机械元件(电动轮)也可能带来问题，因为可能需要对其进行定期维护或更换。

(多光谱相机使用滤光轮捕捉多光谱图像。通过旋转安装在镜头前面或传感器和镜头之间的滤光轮进行工作。)

像素化多光谱滤波阵列(面阵扫描)

使用拜耳彩色滤波阵列(CFA)和去马赛克技术的单传感器成像，是当前紧凑型低成本彩色数字相机的理想配置。通过将CFA的概念扩展到多光谱滤波阵列(MSFA)，人们可以在不增加尺寸或成本的情况下一次性获得多光谱图像，在某些情况下甚至可以获得高光谱图像。这种捕获方法也称为快照马赛克成像。快照马赛克传感器可支持4至40个通道之间的任何VIS(可见光)、VIS-NIR和NIR-SWIR波长。在批量生产中实现非常高的基于像素的一致性，是一项非常有挑战性的任务。实际波段的串扰可能比较高，这会影响整体光谱灵敏度、与像素相关的噪声参数，以及光谱重建的准确性。这些滤光片的算法校正非常复杂。更重要的是，对多光谱滤波阵列进行多光谱去马赛克一直是一个非常有挑战性的问题，因为滤波阵列中每个波段的采样都非常稀疏。波段越多，各波段的空间准确度越低。

(使用基于快照马赛克传感器的相机，只需一次拍摄就可以获得多光谱图像。)

两个带分束器的相机(面阵扫描)

在解决与多个独立相机方法相关的问题时，其中一种方法是引入分束器，该元件可以从一组共同的光学器件同时捕获多个相机上的图像。以两个拜耳模式相机为例，可以捕获两个3波段的图像并将其重构为一个6通道(2倍RGB)光谱图像。或者，拜耳相机可以与NIR相机相结合使用，产生4通道RGB+NIR输出。可以添加额外的分束器和相机来捕获额外的波段。这种方法可有效缓解与基本的多相机方法相关的图像捕获和图像配准问题。光谱信息可以在捕获的多个图像之间进行关联和组合。最大的缺点是系统中有多个相机，这使得系统的体积比较大且成本高昂。此外，使用分束器也会造成光强度的损失。这种方法通常需要大功率照明，因此需要在高速和系统的光敏感度之间进行权衡。

(使用了分束器的多光谱成像技术。外部分束器，可以让多个相机同时捕获图像，但是存在光量受损的缺点。)

(通过棱镜模组实现将一条光轴进行分束成像的多光谱成像技术。前一分束器成像的进化版本，既能实现同一光轴 ，也可以节约镜头等配件的数目。)

多传感器二向色棱镜式相机(面阵扫描或线阵扫描))

乍看上去，这种方法似乎与分束器方法非常相似，但是两者之间存在着两个非常重要的区别。首先，仅安装传感器(而不是完整的相机)并将其与棱镜面对齐。这使得该相机与之前介绍的多相机分束器成像系统相比，体积显著减小。其次，棱镜块使用硬二向色涂层作为干涉滤光片，将入射光中适当光谱范围内的光线投射到每个传感器。因此，每个通道都接收在其需捕获范围内的全部光线，无论这些光线在光谱的可见或不可见区域中是宽波段还是窄波段;而不是将相同的光线分成多个通道，造成强度的损失。与马赛克方法不同，此方法可使每个波段都实现全空间分辨率。如今，在面阵扫描应用场景中，此方法能够在每波段以超过100 fps提供320万像素的分辨率，而在线阵扫描应用场景中，此方法能够在每波段以35 kHz提供8192像素。该方法的主要限制是棱镜的尺寸，因此相机需要支持多个大型传感器。这可能会限制可以利用的传感器的最大分辨率和/或像素尺寸。

(在棱镜式相机中，棱镜块由硬二向色涂层组成，是“天然”的干涉滤光片。这些滤光片主要负责分离入射光。棱镜块上的附加滤光片用于二次分离。)

多线相机(带滤光片的三线、四线、TDI线阵扫描)

具备多线传感器的线阵扫描相机也可用于多光谱应用。配备三线RGB传感器的线阵扫描相机已在彩色成像应用中得到广泛应用。四线传感器相机可以由R-G-B-NIR或R-G-B单色组成。这是实现多光谱成像的方法之一。多线传感器的线条数可以从3到数十条不等。目前最流行的相机有8到16条线，每一行像素都有一个独特的光谱带通滤光片，因此可用于捕获多达16个波段的多光谱图像。同样的技术可以扩展到TDI传感器，该传感器由大约200条线组成，分为3或4个谱域。多线相机也可以在现有的RGB传感器上安装额外的滤光片。这种方法根据滤光片的数量，将水平线分辨率划分为最多4个部分。通过将5个滤光片与一个RGB传感器相结合，可以实现最多15个光谱波段。这种方法的缺点是，光谱通道数越多，系统的水平分辨率就越低。

(具备多线传感器的线阵扫描相机可用于多光谱应用，其中每一行像素都有一个独特的光谱带通滤光片。)

(该方法使用线阵扫描传感器，通过在光学组件中添加额外的滤光片，可以将传感器的水平分辨率划分为多光谱域。此例中的三线传感器被分为三个光谱分离，进而形成一个9通道多光谱相机。)

用于多光谱成像的推扫式相机(线阵扫描)

推扫式方法通常用于高光谱相机，也可用于多光谱成像，能够为可捕获的光谱波段的数量增加极大的灵活性。x-λ扫描，即跨越水平分辨率和多个波段同时进行扫描，而沿传输方向(y轴)的扫描是连续的。使用这种技术可以逐行捕获完整的空间和光谱信息。推扫式相机由三个主要部件组成：镜头、成像光谱仪和硅基图像传感器(在使用VIS-NIR的情况下)或InGaAs传感器(在使用NIR-SWIR的情况下)。成像光谱仪由光分散单元和聚焦光学器件组成，是推扫式相机的关键组件。在成像光谱仪中，光线穿过输入狭缝、准直仪、分散单元，然后聚焦到图像传感器，从而提供单行的x-λ坐标。如今，在实现高达1024像素线分辨率的同时，还可在5到224波段之间自由地选择波长。光谱范围取决于使用的传感器类型，但VIS-NIR很受欢迎。虽然这种技术提供很好的灵活性，但缺点是随着通道数量的增加，速度也会变慢。在使用全波段(224个波段)方法(一种高光谱方法)时，帧速率仅可达到500 Hz。这种速度对于许多工业应用来说太慢了。(利用推扫式高光谱相机技术可以进行多光谱成像，在这个过程中会逐行捕获完整的空间和光谱信息。)

用于多光谱成像的面阵扫描与线阵扫描

● 在上述多光谱成像方法中，只有极少的几种可用于高速工业应用。在面阵扫描中，多传感器棱镜式方法非常适合用于对高速、大批量生产的商品进行检验。其他面阵扫描方法，如像素化多光谱像素阵列(快照马赛克)和基于滤光轮的方法，对于工业成像来说太慢。除此之外，利用快照马赛克相机获取空间分辨率和对像素信息进行重建也是非常有挑战性的任务。

● 基于滤光轮的相机体积庞大，由多个移动部件组成，这样会降低该方法的稳固性。尽管如此，与多传感器棱镜式方法相比，快照马赛克和滤光轮方法可提供更多光谱波段。快照马赛克技术适用于农业、智能农业、医学成像等不需要较高空间准确度的领域。基于滤光轮的相机特别适合用于对古画和古典艺术品进行数字存档。多传感器棱镜式相机适用于精准农业、智能农业、水果、蔬菜、肉类、海鲜和工业产品(如食品和药品包装、电子产品和印刷电路板)的在线检验。

● 对于利用线阵扫描相机进行的多光谱成像，有两种主要的方法非常有潜力。一种是使用推扫式高光谱传感器，该传感器允许从高光谱方法(225个光谱波段)缩减到多光谱方法(5个光谱波段，行频为6.5 kHz)，这使得该方法可用于食品、回收和包装货物的检验等工业中速应用。

● 多传感器棱镜式多线传感器方法可实现非常高的速度(像素4K，行频高达77 kHz)，对可见光和NIR波段进行同时成像，以获得多达四个光谱波段的组合。由于具备出色的速度，此方法可用于所有基于带式、通道式或自由落体式排序的高速应用。