高光谱成像技术在某寺壁画数字化保护中的应用

高光谱成像技术是文物保护领域的研究热点。它可用于快速、无创地从不同类别的文物表面获取详细的光谱信息。我们可以利用光谱信息直观地分析颜料成分、线条特征、绘画技巧和图案。高光谱成像对于古代壁画等文物的保护、修复和研究具有很高的科学意义和应用价值。在这项研究中，中国青海省某寺大黑天殿的一幅壁画被用作样本。出于多种目的获取和分析高光谱数据。进行颜料光谱匹配和丰度反演以获得颜料分布。这些数据通过连续去除和直方图拉伸来增强以获得隐藏信息。暗通道先验方法用于虚拟还原壁画的图像。结果表明，利用高光谱成像数据、构建的纯色素光谱库和合适的方法，可以定量分析壁画颜料的种类和分布，提取壁画中的线条。高光谱图像有助于识别被颜料或表面材料隐藏的信息。可以对壁画图像进行增强，使用连续谱去除和直方图线性拉伸等增强方法可以突出显示隐藏的信息。此外，高光谱成像数据在壁画图像的复原方面具有独特的优势，结合去雾方法和图像修复算法可以实现壁画图像的虚拟复原。总之，高光谱成像技术被发现对古壁画的颜料分析、线条提取、信息增强、隐藏信息提取和虚拟修复具有非常有利的效果。

介绍

文化遗产是文明的重要组成部分，传承着历史文化。壁画作为重要的文化遗产之一，蕴含着前人的智慧和技艺。它们内容丰富，色彩鲜艳，形象生动，充分显示了创作者的巧妙构思和高超技艺。壁画是留给后世的不可估量的文化瑰宝，可用于研究当时的宗教艺术、政治经济学、文化历史、民族服饰等。壁画的历史可以追溯到石器时代，包括史前岩画、彩陶、宫殿壁画、墓葬壁画和寺庙壁画。这几类壁画构成了悠久的壁画历史。它们是人类文明最宝贵的、不可再生的财富，反映了他们那个时代的社会风貌，具有深远的历史意义和研究价值。然而，由于多年的自然侵蚀和人为活动，壁画不可避免地出现了不同程度的自然老化和退化。

分析壁画的颜料成分、线条特征、绘画技巧和图案内容，对于壁画的保护、修复和研究具有重要意义。近年来，随着仪器的小型化和便捷化，高光谱技术在文物保护领域得到广泛应用。高光谱技术可以为文物材质和年代的鉴定提供科学依据 ，深入直观地反映文物中的色素信息，增强和挖掘隐藏信息，恢复壁画图像和图案。将高光谱短波红外成像技术应用于古画分析。他们在古画线状特征的提取、颜料信息的识别与分类、隐藏信息的提取等方面取得了较好的效果。库奇等人。获取了庞贝考古遗址壁画和壁画铭文的高光谱数据，从颜料识别和绘图等方面进行了分析，评估了石膏丰度，增强了褪色的细节和特征，证明了其可行性。遗产研究领域的高光谱技术。

通过主成分分析和卷积神经网络提取中国古代绘画高光谱图像的空间和光谱特征，并融合支持向量机进行分类。鉴别真假画作，准确率为84.6%。提出了三种光谱特征提取方法，包括基线减法、内归一化和二阶导数运算，应用于三种文化遗产材料，分析颜料并绘制宏观化学图谱。使用可见光和近红外高光谱成像技术分析了十五世纪哥特式艺术作品中的红色、黑色和白色颜料和粘合剂。他们提供了整体色素分布图。基于古画的高光谱数据分析了人物冠冕上的颜料类型，并利用主成分分析削弱了背景信息，增强了冠冕周围的涂抹信息。利用显着目标检测方法自动获取陶器和壁画高光谱图像的最优主成分，并将图像与真彩色图像融合，有效挖掘文物中人眼不易察觉的图案信息。从高光谱数据中选取特征波段，采用带颜色约束的泊松编辑法，对四对不同颜色、不同材质的中国古画进行了修复。修复后的画作具有较好的视觉效果和客观评价。从边缘复原和颜色复原两个方面提出了利用高光谱图像和普通图片对青铜战车图案进行数字虚拟复原的方法。通过增强和融合不同特征带中图案的边缘来恢复丢失的边缘。通过将其光谱与已知光谱进行匹配来区分不同的颜料，并通过融合边缘和颜色信息来重建损坏的图像。

与便携式X射线荧光和拉曼光谱分析方法相比，高光谱技术能够以更高的效率同时获取大面积图像和反射光谱信息。由于其光谱分辨率高，该方法可以为图像中的每个像素提供近似连续的光谱曲线，可用于分析彩色文物中使用的颜料的类型和含量。此外，高光谱数据的波长从可见光波段跨越到近红外波段，比常用相机的波长更宽，有助于挖掘一些被颜料或其他材料掩盖的隐藏信息。高光谱数据可用于增强和恢复壁画图像和图案。

在这项研究中，一幅创作于 1390 年代的壁画被地面高光谱成像设备扫描以获得图像。保留了壁画表面的详细光谱信息。然后，利用端元提取、光谱匹配和丰度反演算法对颜料进行分析，提取线条，为壁画研究提供科学和定量的信息。进一步采用光谱特征增强和图像增强等方法进行信息增强，结合图像去雾和修复算法对壁画图像进行虚拟复原，提高了壁画的内涵和艺术表达能力。最后是色素丰度图、线提取图、信息增强图、获得了古壁画的隐藏信息图和虚拟复原图。高光谱成像技术的应用为壁画的数字化文献、保存修复研究和流通展示提供了有益的基础。

所研究的壁画位于中国青海省海东市乐都区以南21公里曲滩镇曲滩寺大黑天殿北壁室内。据记载，该寺始建于明洪武二十五年(公元1392年)，距今已有600多年历史。如图 1所示，壁画中有四位大黑天神;这些本尊是佛教重要的护法神，具有深远的历史意义和文化价值。壁画绘于离地面约1米高的墙上。壁画整体状况较好，大部分画作完整。这幅壁画使用的原色主要是红色和蓝黑色。可以发现，整幅壁画颜色很深，部分图案因部分掉漆和烟灰而退化，难以辨认。我们用高光谱成像仪对壁画进行了扫描，并对其图像进行了多种算法，为这些壁画的保护和修复提供了有用的专题图。

图1

中国青海省某寺大黑天殿北壁壁画

数据采集与预处理

使用高光谱成像系统拍摄了壁画的高光谱数据。成像系统的图像空间分辨率为1392×1000像素，视场(FOV)为30度，采样间隔为0.6 nm，光谱分辨率为2.8 nm。该图像收集在可见光和近红外区域的 1040 个波段中，从 377.45 到 1033.10 nm。高光谱相机放置在壁画前方约1m处，主光轴垂直于壁画。通过关闭门窗以防止自然光，并使用两盏卤素灯作为光源，共收集了 18 张高光谱图像。这18张图片被拼接成一张完整的图片，包括壁画中的大黑天四尊，宽2.11米，高0.97米。镶嵌过程是通过图像可视化环境软件的地图菜单下的注册模块和镶嵌模块实现的。它是一种快速、方便、准确的从图像中提取信息的软件解决方案。以普通数码相机拍摄的图像为基准，利用图像模块对18幅高光谱图像进行几何校正。然后，使用工具将它们拼接成完整的高光谱图像。受右侧墙壁的影响，高光谱图像并没有完全覆盖最右侧壁画上的神像。为了与高分辨率数字图像对比本文方法的效果。

颜料分析

壁画表面绚丽的色彩，往往是由不同种类、不同比例的颜料，经艺术家精心调配、调和而成。颜料的使用方式具有明显的时代和地域特征。另一方面，线条是壁画的基本元素，对壁画图案的轮廓、明暗变化和空间构成起着重要作用。对壁画颜料和线条的考察，可以为研究壁画的起源、工艺、画风和时代演变提供辅助支持。对壁画的保护、研究和修复具有重要意义。

大多数用于壁画的持久颜料都是由矿物成分组成的。由于不同颜料的成分不同，每种颜料都有其独特的光谱特征。高光谱技术可以同时提供目标的图像和光谱信息，光谱分辨率高，可以为图像中的每个像素提供近似连续的光谱曲线。这些优势可以支持壁画颜料种类的科学判定、颜料空间分布和含量的定量反演、壁画线条的提取等。

色素端元提取

壁画的高光谱图像的端元是通过算法提取的，该算法通过找到包含高光谱向量的最小体积单纯形来分解像素。引入强度由正则化操作控制的铰链函数作为软约束，并通过一系列增广拉格朗日算法优化结果。它对噪声和异常具有鲁棒性，可以处理大规模的高光谱图像。我们根据壁画呈现的视觉色彩选择了四个端元，分别是红底、黄衣、蓝身、黑线。图2显示了提取的红色、黄色、蓝色和黑色端元光谱曲线。

图2

提取的四种端元光谱曲线

提取的端元光谱数据与我们团队构建的纯色素光谱库相匹配。采用SAM、SFF和二进制编码综合匹配算法来判断颜料的种类。通过比较数据和端元光谱之间的角度，比较光谱吸收特征的位置，并使用逻辑函数比较每个编码数据点和端元光谱来进行材料识别。应用的纯颜料谱库在白墙上作画，收录了红、绿、蓝、黄、黑、白等30多种常见的古代壁画颜料，可作为文物颜料的基准数据保护和恢复。基于端元的最终匹配，初步的鉴定假设可能是衣服的黄色可能是雌黄。基于端元的最终匹配和背景的红色端元可能是朱砂或红赭石，仅从光谱很难识别这种色素。蓝色端元的光谱与已知的蓝色颜料有很大的不同，仅从光谱上很难识别蓝色颜料的类型。利用X射线衍射和同位素X射线荧光研究了某寺壁画的颜料。利用光学显微镜、断面分析、扫描电子显微镜与能量色散光谱法和X射线衍射分析了某寺壁画的颜料。他们的结果表明，蓝色颜料是青金石和蓝铜矿。此外，他们还指出红色素为朱砂和铅，黄色素为雌黄，这与光谱技术鉴定的结果部分一致。

丰度倒置

通过FCLS算法反演每种色素的丰度，利用最小误差原理求解提取端元的丰度。对于端元丰度图中的每个像素，像素的数字编号(DN)一般为0-1，表示丰度，也表示该端元的含量。最后，将 18 幅高光谱图像进行拼接，计算出红色、黄色和蓝色端元的丰度图，如图3所示。这张图直观地展示了壁画上每种颜料的空间含量分布。其取值范围为0~1，代表相应色素的含量。数值越大，含量越高。

图3

色素丰度图：红色端元丰度图;b黄色端元丰度图;c蓝色端元丰度图

同样的方法被用来提取黑线端元并计算它们的丰度图。将18幅图像的线段提取结果进行了拼接，如图 5所示。线条提取图像中，背景线条清晰，真彩色图像中看不到的佛像轮廓线和肚脐清晰可见。

图4

黑线端元丰度图

因此，可以结合端元提取、光谱匹配和丰度反演算法来分析古代壁画中使用的颜料。它们可用于识别颜料的种类并计算其在壁画中的含量分布，可为文物的文献记载、研究和修复提供定量和科学的参考。

信息增强

隐藏信息是指人眼难以识别的信息，如修复痕迹、篡改信息等。对古代壁画进行信息增强和隐藏信息挖掘，可以提高艺术表现效果，为古代壁画研究提供新的启示。高光谱图像具有丰富的波段，可以突出物体在不同波长下的细微差异。它们包括可见光到近红外波段，可以帮助我们识别颜料或表面材料掩盖下的信息，挖掘人眼难以察觉的信息。这些独特的优势使得高光谱成像技术成为壁画信息增强和隐藏信息挖掘的合适方法。

通过连续体去除和线性拉伸进行图像增强

首先，连续谱去除用于增强预处理壁画高光谱图像的光谱特征。连续谱去除是通过突出光谱曲线的吸收和反射特征并将其归一化为一致的光谱背景来增强光谱特征的有效方法。然后选取波长分别为640.31 nm、549.79 nm和460.20 nm的三个波段作为红、绿、蓝通道合成假彩色图像，通过直方图进行线性拉伸实现信息增强。其中，直方图线性拉伸是一种通过按比例放大原始图像的亮度范围，使变换后的图像直方图两端饱和，从而提高图像质量的一种方法。最后将18幅增强图像进行拼接得到信息增强图。 如图6所示，增强后的壁画图像背景中的线条颜色为白色，人物与背景的分离度更高，真彩色图像中极度油烟区域的线条也清晰可见。壁画图像的对比度更高，细节更清晰。此外，在增强壁画图像的背景中，中间浓、底部淡的白色雾状物质也能在一定程度上反映出壁画被油烟污染的程度和程度。

图5

连续谱去除和线性拉伸方法的信息增强图像

利用谱差提取隐藏信息

另外可以发现，在普通数码相机拍摄的真彩色图像中，最后一个人物的身体、颈部、面部、眼球和眼角都是蓝黑色的，如图6a所示。在增强后的壁画图像中，身体边缘、颈部、眼球和眼睛边缘的颜色是白色的，与图7中人物的全身和面部颜色明显不同。 b.在预处理后的高光谱壁画图像中，提取感兴趣区域，计算平均光谱曲线。如图6所示c、人体和面部光谱曲线的吸收特征和趋势相似，仅在700~1000 nm之间的反射率不同。衣边、颈部、眼球和眼缘4条曲线的光谱特征相似，与身体和面部的光谱曲线有明显区别。因此，身体边缘使用的颜料可能与身体和颈部使用的颜料不同。

图6

从高光谱图像中提取的隐藏信息：普通数码相机拍摄的正佛像;b隐藏信息提取后右佛的结果图像;c图像中典型物体的平均光谱曲线

为了考察颜料使用上的差异，又选取了壁画中的另外三尊佛像进行比较。图7显示了四个选定的 Buddha 区域。

图7

信息增强前后四佛局部图像：普通数码相机拍摄的第一尊佛局部图像;b普通数码相机拍摄的二佛局部图像;c普通数码相机拍摄的三世佛局部图像;d普通数码相机拍摄的四世佛局部图像;图像增强后的第一尊佛的局部图像;f图像增强后的二佛局部图像;g图像增强后的第三尊佛的局部图像;h图像增强后的四世佛局部图像

从图8可以看出 ，在本尊佛像中，可以看到四尊佛身为蓝黑色，二、三、四尊佛的脸色为蓝黑色，色带一世、二世、三世佛都是棕色的。然而，图8中增强后的壁画图像中的面部、身体和色带的颜色存在一些差异 。因此，为了比较不同佛像的面部、身体和色带区域是否存在不同的色素，我们在预处理后的高光谱壁画图像中选择感兴趣区域，计算平均光谱曲线，如图8所示。

图8

高光谱图像中四佛典型物体的光谱曲线：a为二、三、四佛的面部光谱;b四佛身相图;c一、三、四佛的色带图

从图8a可以看出 ，对于不同佛的面部区域，第三和第四佛的反射率曲线相似，而第二曲线与其他两个略有不同。反射率差异接近3%。但700 nm附近的吸收谷位置和曲线趋势比较相似。反射率的差异可能是由光的不同亮度或其他噪声引起的。

对于图8b所示的不同佛的身体区域 ，四佛的光谱曲线高度相似。最大的差异出现在第二条曲线和其他曲线之间，大约为 1%。

值得注意的是，对于不同佛的色带区域，如图7e -g所示，在增强图像中，第一、二、三佛的色带颜色相对不同。图7c中，三佛的光谱曲线也不同。反射率的最大差异超过 4%。因此，这部分的颜料可能会有所不同。

因此，高光谱光谱特征增强和图像增强等方法可以提高壁画图像质量，丰富信息量，增强古代壁画的解读和识别效果。它可以挖掘难以辨认的信息并揭示改变的区域。从而可以用来增加古代壁画的可读性和艺术表现效果，为古代壁画的研究提供新的启示。

虚拟修复

由于年代久远，受潮湿、高温等自然环境和寺庙烧香、拜佛等人类活动的影响，壁画都有不同程度的退化。借助图像复原方法，可以在不干扰壁画现状的情况下，虚拟地复原壁画的破损。它是对壁画文件和实际修复的宝贵补充。虚拟修复可以为实际修复提供有用的信息，提高古代壁画保护修复的效率。高光谱成像技术以其宽广的光谱覆盖范围和比可见光更强的穿透能力，为虚拟修复提供了新的可能。

受烟尘影响的壁画图像合成

如图 10a所示，壁画被油烟污染严重，部分图案被遮盖。整个画面都被熏黑了，背景中的一些线条甚至难以辨认。在预处理后的壁画高光谱图像中，由于红色背景区域的感兴趣区域受烟尘影响较小，提取了烟尘损害相对严重区域的烟尘红底和烟尘黑线，计算平均光谱曲线。如图 10b，红底和烟灰红底两条曲线的趋势和光谱特征位置相似。交叉发生在波长800nm附近;也就是说，烟灰对红色背景的影响可能在该波段附近较小。550 nm后，烟灰红底和烟灰黑线两条光谱曲线的差异随着波长的增加而增大;也就是说，背景和线条的可分离性增加了。

图9

不同烟灰水平下图案的光谱分析：壁画图像;b感兴趣区域及其平均光谱曲线

图10显示了壁画小区域的 真彩色图像(图10a )和波长为 405.79 nm(图10b)、605.40 nm(图 10c)和 805.53 nm(图 10)的图像。 10d ). 红底黑线在波长为805.53nm的波段更加清晰，字符右侧白漆缺失边缘的黑痕在该波段消失。

图10

不同波长的高光谱图像：真彩色图像;b波段为 405.79 nm;c波段为605.40 nm;805.53 nm 的d波段

因此，选择波长分别为805.53 nm、549.79 nm和460.20 nm的三个波段作为红、绿、蓝通道，将伪彩色图像与预处理后的高光谱图像进行合成。在真彩色图像的基础上，对合成的假彩色图像进行分块直方图匹配，得到图案更清晰、色彩逼真的油烟壁画图像。

初步除烟

与一般退化不同，烟灰往往会覆盖大面积的壁画图案，烟灰覆盖图像的空间分布与有雾图像相似。

在计算机视觉和计算机图形学中，通常使用大气散射模型来描述雾图像的形成过程和原理。烟熏和雾的颗粒虽然不同，但都会导致部分光被颗粒散射，入射光接触到颗粒时，光的强度会减弱。

其中是保持图像透视深度的常数参数。通过结合假彩色图像、大气散射模型和暗通道先验，对合成的烟灰覆盖壁画图像进行初步烟灰去除。首先通过伪彩色图像计算出暗通道图像，根据暗通道图像得到大气光值和透射率。其次，根据大气散射模型从合成的烟灰覆盖壁画图像中获得无烟灰图像。最后调整亮度，实现对油烟的初步去除。然后将这些图像转换到HSV空间，其中V分量乘以设定的亮度因子形成一个新的V分量，用于进行逆HSV变换以获得调整亮度的图像。如图 11，与原图相比，初步去烟尘后的壁画图像烟尘影响降低，细节突出，红底黑线更清晰。

图 11

合成烟灰覆盖的壁画图像

掉漆补漆

壁画背景存在多处因掉漆造成的破损，导致底部白墙外露。为了进一步改善壁画的视觉效果，采用图像修复算法修复掉漆部分。图像修复算法，可以同步利用图像中的纹理和结构信息，更好地实现目标区域的填充. 首先，对待修复区域的像素进行掩蔽，计算被掩蔽区域边缘的块的优先级，找出优先级最高的图像块。然后这个补丁被替换为在相似性标准下在整个图像中搜索的最佳目标补丁。最后，更新剩余的屏蔽区域和相应的置信度优先级和数据优先级。下一个具有最高优先级的图像块将以相同的方式填充。重复此过程，直到修复所有像素块。在使用算法对图像进行修复之前，我们需要知道要修复的区域。因此，我们提出了一种使用支持向量机 (SVM) 定位油漆损失区域的方法。第一的，壁画中的人物区域与背景区域区分开来，因为掉漆区域主要位于背景区域。另一个原因是壁画中的人物非常细腻，色彩丰富，这可能会影响提取区域的准确性和修复的效果。其次，选择图像中每种颜色的感兴趣区域、遮罩区域和油漆损失区域作为训练数据，如图13b 所示。分类方法用于将蒙版背景区域分为几个类别，包括油漆损失区域，如图 12c所示。第三，为了使提取区域完全覆盖劣化区域，形态学滤波中的膨胀操作进行了三次，以扩大原来提取的区域。最终提取的油漆损失区域如图 12d所示。

图 12

提取掉漆区域：区分佛像和背景区域的mask ;b每种颜色、蒙版区域和掉漆区域的训练数据;c SVM分类图;d提取的油漆损失区域

最后，在初步去除烟灰后，使用 Criminisi 算法修复图像中的油漆损失区域。如图 13所示，从视觉效果来看，修复掉漆后，壁画中的大部分白墙都出现了，使得整个画面更加连贯。

图 13

掉漆补漆

其中是图像的DN，是环境光的分量，为壁画的反射率图像，为修复后的结果图像。为进一步修复受烟尘影响的壁画图像，根据方法，设置两个不同权重和参数的双边滤波器，解决掉漆修复后图像的光照和反射，实现壁画图像的虚拟修复. 其中，双边滤波器是一种非线性滤波器，可以同时考虑空间信息和灰度相似度，可以更好地达到保边和去噪的目的。最后对18张复原图像进行拼接，得到虚拟复原图。从视觉上看，如图 14所示，修复后的图像基本消除了油烟对壁画内容的影响，修复了背景的掉漆。清晰连贯;因此，该方法在很大程度上恢复了壁画的原貌。

图 14

虚拟复原图

因此，利用高光谱成像的优势以及相关的去雾方法和图像修复算法，可以恢复被烟尘模糊的壁画图像，修复背景中的掉漆损坏。这种方法更适用于烟灰较轻、掉漆面积较小的壁画。对严重烟灰(基本看不见)或大面积掉漆的壁画的修复工作将进一步研究。尽管如此，这种方式还是有助于提升古代壁画的艺术表现力，提高线上展览的流通能力，让更多的观众看到。也可为壁画修复提供有价值的指导。

结论

在这项研究中，获取并分析了一幅古代壁画的高光谱成像数据。研究成果可归纳如下：(1)基于高光谱成像数据和纯色素光谱库，通过端元提取、光谱匹配和丰度反演算法，可以定量分析古代壁画色素的种类和含量。壁画中的线条也可以提取;(2) 高光谱技术有助于识别颜料或表面材料所覆盖的信息。采用连续谱去除、直方图线性拉伸等增强方法，可以增强壁画图像，突出壁画中隐藏的信息;(3)高光谱图像在壁画图像的复原中具有独特的优势。结合去雾方法和图像修复算法可以实现壁画的虚拟修复。本研究将拓展高光谱成像技术在古代壁画保护与研究中的应用。可以增强对古代壁画的数字化记录能力，提高古代壁画的艺术表现力和流通展示能力。还需要指出的是，一些涉及的方法，如色素分析、信息提取和虚拟复原等，还需要进一步研究以取得更高的性能。可以增强对古代壁画的数字化记录能力，提高古代壁画的艺术表现力和流通展示能力。还需要指出的是，一些涉及的方法，如色素分析、信息提取和虚拟复原等，还需要进一步研究以取得更高的性能。可以增强对古代壁画的数字化记录能力，提高古代壁画的艺术表现力和流通展示能力。还需要指出的是，一些涉及的方法，如色素分析、信息提取和虚拟复原等，还需要进一步研究以取得更高的性能。