针对高光谱与多光谱图像融合中预设退化信息依赖性强及空谱域交互信息挖掘不足的问题，提出了一种基于自适应退化信息感知的特征融合框架。首先，通过探索图像层次特征之间的空谱相关性，提出了一种空谱特征融合注意力机制，显著增强了融合图像中空间和光谱域信息之间的交互。其次，依据空间/光谱退化过程的直流增益和平滑物理特性，构建了空间/光谱退化感知网络模型，实现了无需预设退化信息的高光谱和多光谱图像高效融合。最后，设计了一种基于子空间的损失函数，通过解耦光谱退化信息感知过程中空间域的信息干扰，有效提升了网络对空间和光谱退化信息的感知精度。实验结果表明，与九种基线算法相比，本文方法重建结果的峰值信噪比在CAVE和Harvard数据集上分别提升了40.0%和32.7%。在混合分辨率系统上的实验结果中，本文方法重建的光谱波段图像展现出更准确的结构纹理和信号强度，进一步验证了所提方法的有效性。
研究背景
高光谱成像技术因其同时捕获空间和光谱信息的能力，在国防安全、环境监测、农业管理等众多领域显示出巨大的应用潜力。然而，由于高光谱成像机理的限制，空间分辨率与光谱分辨率之间往往存在权衡关系，难以直接获取高空间分辨率的高光谱图像。因此，当前主流策略是通过融合低空间分辨率高光谱图像（LR-HSI）与高空间分辨率多光谱图像（HR-MSI）来重建HR-HSI。该策略利用先进的融合算法，整合HR-MSI中丰富的空间细节与LR-HSI中的光谱特征，从而在提升异常检测和图像分类等应用中的监测精度与效果上取得显著进展。
在实际物理成像模型中，LR-HSI与HR-MSI到HR-HSI的转化过程涉及复杂的空间和光谱退化。传统的非盲融合方法依赖于预定义的退化模型，将空间和光谱退化信息作为先验知识纳入数学优化模型中求解HR-HSI。然而，由于实际成像过程中的微小震动、仪器参数变化等因素，预设的退化信息往往不能准确反映真实情况，严重制约了非盲方法的性能。为此，盲融合方法应运而生，通过数据驱动的方式在重建HR-HSI的同时自适应地估计退化模型参数，提高了对复杂成像环境的适应性。
近年来，深度学习方法在HSI-MSI融合中被广泛探索，但其主要依赖于大量的HR-HSI标签数据进行监督训练，从中获得的先验知识常存在域偏移问题，导致重建图像在空谱信息的表征上出现失真。自监督学习作为一种有效解决数据稀缺问题的方法，虽然避免了数据集与目标图像之间的域偏移，但现有方法多仍依赖预设的退化模型，并通常采用单层卷积或线性层对复杂退化过程进行简单表征，难以充分捕捉退化特征的多样性和复杂性。
为应对这一系列挑战，本研究提出的基于退化信息感知的多阶特征融合Transformer框架，摒弃了对预设退化信息的依赖，通过设计的空谱特征融合注意力机制和退化感知网络，有效提升了网络对空间与光谱退化信息的捕捉与交互能力，进而实现了高精度的HR-HSI盲融合重建。
技术亮点
无监督盲融合框架
本研究将退化过程的物理特性嵌入退化网络架构设计，增强退化表征能力。在空间退化物理模型中，使用特征均值作为信号基线，引入去均值操作保护空间退化的直流增益特性。在光谱退化网络中，使用学习光谱退化中的潜在谱间相关性。利用搭建的退化网络，将观测图像分别退化为低分多光谱图像，利用其一致性联立优化损失函数实现多网络训练。
图1 空间/光谱退化感知网络架构
退化网络初始化策略
由于退化网络的参数相互依赖，在自监督学习下几乎无法收敛。提出了光谱退化网络的启动策略。对低高光谱图像施加强模糊，覆盖原空间退化影响，作为空间退化的初始解。随后利用一致性，对光谱退化网络的参数进行求解，启动交替优化策略。
子空间损失设计
由于光谱退化网络本质从图像中求解光谱维度的加权系数。 图像的维度通常比加权系数的维度的大几十个数量级。使得光谱退化网络只关注少数强正交性光谱波段，导致过拟合。为此提出一种子空间损失。分解出图像的光谱正交基。将光谱退化网络作用于正交基。这同时还缓解了空间信息对光谱退化信息的干扰。
特征融合Transformer
受生成性认知启发，提出一种特征融合框架。主要模块包括用于捕捉图像的语义与结构信息的特征编码模块，用于层次特征交互的特征交叉融合单元，以及专注于细节的精细化处理的图像优化单元。通过将高分辨率多光谱图像的高阶信息、低阶信息逐步注入低分辨率高光谱图像中，实现图像重建。
图2 特征融合Transformer架构
实验结果
在CAVE和Harvard数据集上进行32倍盲融合实验，所提出的方法在PSNR、SAM、ERGAS、SSIM等指标均有明显提升。
表1 CAVE和Harvard模拟数据集上指标平均结果
此外，该研究在混合分辨率高光谱成像系统上重建的光谱波段较其他基线算法在视觉对比上具有更清晰的纹理结构以及与LR-HSI波段更一致的信号强度。
图3 本文算法与比较算法在现实应用中重建效果对比图
结论
针对高光谱与多光谱图像融合过程对预设退化信息精度依赖严重，以及空间与光谱域交叉信息探索不足的问题，提出了一种基于自适应退化信息感知的自监督多阶特征融合框架。首先，基于空间与光谱退化信息物理特性设计了空间退化子网络和光谱退化子网络，实现退化信息的精确感知。在空间退化子网络中，设计了一种双分支并行架构，有效地保证空间退化的单位直流增益属性，从而确保信号基线的稳定性。在光谱退化子网络中，引入了光谱退化潜在的平滑特性学习能力，进而提升光谱退化的表示精度。此外，为避免空间与光谱退化感知网络在联合训练过程中出现的空间-光谱信息代偿问题，设计了一种子空间损失函数，有效地约束网络的学习过程，确保网络在提取特征时能够充分考虑到空间与光谱信息的互补性。最后，为了探索HR-HSI的空间-光谱交叉特征，设计了特征融合网络，有效探索输入图像层次特征之间的空谱相关性，显著缓解了重建图像的空谱失真问题。在公共高光谱数据集模拟实验中，相比基线算法，所提方法在峰值信噪比提升40%，光谱角映射降低了70%。这一显著的性能提升充分证明了本文方法在空间和光谱细节重建上的优异表现。在现实实验中，本文算法成功避免了因退化先验信息不准确带来的结构性伪影和信号强度偏移问题，进一步证明了本文算法在处理高光谱与多光谱盲融合方面的优越性能。在未来，将继续探索空间\光谱退化的表征方式，例如对空间位置相关的动态退化进行表征，进一步提升融合性能。
作者介绍
郝小鹏
郝小鹏，清华大学研究员。国家杰出青年基金获得者，国家市场监管总局科技创新领军人才。主要从事红外遥感领域研究，面向国家重大需求，成功研制红外遥感高光谱辐射亮温计量校准装置，建立极小不确定度的空间红外辐射基准源，实现高发射率大口径面源黑体，支撑风云卫星和高分卫星红外载荷定标精度大幅提升。
程鑫彬
程鑫彬，同济大学物理科学与工程学院院长，国家集成电路微纳检测设备产业计量测试中心（上海）主任，国家杰出青年科学基金获得者，国家科技创新团队带头人，教育部科技委学部委员。以第一/通讯作者在Light: Science & Applications、Science Advances、Optica等期刊发表文章五十余篇。担任ISO国际标准化组织光学材料与器件委员会委员，中国计量测试学会理事，《Fundamental Research》，《强激光与粒子束》，《激光与光电子学进展》等期刊编委。
廉玉生
廉玉生，北京印刷学院教授。主要从事颜色科学与技术、新型高光谱成像技术、智能感知与图像处理研究。曾获北京市科学技术进步奖二等奖和中国计量测试学会科学技术进步奖一等奖。授权发明专利20项，以第一作者或通讯作者身份在IEEE-TGRS, Opt. Lett. 等学术期刊发表论文16篇。
曹栩珩
曹栩珩，同济大学博士研究生，主要从事红外遥感辐射基准、深度强化学习温控智能体，以及高光谱重建研究。授权发明专利6项，以第一作者身份在IEEE-TGRS, Opt. Lett. 等学术期刊发表论文7篇。
文章信息
曹栩珩, 郝小鹏, 廉玉生, 等. 用于高光谱-多光谱图像盲融合的自适应退化感知Transformer（封底文章·特邀）．红外与激光工程, 2025, 54(5): 20240592. DOI: 10.3788/IRLA20240592
全文链接：http://irla.cn/article/doi/10.3788/IRLA20240592（阅读原文）