撰稿人：石丽芬
论文题目：改进CycleGAN实现可见光红外图像的迁移(特邀)
作者：石丽芬1，张鹏2，景亚蔓3，陈子阳2，蒲继雄2,4
完成单位：
1.中国人民武装警察部队警官学院
2.华侨大学 信息科学与工程学院 福建省光传输与变换重点实验室
3.中国工程物理研究院流体物理研究所
4.闽南师范大学 物理与信息工程学院
导读
在安防监控、医学影像、遥感探测等领域，红外成像技术因其独特的环境适应性而受到广泛关注。然而，由于高质量红外图像数据的获取存在成本高、采集难等问题，可见光图像转换为红外图像成为一种有效的解决方案。本研究提出了一种基于改进CycleGAN的可见光红外图像迁移算法，旨在提升转换图像的质量，减少细节丢失和伪影。通过引入代理注意力机制（Agent Attention Mechanism），增强了模型对全局结构和局部细节的捕捉能力，同时采用LPIPS损失函数优化循环一致性，提高转换后图像的内容与风格一致性。此外，优化判别器结构，引入PatchGAN架构和ContraNorm模块，提升模型对红外特征的识别能力。实验结果表明，该方法在多个数据集上均优于传统CycleGAN，在结构相似性（SSIM）、峰值信噪比（PSNR）和视觉信息保真度（VIF）等指标上均有显著提升。
研究背景
红外成像技术因其独特的抗干扰能力，广泛应用于安防监控、医学成像、自动驾驶及遥感探测等领域。相比可见光成像，红外成像能够在低照度、雾霾等极端环境下稳定工作，提供更可靠的感知信息。然而，高质量红外图像的获取受到设备成本和技术限制，制约了该技术的广泛应用。近年来，生成对抗网络（GAN）技术的发展为可见光图像到红外图像的转换提供了新的可能性。CycleGAN作为无监督学习的一种重要方法，通过循环一致性损失函数约束图像转换的准确性，已经在图像风格迁移领域取得了一定成果。然而，传统CycleGAN在可见光到红外转换过程中，仍然面临色彩失真、细节模糊、对比度不足等问题。因此，研究高质量的图像迁移算法，能够提升红外成像技术在多领域的应用价值。
技术亮点
网络结构
本研究提出了一种基于改进CycleGAN的可见光红外图像迁移算法。其核心创新点包括：
生成器优化：在CycleGAN的生成器中引入代理注意力机制（Agent Attention Mechanism），通过代理令牌进行信息聚合，提高模型对关键特征的识别能力。
循环一致性损失优化：采用LPIPS损失函数替代传统的L2损失，使模型能够更好地捕捉图像的语义信息，提高转换后图像的真实感。
判别器优化：采用PatchGAN架构，并引入ContraNorm模块，使判别器对红外图像的细节更加敏感，提高对图像真实性的评估能力。
实验结果
在FLAME2、OSU-CT等多个数据集上进行实验，改进后的CycleGAN在SSIM、PSNR、VIF等评价指标上均有明显提升。
表1 OSU-CT数据集中测试集的指标平均结果
此外，从视觉对比上看，改进后的模型生成的红外图像更加自然，色彩过渡更平滑，细节更加清晰，如图1、2所示。
图1 OSU-CT数据集测试图像的对比图
图2 测试图像的细节对比图
我们模型在生成灰度红外图像时显著优于原始 CycleGAN 模型。Ground Truth 中行人和车辆的高亮区域（200至250）边缘清晰且对比度高，而 CycleGAN 的输出在这些区域数值较低，导致轮廓模糊甚至丢失；相比之下，我们的模型能够更好地还原高亮区域的数值和轮廓特征。同时，在低温区域（0至50），CycleGAN 的输出图像平滑且缺乏细节，而我们的模型则保留了更丰富的层次感，地面和阴影区域的纹理表现更真实，过渡更加平滑。在高低温边界区域，CycleGAN 常出现伪影和数值跳跃，而我们的模型显著减少了伪影并保持了清晰的边缘。
结论
本研究提出的改进CycleGAN模型有效提升了可见光到红外图像的转换质量，特别是在细节恢复、色彩一致性和图像真实感方面优于传统方法。未来的研究方向包括：优化注意力机制，进一步提升对复杂场景的适应能力。多模态融合，结合可见光、红外与深度信息，提升图像转换的精确度。实时处理能力提升，优化网络结构，使其能够在边缘计算设备上高效运行。
团队介绍
华侨大学先进成像与测量（Advanced Imaging & Measurement, AIM）团队主要从事智能光学成像、精密光学测量以及光场调控技术。主要应用领域包括：复杂环境智能光学成像、部分相干激光器的研制及其应用、光学相干层析技术（OCT）等。团队成员先后主持国家重点科技计划项目、国家自然科学基金项目10多项。在Optica、Laser & Photonics Reviews等国内外重要学术刊物发表论文200多篇；研究成果获得教育部自然科学奖二等奖1项、中国光学重要成果奖1项、福建省自然科学奖和科技进步奖三等奖3项。
文章信息
石丽芬, 张鹏, 景亚蔓, 等. 改进CycleGAN实现可见光红外图像的迁移(特邀)[J]．红外与激光工程, 2025, 54(3): 20240486. DOI: 10.3788/IRLA20240486