封面 | 利用AI降噪技术实现生物动力学高清“慢镜头”

研究背景

      光学显微镜技术的发展开启了生命科学微观结构和功能的研究新篇章。但是传统光学成像方法在成像速度、分辨率、信噪比等方面存在瓶颈，难以清晰捕捉生物动力学过程。并且，在活体动物成像中，呼吸、心跳等生理运动会引入图像扫描位置偏移，加剧运动模糊；血细胞和营养物质的高速流动会产生尾迹和运动伪影，难以准确观察血流运动学；心脏高速跳动也需要毫秒级曝光时间以克服运动模糊，这将导致更低的成像对比度。

      此外，组织深处信号衰减和光散射噪声的影响也限制了深层清晰成像。如何在有限光子条件下提高生物动力学过程的可视化质量，为研究者提出了更大的挑战。近年来，机器学习方法为图像降噪研究提供了新的思路，其在图像处理任务上展现出强大能力。将机器学习与光学显微技术结合，可以突破光学物理限制，增强对生物样品的解析，大大提高对复杂生物过程的理解。机器学习的泛化性可以处理各种样品类型、不同成像设备和噪声条件，提供一种更通用的图像优化平台。

论文导读

      为解决光学显微成像技术在高速活体成像时存在的信噪比低、容易出现运动伪影等问题，研究者提出了一种基于自监督深度学习的生物动力学成像降噪和去模糊技术(DeepBID)。利用激光扫描成像系统中正向和反向扫描的镜像关联性，训练深度网络模型提取图像的空间相关信息，从而提高细节可视性和降低噪声，实现了活体深层的高速、高信噪比双光子成像。

      该技术可应用于不同动物模型测试，包括小鼠大脑皮层星形胶质细胞成像、脑血管微循环成像、以及斑马鱼心跳动力学成像等。结合定量分析，该技术在不同条件下都具有显著的去噪效果，提高了图像细节可视性、信噪比和运动鲁棒性。该研究以“Surmounting photon limits and motion artifacts for biological dynamics imaging via dual-perspective self-supervised learning”为题于2024年1月5日发表于PhotoniX 期刊。

主要研究内容

      本文提出一种自监督深度学习框架DeepBID，利用激光扫描成像设备中正向和反向扫描的镜像关联性，训练深度网络模型提取64μs内的空间相关信息，从而提高细节可视性和降低噪声。这种空间关联性可以实现生物动力学成像过程的降噪和去模糊。该方法的独特之处在于利用镜像扫描路径的空间相关性进行网络训练，而不是依赖不同时相的时间相关性(33 ms)，这样可以避免运动过程中产生的图像模糊和重影等伪影，从而提高降噪质量。在模拟和实验小鼠脑细胞成像数据上证明了该框架的优异降噪效果。这一通用框架还被扩展应用于从小鼠脑血流动力学到斑马鱼心脏动力学的各种体内实验，与原始数据相比，即使在信噪比非常低且存在运动伪影的情况下，时空相关性 (2.2×)、信噪比 (9-12 dB)、结构相似性 (6.6×)和结构分割精度也有显着提高。这种方法可以清晰地显示微循环中的快速物质流动（30毫米/秒）和心跳的收缩和舒张过程（2.7周期/秒），以及深皮层的细胞和血管结构。时空相关性定量验证了运动伪影的鲁棒性，表明方法很好保留空间结构和时间轨迹特征。这种基于成像内在结构的图像质量提升技术为生命科学研究提供了一种高效工具。

技术突破

      这项研究的技术突破和创新点主要体现在采用了显微成像的镜像自监督学习范式，充分利用了显微镜激光双向扫描的相关性，学习抑制噪声并恢复低质的空间信息。通过双向扫描获取的信息得以充分利用，模型在观察快速生物动力学过程时避免了时空混乱伪影，表现优于已报道的自监督降噪技术在快速生物动力学成像上的应用。

      文章通过模拟鼠脑神经元钙信号进行了严格的验证，展示了在去噪、运动鲁棒性、钙轨迹准确性和深度成像方面的显着改进。同时展示了多样的活体应用，包括星形胶质细胞成像、快速微血管流动和斑马鱼心动力学成像。这种自监督深度学习方法在光子受限和容易受运动影响的成像条件下提高了3D相关性和信噪比，验证了模型的泛化性能。

1. 利用双向扫描的空间对称性进行网络训练，而不是依赖不同时相的时间相关性。

      已报道方法多采用相邻帧之间的时间相关性进行训练，但对于高速运动的情况，不同时刻的相关性较弱，容易导致运动模糊和图像失真。本文将双向扫描线作为训练输入，这些正反方向镜像扫描线在空间上高度相关，可以提供更有效的自监督信号，避免由于生物运动引入的空间和时间信息混淆，提高了降噪质量。

2. 训练数据综合考虑成像系统特性、噪声效应和运动模糊。

      研究人员在训练数据中加入真实的光学成像参数、双向扫描方式、泊松高斯混合噪声以及不同程度的运动模糊。这些综合因素使网络学习到抑制复杂噪声和增强运动稳定性的能力。

3. 设计轻量级3D卷积网络，实现快速自监督学习。

      采用了编码-解码结构的3D UNet网络，可以直接从正反方向扫描图像进行端到端训练，避免了分步骤处理带来的不确定性。

4. 在多种成像样本上验证框架的泛化能力。

      不仅在模拟数据上证明效果，还在实际的各种小鼠和斑马鱼成像中验证了框架的泛化性能，表明其可以显著提升各种动力学观察的质量，而不需要针对特定任务调优。我们在多样的体内成像环境中展示了优异的降噪结果，从小鼠快速血流动力学到斑马鱼心跳动力学，3D信噪比、3D结构相似性、3D相关性和分割精度均有显著改进。我们还展示了该方法在更具挑战性的深层成像案例中的泛化能力。

5. 框架充分利用已有信息，扩展了成像技术的适用范围。

      该框架依赖成像系统已有的内在空间信息来训练，而不需要额外改造设备或获取良好样本。这种数据驱动策略可以放宽硬件限制，扩展光学显微成像的应用范围，如实现低光子和高速成像下的可视化。该框架建立在通用的深度学习技术基础上，可以兼容不同的成像模式与样本类型，为生命科学研究提供一种有效和可扩展的工具。

      总体来说，该研究设计和验证了一种通用的、无需高信噪比数据的生物图像质量增强方法，为观察生物体内复杂动力学过程提供了技术基础。这项工作在光学显微镜和生物成像中克服了关键限制，为生物医学研究人员提供了一个新的高效的研究工具，可以解锁新的发现，同时也为扩展自监督深度学习的实用性到不同成像模态和应用领域打开了新途径。

观点评述

      结合基于模型和数据驱动方法的互补优势，可以利用多功能神经网络以及光学模型和信号先验来提高恢复保真度。多种数据集的联合去噪可以利用相关的结构信息。将该方法扩展到其他成像领域，例如医学、遥感或计算成像，可以进一步展示广泛的实用性。总体而言，这种深度学习框架突破了实时荧光显微镜的界限。增强的信噪比和相关性为微观生物动力学提供了更丰富的定量见解。通过优化的模型和硬件，该方法有望在实验过程中实现实时视频增强。通过克服光子限制，这种方法有助于充分发挥荧光显微镜在生物发现方面的潜力。

主要作者

      沈炳林，深圳大学助理教授，深圳市高层次人才；主要研究方向是受激拉曼散射显微成像和机器学习；2009年和2018年在浙江大学获物理学学士和光学博士，2018年加入深圳大学，2020年在美国加州理工学院访问交流；现于深圳大学“教育部/广东省光电子器件与系统重点实验室”、“生物医学光子学研究中心”从事生物医学光学成像研究工作，提出差分增强超快相位成像技术，同时利用AI对成像系统进行智能增强和诊断。在国际著名刊物发表多篇高水平论文，包括Light Sci. Appl，Adv. Sci，PhotoniX等期刊。

      屈军乐，深圳大学特聘教授，国家自然科学基金委杰出青年基金获得者，国际光学工程学会、美国光学学会和中国光学学会会士。主要从事超分辨显微成像、纳米生物光子技术及光治疗等研究，主持科技部重点研发计划、973课题，国家自然科学基金重大仪器、重点、重点国际合作、仪器专项等。在包括Nature Photonics，Nature Communications，PhotoniX等期刊发表SCI论文500余篇；获授权发明专利60余项，实现转让和授权使用18项；研究成果入选2014中国光学重要成果，获中国光学学会光学科技奖基础研究类二等奖，广东省科学技术奖自然科学二等奖等。

      刘丽炜，深圳大学特聘教授，物理与光电工程学院常务副院长。国家自然科学基金委杰出青年基金、优秀青年科学基金获得者；深圳市杰出青年基金、深圳市地方级领军人才获得者。主要从事非线性光学显微成像技术研究、相位调控显微成像技术研究等，近五年在Light Sci. Appl，Adv. Sci，PhotoniX等期刊发表SCI论文83篇，主持/完成国家和省部级项目共15项。获吉林省自然学术成果一等奖、科技进步三等奖、深圳市自然科学奖二等奖、2022年度中国光学学会王大珩光学奖等奖项。兼任《中国激光》杂志社青年编辑委员会委员，中国光学学会生物医学光子学专委会副主任委员，中国生物工程学会生物光子学分会候任主委。

• PhotoniX 属同行评议、开放获取（OA）高影响力国际期刊。是中国光学工程学会会刊，由中国光学工程学会、清华大学、上海理工大学和西湖大学共同主办，由Springer Nature集团出版。上海理工大学顾敏院士和西湖大学仇旻教授担任期刊主编，庄松林院士担任期刊名誉主编。期刊拥有强大的国际编委和编辑团队。PhotoniX 主要报道国内外光学与光子学技术与信息、能源、材料、生命、精密制造、纳米、光电子器件、微纳米电子等学科交叉融合发展带来的颠覆性科研成果和最新的工程应用进展。以展现具有前沿性、多学科交叉和衍生性特点的技术为核心，成为推动国际前沿“使能技术”的平台。

• PhotoniX 已被SCI、EI、SCOPUS、DOAJ、ProQuest、CNKI、INSPEC、Dimensions等10多个数据库收录。2022年6月获得首个影响因子19.818，位列Q1区。同时进入《2022年中国科学院文献情报中心期刊分区表》，位列物理与天体物理大类和光学小类双一区，为Top期刊。中国科协首次颁布“光学工程和光学领域高质量期刊目录”PhotoniX 位列T1级。
  

了解PhotoniX最新动态