前沿 | 自监督结构光显微图像去噪——助力活细胞长时程动态观测

研究背景

      宏观生物体宛如一个有序运转的工厂，诸如运动、记忆、决策等每一个基本功能都是由成千上万个微观细胞无缝协作而促成的。对于一个如此复杂的系统，深入理解其内部的活动机理始终是科学家们所治理探索的课题。然而，受限于现有显微技术的空间分辨率、成像速率、光损伤性等指标上的不足，长时间地对活体细胞的精细结构进行观测是一个难以实现的任务，许多微观的生物现象难以准确捕捉。因此创新性地设计适用于活体细胞的高速率、超分辨率的显微技术，有着非常重要的研究意义。

      结构光显微技术是一种高速的超分辨率成像方法，通过采集数张正弦条纹光束照明下的样本图像，再经由计算重构获得约两倍分辨率的提升，实现对线粒体内脊、网格蛋白小泡等亚细胞器结构的解析。然而，由于活体细胞对强光照射十分敏感，为了在成像过程中保持细胞的健康，原始采集图像的信噪通常较低，导致最终重建图片中会出现严重的噪声伪影，淹没样本有效信息，进而严重限制了结构光显微在活体细胞成像中的应用。针对上述问题，近年来研究者们提出了多种基于深度学习的结构光显微图像去噪方法，然而现有方法多采用有监督学习的训练机制，需要大量的无噪声图像支撑训练集的构建，这不仅增加了实验成本，也使得其无法应用于许多难以高效荧光标记的样本中。因此，如何仅利用低信噪比图像实现对结构光显微伪影的去除，是一个亟待解决的技术难题。

论文导读

      结构光照明超分辨显微技术（SIM）是一种重要的超分辨成像方法，其能够快速地实现亚细胞器的解析。然而，当原始数据信噪比较低时，SIM面临严重的重建伪影，使得其在活体细胞中的应用受限。针对上述问题，本文发明了一种基于像素重排列的自监督多模态结构光图像去噪方法（Pixel-Realignment-based Self-supervised denoising for SIM，PRS-SIM），能够仅利用低信噪比图像训练深度神经网络，显著去除结构光显微图像的重建伪影。本方法能够显著降低结构光显微技术对于采集光子数的要求，在极弱的激发光强度下实现无伪影的超分辨率成像，可以对活体细胞的亚细胞器结构实现长时程的实时动态成像，揭示了网格蛋白小泡在细胞贴壁过程中的空间分布规律等细胞行为学规律。本研究以“Self-supervised denoising for multimodal structured illumination microscopy enables long-term super-resolution live-cell imaging”为题目于2024年3月发表于 PhotoniX 期刊。

主要研究内容

      本文针对结构光显微在活体细胞成像中容易产生严重重建伪影的问题，设计了基于像素重排列的自监督学习机制，利用低信噪比的原始数据本身训练去噪神经网络模型，实现了对所重建的超分辨率图像的有效去噪。在此前的研究中，尽管基于有监督学习的去噪方法已经在消除噪声伪影方面取得了显著的进步，然而其需要获取大量的无噪声图像作为训练数据。本文所提出的方法通过精巧的像素重排列设计，能够从低信噪比的原始图像中来构建神经网络训练的输入和目标图像对，有效地训练超分辨率的去噪模型。本方法能够在比普通成像条件的低至20倍的有效采集光子数的情况下，实现无伪影图像重建。此外，本方法能够适用于二维/三维/全内反射/晶格光片/非线性等多种结构光显微系统，实现多模态结构光超分辨数据的去噪。利用本技术，我们可以使用极弱的激发光强度，对活体细胞进行长时程的成像，并观测到敏感的细胞动态过程，从而显著提升了结构光显微技术的应用范围。

技术突破

      结构光显微技术（SIM）能够仅从少量照明模式调制下图像中计算重建出超分辨率图像。然而在弱光条件下，由于原始图像中存在较强的噪声，其重建算法容易产生严重的伪影，其显著降低了图像质量并淹没了有价值的结构信息，给下游数据分析任务带来了很大困难。为了减轻这些重建伪影，在传统结构光显微成像中，需要使用较长的相机曝光时间和较高的激发功率来采集原始数据，上述操作会显著降低了成像速度或导致严重的光毒性，进而限制了结构光显微在活细胞成像中的应用。因此提升在低光照条件下的结构光显微技术的图像质量，将有实现高时空分辨率的、低光毒性的长时程活体细胞成像，对于细胞生物学、发育生物学等领域的发展提供全新的技术手段。

      围绕着上述需求，一些传统算法通过提高结构光参数估计精度、基于图像先验优化等方式对结构光显微图像进行去噪。然而，由于实际光学成像过程非常复杂，并且图像去噪任务在理论上是欠定问题，因此这类算法展现出的去噪能力非常有限。近些年，深度神经网络在各种光学成像任务中表现出了卓越的性能，一些基于深度学习的结构光显微重建算法获得了极佳的效果。然而，现有方法多数基于有监督学习，需要良好配准的低-高信噪比图像对来构建训练数据集，无法应用在低荧光效率或高速运动的生物样本上。

      基于上述问题，本文提出了一种基于像素重排列的自监督方法（PRS-SIM），能够在比传统重建算法方法使用低至20倍有效采集光子数的情况下，实现无伪影的高质量重建。此外PRS-SIM能够适用于二维/三维/全内反/晶格光片/非线性等多种结构光显微系统，实现不同结构光超分辨模态数据的去噪。

      PRS-SIM方法的示意图如图1所示。我们设计了一种“像素重排列”策略，从单组含噪声的原始图像中，生成四张超分辨率图像，其中任意两张所生成的图像均可以作为去噪神经网络的训练时的输入图像和目标图像。PRS-SIM生成训练数据集的过程十分精巧、简洁，包含了像素抽取（降采样）、最近邻插值（升采样）、亚像素平移（图像配准）和结构光重建（超分辨率信息提取）四步。在构建训练数据集的全过程中，无需任何高信噪比的真值图像。在去噪实施阶段，我们对含噪声的原始图像应用标准结构光重建算法，随后输入到预训练的模型中，即可输出无噪声伪影的去噪图像。

      我们首先在已知真值数据的固定细胞样本下验证PRS-SIM的性能。如图2所示，训练数据的有效采集光子相对于无噪声真实数据低10倍以上。在三种典型的结构中（网格蛋白小泡、微管、内质网），PRS-SIM均能够显著去除重建伪影，获得媲美于真值数据的性能，验证了其有效性。

      得益于PRS-SIM优异性能，我们可以在活体细胞成像过程中使用极低的激发光功率和极短的曝光时间来捕捉活体细胞的高速动态过程。特别地，弱光照射的细胞可以长时间保持在正常的状态且生物活性不发生改变，使得长时程成像成为了可能。如图3所示，其中绿色标记样本为网格蛋白小泡，红色标记的肌动蛋白（细胞骨架）。在原始图像中，上述结构几乎不可以分辨，而PRS-SIM方法得到的结果可以清晰地解析出两种结构并获取其相互作用规律。

      总结来看，PRS-SIM大幅提升了结构光照明超分辨显微技术的抗噪声能力，大幅拓展了SIM成像的适用范围，特别是在荧光蛋白效率较低、荧光较弱的条件下，依然可以重建出清晰的超分辨图像。PRS-SIM显著地提高了结构光显微技术的实用性，能够以极低的使用成本、普适性地提升SIM超分辨成像质量，有潜力作为SIM成像流程的常规步骤，被结构光显微成像系统的用户广泛使用。

观点评述

      本文针对结构光显微技术容易产生伪影的问题，开发了基于像素重排列的重建方法PRS-SIM，在仅需要低信噪比数据的情况下构建训练集，实现超分辨率去噪模型的训练，从而显著去除了重建图像中的伪影。利用PRS-SIM，可以实现对活体细胞的超分辨率的、长时程的、低光毒性的实时在体观测，促进了更多较为敏感的细胞活动的发现。可以说，PRS-SIM大幅提升了结构光显微技术的抗噪声能力，显著拓展了结构光显微技术的应用范围，有着非常重要的实用意义。其在未来有潜力成为SIM成像的一种普适性工具，被结构光超分辨显微成像用户所广泛使用。

主要作者

      陈星晔，北京航空航天大学前沿科学技术创新研究院副教授（原清华大学自动化系博士后）。主要从事超分辨率成像、智能信号处理研究。代表性成果发表在Nature Communications，Nature Computational Science等期刊上，授权中国发明专利5项。

      乔畅，清华大学自动化系助理研究员/博士后，入选清华大学“水木学者”计划。主要从事智能计算光学成像与超分辨显微仪器研发，代表性第一作者研究成果发表在Nature Biotechnology（封面）、Nature Methods、Photonics Research、IEEE JSTQE等期刊，授权国内外发明专利十余项。

      李栋，中国科学院生物物理研究所研究员，获杰出青年基金、新基石研究员等项目资助，从事显微成像技术的开发与生命科学应用研究，特别是开发适于活体、高速、长时程的超分辨荧光显微镜成像技术。发展出条纹激活非线性结构光显微镜、掠入射结构光超分辨显微镜，以及合理化深度学习超分辨成像等技术方法。代表性工作发表在Cell、Science、Nature Biotechnology、Nature Methods、Molecular Cell、Nature Cell Biology等期刊。

      吴嘉敏，清华大学自动化系副教授。致力于计算成像、显微仪器与跨尺度数据理解等交叉研究。近五年以一作或通讯在Cell、Nature、Nature Photonics、Nature Methods等期刊发表论文20余篇，授权发明专利30余项，任PhotoniX、IEEE TCSVT编委，Light: Science & Applications客座主编。主持国家自然科学基金优青项目、科技部颠覆性技术专项等，获2022年阿里巴巴达摩院青橙奖，入选《麻省理工科技评论》亚太区“35岁以下科技创新35人”。

• PhotoniX 属同行评议、开放获取（OA）高影响力国际期刊。是中国光学工程学会会刊，由中国光学工程学会、清华大学、上海理工大学和西湖大学共同主办，由Springer Nature集团出版。上海理工大学顾敏院士和西湖大学仇旻教授担任期刊主编，庄松林院士担任期刊名誉主编。期刊拥有强大的国际编委和编辑团队。PhotoniX 主要报道国内外光学与光子学技术与信息、能源、材料、生命、精密制造、纳米、光电子器件、微纳米电子等学科交叉融合发展带来的颠覆性科研成果和最新的工程应用进展。以展现具有前沿性、多学科交叉和衍生性特点的技术为核心，成为推动国际前沿“使能技术”的平台。

• PhotoniX 已被SCI、EI、SCOPUS、DOAJ、ProQuest、CNKI、INSPEC、Dimensions等10多个数据库收录。2022年6月获得首个影响因子19.818，位列Q1区。同时进入《2022年中国科学院文献情报中心期刊分区表》，位列物理与天体物理大类和光学小类双一区，为Top期刊。中国科协首次颁布“光学工程和光学领域高质量期刊目录”PhotoniX 位列T1级。
  

了解PhotoniX最新动态