综述 | 基于深度学习的数字染色光学显微成像

研究背景

      在生物医学领域，为了识别和分类特定的细胞和组织，常使用生物化学染色技术。这些方法通过对目标细胞或组织进行染色，使其在光学显微镜下呈现出足够的对比度。标记染色法已成为临床诊断和生物技术等领域的黄金标准。然而，这些染色方法需要对样本进行一系列处理步骤，这些步骤往往繁琐耗时，耗费大量资源，并可能对组织稳定性产生影响。与使用外源标记物进行染色相比，无标记光学显微成像技术利用组织和细胞内部的本征特性实现非侵入式成像，但其特异性通常不明显。在过去的几十年中，机器学习在显微成像领域取得了巨大成功，并应用于疾病检测和图像分割等方面。而数字染色技术是计算显微成像领域的一个新兴概念，其利用神经网络建立输入组织切片图像的形态学特征与目标染色模态图像之间的关系，避免了耗时繁琐的样本制备过程，具有广阔的应用前景。

论文导读

      数字染色技术是一种基于深度学习的组织化学染色技术，它融合了计算机视觉和图像处理方法，解决了传统染色方法在人力成本、时间成本、组织稳态和染剂选择方面的困境，从而促进了快速病理检测和医疗诊断的实现。然而，由于不同实验平台的成像系统和染色手法存在差异，准确的数字染色需要保持输入模态的颜色分布一致性，并具备足够数量且多样化的训练数据，这给实际染色样本的人工制备提出了巨大挑战。最近，杜克大学和康涅狄格大学等研究团队对数字染色技术进行了详细分析，明确了其存在的缺陷和挑战，并提出了可行性强的解决方案。此外，他们还展望了数字染色技术在光学显微成像领域的潜在未来应用。相关成果于2023年10月10日以“Digital staining in optical microscopy using deep learning ? a review”为题发表于PhotoniX。

主要研究内容

      在病理学研究中，数字染色技术可以自动对同一组织样本进行不同染色，或者对不同输入模态进行相同染色，从而以低成本、快速的方式提供更多信息，以支持病理学分析和疾病诊断。然而，关于该领域的综述文章较少，主要限制于数字染色的间接相关领域，而尚未涵盖数字染色本身。在本篇综述中，作者关注现代深度学习对光学显微技术与生物化学染色的影响，对数字染色领域当前的最新技术进行了模块化的详细分析，包括输入域、目标域、计算模型以及成对图像的生成。

      此部分从宽场成像（Wide-field microscopy），相位敏感方法（Phase sensitive methods），自体荧光（Autofluorescence），非线性技术（Nonlinear techniques）及光声显微（Photoacoustic microscopy）等五个方面展开描述，介绍了典型的光学显微成像技术的基本定义、分类以及与数字染色光学显微成像技术的联系。

      作者对通常用作数字染色目标图像的人工染色方法进行了介绍与分析，并将典型的染色方法分为三大类别：组织学染色（hematoxylin and eosin staining，H&E）、免疫组织化学染色（Immuno-histochemical staining，IHC）和免疫荧光染色（Immuno-fluorescence staining，IF）（如图1所示）。此外，作者进一步强调了生物化学结合特异性代表了定义任何数字染色模型可信度上限的基本不确定性，并指出标准化实际的生物化学特异性值对于数字染色领域而言仍然是一个重大挑战。

      图到图回归模型的诞生（如U-Net、GAN、cycleGAN），在过去几年中推动了数字染色领域的发展。如图2所示，作者在文章中概述了生成模型的训练流程，并详细阐述了数字染色技术所依赖的各类方法，包括线性颜色编码方法、基于特征工程的机器学习、基于深度网络的监督学习、生成对抗模型等。

      数字染色依赖于成对的图像。尽管一些基于GAN的技术可以使用非配对的数据集进行无监督训练，但本文综述的大多数文章仍然采用成对的图像进行监督学习。作者指出，对于给定数字染色模型的可信验证和性能评估而言，配对图像是必要的。而在数字染色的实际应用中，如果具有精准配对的输入与目标图像，人们往往考虑监督学习而非无监督学习。

      作者充分考察了现有方法，根据样本类别、预处理、输入模态、目标模态和算法这五个因素详细剖析了现有方法的特征（如图3所示），并针对现有数字染色方法的可行性、不确定性、泛化性等方面给出了良好的实践建议，指出了当前存在挑战是缺少对数字染色整体过程的误差分析。

观点评述

      本文对数字染色光学显微成像技术进行了明确而清晰的分类综述，并针对输入图像、目标图像、计算模型以及输入图像与目标图像的配对操作这四大关键要点进行了系统性地分析，有助于读者全面理解现代数字染色光学显微技术的核心原理和方法。此外，通过介绍典型应用、实践实例和缺陷挑战，为数字染色在泛化性、决策可视化、多模态等方面提供了优化方向和探索思路，并为其在光学显微成像领域的应用提供指导和启示。最后，本文展望了更稳健、可推广和可解释的深度学习模型目标，并提出了该领域面临的特定挑战，这为数字染色光学显微成像技术的未来研究方向与多学科交叉提供了参考与思路。

主要作者

      Lucas Kreiss，杜克大学博士后。2021年获德国埃尔兰根弗里德里希-亚历山大大学博士学位，2016年获德国埃尔兰根弗里德里希-亚历山大大学学士学位。主要研究方向围绕光学技术在生物医学科学中的应用，包括漫射相关光谱学以及无标记成像的数字染色。在Gastroenterology、Advanced Science等国际高水平学术期刊上发表SCI检索论文30余篇。

      江劭玮，杭州电子科技大学教授，博士生导师，国家级高层次青年人才。2021年获美国康涅狄格大学博士学位，2014年获浙江大学学士学位。主要研究方向围绕计算光学成像展开，包括无透镜成像、超分辨率成像、定量相位成像等。在Nature Protocols、Nature Reviews Physics等国际高水平学术期刊上发表SCI检索论文50余篇，其中作为第一/通讯作者（含共同）30余篇。发表的论文中，10余篇被选为期刊封面论文或编辑精选论文。相关成果被Physics Today等20余家国内外媒体报导。入选国家海外引才计划青年项目，获2021年度中国国家自费留学生奖学金。

      Roarke Horstmeyer，杜克大学生物医学工程系的助理教授。他开发了显微镜、相机和计算机算法，用于从形成生物体的3D重建到检测组织深处神经活动的广泛应用。他的兴趣领域包括光学、信号处理和神经科学。最近，Horstmeyer博士是德国埃尔兰根大学的客座教授，也是柏林Charitè医学院的爱因斯坦博士后。在德国之前，Horstmeyer博士于2016年获得加州理工学院电气工程系博士学位，2011年获得麻省理工学院媒体实验室理学硕士学位，2006年获得杜克大学物理学和日语学士学位。

• PhotoniX 属同行评议、开放获取（OA）高影响力国际期刊。是中国光学工程学会会刊，由中国光学工程学会、清华大学、上海理工大学和西湖大学共同主办，由Springer Nature集团出版。上海理工大学顾敏院士和西湖大学仇旻教授担任期刊主编，庄松林院士担任期刊名誉主编。期刊拥有强大的国际编委和编辑团队。PhotoniX 主要报道国内外光学与光子学技术与信息、能源、材料、生命、精密制造、纳米、光电子器件、微纳米电子等学科交叉融合发展带来的颠覆性科研成果和最新的工程应用进展。以展现具有前沿性、多学科交叉和衍生性特点的技术为核心，成为推动国际前沿“使能技术”的平台。

• PhotoniX 已被SCI、EI、SCOPUS、DOAJ、ProQuest、CNKI、INSPEC、Dimensions等10多个数据库收录。2022年6月获得首个影响因子19.818，位列Q1区。同时进入《2022年中国科学院文献情报中心期刊分区表》，位列物理与天体物理大类和光学小类双一区，为Top期刊。中国科协首次颁布“光学工程和光学领域高质量期刊目录”PhotoniX 位列T1级。
  

了解PhotoniX最新动态