前沿:direct-SIM——无需条纹参数估计的直接重建结构光照明超分辨成像

   2024-01-02 2840
核心提示:前沿:direct-SIM——无需条纹参数估计的直接重建结构光照明超分辨成像

撰稿人 | 文刚


论文题目 | Spectrum-optimized direct image reconstruction of super-resolution structured illumination microscopy


作者文刚,李思黾,梁永,王林波,张洁,陈晓虎,金鑫,陈冲,唐玉国,李辉


完成单位 | 复旦大学工程与应用技术研究院,中国科学院苏州生物医学工程技术研究所,江苏省医用光学重点实验室,山东师范大学化学化工与材料科学学院

研究背景

      结构光照明显微镜(SIM)以成像速度快、无需特殊荧光标记和光毒性小等优势,被视为当前最适合活细胞成像的超分辨技术。作为一种计算成像方法,最终的SIM超分辨图像严重依赖于后处理算法。当前大多数SIM算法(包括基于正则化去卷积[1]、频谱优化[2]或深度学习[3,4]等策略)都直接或间接遵循标准Wiener去卷积架构(简称Wiener-SIM)或依赖于其重建结果。Wiener-SIM重建流程涉及耗时的照明条纹参数估计和伪影敏感的频域去卷积运算。当前,采用频谱优化的HiFi-SIM算法可以去除大部分情况的SIM图像伪影,但其仍然依赖于结构光条纹参数的精确估计。然而,结构光条纹参数很小的偏差均会导致基于Wiener-SIM架构的SIM算法产生明显伪影。

      交叉关联算法是用于从采集数据中推断条纹参数最常用的方法[2,5]。然而,当样本有明显周期结构时,该策略通常难以区分条纹周期和样本周期;对于过于稀疏的样本,也往往无法确定准确的条纹参数。更关键的,现有的SIM算法假设条纹参数在成像视场内为均匀常数。然而,实际采集图像中的条纹参数不仅依赖于照明条纹质量,还受样本特性影响,因此难以保证在全视场内的均一性。

论文导读

      近日,中国科学院苏州生物医学工程技术研究所李辉研究员团队的文刚(复旦大学工程与应用技术研究院博士)等开发了一种无需估计结构光条纹参数的直接重建SIM算法,direct-SIM (direct reconstruction SIM algorithm)。该方法采用空域直接重建与频域频谱优化相结合的联合重建策略,避免了耗时且麻烦的照明条纹参数估计流程,同时采用新型频谱优化策略绕过了伪影敏感的广义Wiener滤波去卷积步骤。Direct-SIM具有与最先进的Wiener-based-SIM算法如HiFi-SIM相当的超分辨解析能力。更重要地,受益于局部独立、非均匀条纹参数的重建特性,direct-SIM在典型伪影抑制和诸多成像场景(如稀疏样本、明显周期性结构、超小视场高速成像以及大视场拼接成像)中表现出独特优势。

      相关工作以“Spectrum-optimized direct image reconstruction of super-resolution structured illumination microscopy”为题于2023年6月15日在线发表于 PhotoniX 期刊。

主要研究内容

      研究团队提出一种基于空域直接重建与频域频谱优化联合的新型SIM算法direct-SIM。首先,空域直接重建中采用了与传统OS-SIM算法[6]和SP-SIM算法[7]相似的“均方根形式(RMS-form)”重建模型来获得初始超分辨图像。研究团队展示了该初始超分辨图像的有效高频信号隐式地由原始数据中±1级频谱的卷积运算获得,相应的截止频率为光学衍射极限的2倍,因此理论上与Wiener-SIM重建具有相同的分辨率增益。其次,采用了与先前开发的HiFi-SIM中相似的频谱优化策略对上述初始重建频谱实施优化,从而增强被抑制的高频信号相对振幅,最终重建获得高质量的SIM超分辨图像。

技术突破


【1】direct-SIM的超分辨重建性能


      为了验证direct-SIM的超分辨解析成像能力,研究团队采用自主搭建的激光干涉式SIM系统对荧光微球、Argo-SIM标准片等结构已知的样品进行成像。如图1所示,direct-SIM展示出优于HiFi-SIM和GE公司商业软件SoftWoRx的分辨率增益,成功将两条相距90 nm的平行线解析出来。

图1 利用Argo-SIM标准片的线对图案定量表征direct-SIM的分辨率。

      长期以来,大多数Wiener-based-SIM算法中Wiener去卷积步骤会频繁出现与PSF失配相关的旁瓣伪影和与离焦信号相关的周期性蜂巢伪影。原理上,direct-SIM可避免这一棘手问题。为证明这一点,研究团队采用自主搭建的激光干涉SIM系统对COS-7活细胞的微管结构成像。如图2所示,以fairSIM为代表的Wiener-SIM算法出现严重的蜂巢伪影和旁瓣伪影,direct-SIM则有效地消除了这些伪影,获得了高质量的SR图像。

图2 direct-SIM有效抑制SIM图像重建中的典型伪影。


【2】direct-SIM避免了Wiener-SIM架构的照明条纹参数估计


      相比于标准Wiener-SIM架构,direct-SIM绕过了耗时且繁琐的条纹参数估计、频谱分离-平移-重组等流程。为展示这一优势,研究团队将direct-SIM应用于SIM成像中参数估计困难的许多场景,如样本非常稀疏或有明显周期结构以及极小成像视场等场景。如图3所示,对于周期性结构的样本,以fairSIM为代表的Wiener-SIM的交叉关联策略无法区分照明条纹周期与样本结构周期。因此,方向角D1和D2的条纹周期误差分别为15.09%和3.71%,最终导致重建图像中部分样本结构发生断裂和错配。得益于规避了条纹参数估计问题,direct-SIM仍实现了高质量的图像重建。

图3 direct-SIM应用于周期性结构样本的SIM成像场景。


【3】direct-SIM采用局部独立条纹参数的新型重建机制


      此外,Wiener-SIM架构通过交叉关联策略估计的条纹参数在成像视场中是均匀常数,但从采集数据中推断的条纹参数则受样本特性影响,因此在成像视场中为非均匀分布。相比之下,direct-SIM采用局部独立条纹参数的新型重建机制,更符合SIM成像的实际条件。为展示这一独特优势,研究团队将一组开源的内质网SIM数据[8]的三个局部区域沿不同方向翻转来模拟包含4组不同结构光条纹的成像数据。如图4所示,HiFi-SIM的全局性条纹参数主要由未旋转区域决定,因此三个翻转区域因错误的条纹参数而产生严重伪影。与此形成鲜明对比,direct-SIM不受翻转条纹差异影响,仍可确保包含多组结构光条纹数据的高保真重建。该优势使得direct-SIM可应用于拼接大视场SIM成像。

图4  direct-SIM的局部独立条纹参数的重建机制适合包含多组结构光条纹的成像场景。

观点评述

      该研究提出了一种基于空域直接重建和频域频谱优化联合策略的直接重建SIM算法direct-SIM。该方法可获得与最先进的Wiener-based-SIM算法相当的超分辨解析能力,而无需任何照明条纹的先验知识。需要指出的是,direct-SIM重建中虽然没有显式的结构光条纹参数,但其超分辨重建的先决条件仍要求结构光条纹在局域上有较高的调制对比度和精确的2π/3相移。总之,该研究展示了direct-SIM在Wiener-based-SIM算法存在困难的诸多成像场景的可靠应用,极大拓展了SIM的应用范围,也为最终建立用户认可的(“user-acknowledgeable”)SIM超分辨显微成像仪器提供助力。

主要作者


      文刚,中国科学院苏州生物医学工程技术研究所副研究员,复旦大学工程与应用技术研究院博士。研究方向为结构光照明显微成像、超分辨病理成像应用研究以及系统工程化开发。主持国家自然科学基金专项项目、青年基金等项目,作为核心骨干参与了国家重大科研装备研制、国家重点研发计划和中科院科研仪器设备研制等国家级和省部级项目。以第一作者在Light: Science & Applications、PhotoniX, Optics Letters等国际顶级期刊上发表研究论文多篇,申请国际PCT专利3项和国家发明专利多项。


      李辉,中国科学院苏州生物医学工程技术研究所研究员、中科院“百人计划”引进人才、博士生导师。现任江苏省医用光学重点实验室副主任、中科院高端光学显微成像联盟副理事长等职务。长期致力于面向生物学研究应用的先进光学显微成像技术开发、仪器研制、图像处理和生物结构建模等方面的研究工作。主持国家重点研发计划、国家自然科学基金、中科院科研仪器设备研制、江苏省重点研发计划、苏州市基础研究试点等科研项目。

本文出处

发表于:PhotoniX

论文链接:

https://photonix.springeropen.com/articles/10.1186/s43074-023-00092-6

文献检索:

PhotoniX 4, 19 (2023). https://doi.org/10.1186/s43074-023-00092-6

更多原文内容,请点击“阅读原文”

推荐阅读

封面 | 自适应光学定量相位成像——基于环形照明里叶叠层显微成像的实现

前沿进展 | 多焦点光场显微成像技术

Feature Article | 新型多功能超透镜助力AR显示集成化   

前沿进展 | 利用深度学习提高共聚焦显微的空间分辨率实现超分辨成像           

前沿 | 揭示微生物超微结构和组分的台式极紫外显微系统

前沿 | CsPbBr?/石墨烯纳米墙人工光电突触的可控感知学习           


关于PhotoniX

  • PhotoniX 属同行评议、开放获取(OA)高影响力国际期刊。是中国光学工程学会会刊,由中国光学工程学会、清华大学、上海理工大学和西湖大学共同主办,由Springer Nature集团出版。上海理工大学顾敏院士和西湖大学仇旻教授担任期刊主编,庄松林院士担任期刊名誉主编。期刊拥有强大的国际编委和编辑团队。PhotoniX 主要报道国内外光学与光子学技术与信息、能源、材料、生命、精密制造、纳米、光电子器件、微纳米电子等学科交叉融合发展带来的颠覆性科研成果和最新的工程应用进展。以展现具有前沿性、多学科交叉和衍生性特点的技术为核心,成为推动国际前沿“使能技术”的平台。

  • PhotoniX 已被SCI、EI、SCOPUS、DOAJ、ProQuest、CNKI、INSPEC、Dimensions等10多个数据库收录。2022年6月获得首个影响因子19.818,位列Q1区。同时进入《2022年中国科学院文献情报中心期刊分区表》,位列物理与天体物理大类和光学小类双一区,为Top期刊。中国科协首次颁布“光学工程和光学领域高质量期刊目录”PhotoniX 位列T1级

扫码关注我们

了解PhotoniX最新动态


点击

阅读原文

查看全文

声明:本文所用视频、图片、文字如涉及版权问题,请第一时间告知,我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除。邮箱:wanghaiming@csoe.org.cn


公众号投稿请联系:wanghaiming@csoe.org.cn

商务合作/文章转载请联系:022-59013419


欢迎分享

↓点赞

↓在看

文章转载自微信公众号:PhotoniX

 
举报收藏 0评论 0
 
更多>同类资讯信息
推荐图文
推荐资讯信息
点击排行