前沿进展 | 利用深度学习提高共聚焦显微的空间分辨率实现超分辨成像

   2024-01-18 1560
核心提示:前沿进展 | 利用深度学习提高共聚焦显微的空间分辨率实现超分辨成像

撰稿人 | 严伟


论文题目 | Enhancing image resolution of confocal fluorescence microscopy with deep learning


作者黄博懿,李佳,姚博文,杨志刚,林彦民,张佳,严伟,屈军乐


完成单位 | 深圳大学,香港大学

研究背景

      光学超分辨成像技术由于能突破光学衍射极限,实现纳米量级的超分辨成像,因此受到人们的广泛关注。目前主流的超分辨成像技术包括单分子定位超分辨成像(STORM和PALM)、受激辐射损耗超分辨成像(STED)和结构光照明超分辨成像(SIM)等,虽然这些超分辨成像技术在生命科学研究中得到了广泛应用,但仍存在一定局限性,比如STORM和PALM只能对特殊标记和处理的细胞样品进行成像,且图像重建时间较长;STED虽然可以实时成像,也可以实现较大的成像深度,但成像系统复杂,所需激光功率较高,对探针有光漂泊且对生物样品也有一定的光毒性;SIM所需的激光功率较低,但是能够实现的分辨率有限,在宽场成像模式下成像深度有限。为了克服这些困难本文提出利用深度学习的方法来提高常规共聚焦显微图像的空间分辨率,从而实现超分辨率成像。该方法基于常规的共聚焦显微成像,系统简单,所需光功率低,而且相比宽场成像可以实现较大成像深度,因此在活细胞和活体成像中具有广阔的应用前景。

论文导读

      光学超分辨成像能突破衍射极限,是生命科学研究的重要工具。但常规荧光超分辨显微成像受限于特殊的荧光探针、复杂的光学系统、较长的图像采集和处理时间,以及成像过程中光漂白和光毒性等,阻碍了其在活细胞和活体成像中的应用。为克服这些缺陷,本文提出在共聚焦显微中利用深度学习提高图像分辨率,实现超分辨成像。设计了一个双通道注意力网络,通过学习空域和频域中的信息表示将不同的生物结构以及微丝和微管的双色共聚焦图像的空间分辨率从~230 nm 提高到~110 nm,并最终实现了活细胞微管的动态超分辨成像。由于本文所提出的方法在普通共聚焦显微系统上就可以实现,对成像系统和荧光探针没有特殊要求,因此具有广阔的应用前景。

技术突破

      本文研究如何利用深度学习来提高共聚焦显微图像的空间分辨率,从而在常规的共聚焦显微系统上实现超分辨成像。在深度学习算法方面,采用了与已有研究不同的网络结构、训练数据和损失函数,从而使所提出的算法拥有更强的泛化能力;在应用方面,对多种结构的样品进行了共聚焦超分辨成像,获得了更好的成像性能。

图1 网络结构。(a) 生成器的网络结构;(b) 鉴别器的网络结构。

      本文设计的网络模型可以用于通过微管和肌动蛋白的共聚焦显微图像实现超分辨成像,而之前的其他的研究都不能实现这一目标。尤其是,本文证明了直接通过活细胞微管共聚焦成像,实现超分辨成像的能力,对动态微管高分辨率成像长达20分钟,这是超分辨成像研究领域的一个重要进展。另外,由于该网络模型仅用静态图像训练即能得到活细胞超分辨图像,有效地克服了光漂白和光毒性对超分辨荧光显微技术在活细胞长时间成像方面应用的限制。

图2 活细胞微管的动态共聚成像和超分辨成像。(a) 微管的动态共聚成像;(b) 基于深度学习的动态超分辨成像;(c)和(d)为局部放大图。

观点评述

      本文设计的网络不需要关于样本形状、像素大小和成像模式的先验信息,因此可以在不同类型的样本,以及不同的成像装置上均可获得较好的结果。本文还探讨了利用深度学习方法时影响成像结果的若干因素,并发现如何通过补偿输入图像的像素尺寸来减小对网络输出的影响,从而在不同视场条件下都能成功地提高共聚焦图像的空间分辨率,这些都是之前的其他研究中未涉及或验证的。

主要作者


      屈军乐,深圳大学特聘教授,国家自然科学基金杰出青年基金获得者,国际光学工程学会、美国光学学会和中国光学学会会士。从事多模态非线性光学成像、超分辨成像、纳米生物光子技术及光治疗等研究,在包括Nature Photonics, Nature Communications, Advanced Science, Nano Letters等期刊发表SCI论文500余篇;获授权发明专利60余项,实现转让和授权使用18项;研究成果入选2014中国光学重要成果,获中国光学学会光学科技奖基础研究类二等奖。


       严伟,深圳大学特聘研究员(长聘副教授),博士研究生导师,深圳市高层次人才。主要从事超分辨成像、荧光寿命成像和自适应光学成像等方面的研究,在Light: Science & Applications、Advanced Materials 、Nature Communications 、Laser & Photonics Reviews 、Nanophotonics 、Photonics Research等国际期刊发表SCI论文60多篇,获中国光学学会科技二等奖一项、深圳市科学技术二等奖一项。


      李佳,深圳大学物理与光电工程学院讲师。深圳市海外高层次人才“孔雀计划”C类。从事生物医学光子学交叉领域的研究,主要聚焦在基于深度学习的图像处理算法设计及技术应用。在包括Nano Letters, Optics Express等期刊上发表SCI论文20多篇。


本文出处

发表于:PhotoniX

论文链接:

https://photonix.springeropen.com/articles/10.1186/s43074-022-00077-x

更多原文内容,请点击“阅读原文”

推荐阅读

封面 | 等离激元anapole超构材料传感器

聚焦 | 景深扩展和三维重构的连续光学变焦显微镜

聚焦 | 关于计算成像前景的深度思索

前沿进展 | 超快拉曼光纤激光技术:回顾与展望

封面论文 | 基于虚拟成像的自适应光学显微成像方法及高分辨组织成像

Featured Articles | 机器学习赋能光纤激光发展:回顾与展望


关于PhotoniX

  • PhotoniX 属同行评议、开放获取(OA)高影响力国际期刊。是中国光学工程学会会刊,由中国光学工程学会、上海理工大学和西湖大学共同主办,由Springer Nature集团出版。上海理工大学顾敏院士和西湖大学仇旻教授担任期刊主编,庄松林院士担任期刊名誉主编。期刊拥有强大的国际编委和编辑团队。PhotoniX 主要报道国内外光学与光子学技术与信息、能源、材料、生命、精密制造、纳米、光电子器件、微纳米电子等学科交叉融合发展带来的颠覆性科研成果和最新的工程应用进展。以展现具有前沿性、多学科交叉和衍生性特点的技术为核心,成为推动国际前沿“使能技术”的平台。

  • PhotoniX 现已被SCIE、SCOPUS、DOAJ、ProQuest、CNKI、INSPEC、Dimensions等多个数据库收录,并入选《2021年中国科学院文献情报中心期刊分区》。2022年6月获得首个影响因子:19.818,位列Q1区

扫码关注我们

了解PhotoniX最新动态


点击

阅读原文

查看全文

声明:本文所用视频、图片、文字如涉及版权问题,请第一时间告知,我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除。邮箱:wanghaiming@csoe.org.cn

欢迎分享

↓点赞

↓在看

文章转载自微信公众号:PhotoniX

 
举报收藏 0评论 0
 
更多>同类资讯信息
推荐图文
推荐资讯信息
点击排行