前沿：深度学习助力全景并行相机实现计算变焦成像

研究背景

      视觉是人类获取信息最重要的方式，而成像系统作为视觉信息的获取工具，扮演着至关重要的角色。成像系统的研究人员正面临着如何有效实现高性能成像的重大挑战，这些挑战包括大视场高分辨率成像、高帧率成像和高动态范围成像等。然而，自然/人造复眼的视距短、数值孔径小，导致空间分辨率低，很难解决上述困难。并行相机的出现则成为了应对上述挑战的一种重要方式，现有的并行相机遵循基于数字变焦的高密度像素数的原理，这类系统存在结构复杂、体积与成本成倍增加的问题。光学变焦的方式可成为解决上述问题的一个有效途径，然而现有的光学变焦系统无法直接实现边缘视场的变焦成像。因此，实现并行相机边缘视场的变焦具有重要的研究意义和应用价值。

论文导读

      实现并行相机的高性能成像是一个全球性的挑战。然而，现有的解决方案在视场、分辨率和带宽之间存在根本矛盾，严重制约了并行相机的性能提升。

      近日，四川大学李磊教授研究团队和北京航空航天大学王琼华教授研究团队提出并研制了一款基于深度学习的全景并行（DLBP）相机，该相机具有8-μrad的瞬时视场和4倍计算变焦能力。同时，该相机以每秒30帧的速度拍摄30-MPs图像的快照，实现了大视场和高分辨率成像兼容，也使系统的复杂性和成本大大降低。该成果以“Deep learning enables parallel camera with enhanced- resolution and computational zoom imaging”为题发表在国际顶尖学术期刊 PhotoniX 上。

主要研究内容

      受螳螂虾复眼和变焦相机的启发，研究人员提出了一种基于深度学习的全景并行（DLBP）相机。研究团队使用6个子相机阵列，通过视场拼接的方式实现180°×90°的视场。DLBP相机具备6路视频同步记录的特性，可以实现全景图像的同步采集与显示。此外，研究人员还设计了一个端到端模型，该模型主要由多个卷积层、注意力层和反卷积层组成，以实时恢复重建过程中丢失的高频信息。DLBP相机没有采用直接拍摄大尺度快照的方式来提高可见光/近红外波段下的图像分辨率，而是采用深度学习和计算变焦技术的新方式来提升分辨率。同时，DLBP相机还具备高密度多目标人群的实时追踪功能，为反恐安防和大型体育赛事直播提供了重要设备。

技术突破

      研究人员提出了一种基于深度学习的全景并行（DLBP）相机。如图1所示，该DLBP相机主要由系统主体、传输模块和计算模块组成。该DLBP相机具有8-μrad的瞬时视场，每秒30帧的4倍计算变焦速度。此外，DLBP相机以每秒30帧的速度拍摄3000万像素分辨率的快照，使系统复杂性和成本降低了数个数量级。

      与传统的变焦系统或并行相机相比，DLBP相机竞争性的优势主要体现在：（1）不依赖于任何组件/驱动，利用深度学习的方式学习光学变焦，能够在所需的焦距内恢复成理想的成像；（2）DLBP相机改变了传统阵列相机成像的变焦规则，不需要对边缘视场进行光学偏转便可实现变焦功能，替代了传统相机需要云台进行偏转的缺点；（3）提高了~100倍的变焦速度，这对需要快速变焦的场景具有重要意义。此外，研究人员对研制的相机系统的成像性能进行了专门的外场测试，DLBP相机的成像效果如图2 所示，DLBP相机运行过程中的交互界面如动图3所示。

观点评述

      DLBP相机的灵感来源于螳螂虾复眼和变焦相机，具有高度的可扩展性、灵活性和鲁棒性。该相机具有8-μrad的瞬时视场，每秒30帧的4倍计算变焦速度。此外，DLBP相机以每秒30帧的速度拍摄3000万像素分辨率的快照，使系统复杂性和成本降低了数个数量级。同时，该相机的实时追踪功能，使得它能被广泛应用于大型体育赛事直播、全景监控以及反恐安防等场景中，有望应用于天文望远侦测以及超大型机场监控等重要场景。

主要作者

      刘淑斌（第一作者），四川大学电子信息学院博士研究生，研究方向为计算成像技术，以第一/共一作者身份在Adv. Funct. Mater.、PhotoniX等国际知名期刊发表多篇文章，并在第一届国际计算成像会议作口头报告。

      李磊（通讯作者），四川大学电子信息学院研究员、博士生导师。从事液体透镜、成像和显示技术研究。主持国家自然科学基金项目等6项国家级科研项目。在Adv. Funct. Mater., Opto-Electronic Adv., PhotoniX, Opt. Lett.和Opt. Express 等国际知名期刊上发表SCI论文48篇, 授权国家发明专利12项，开创性工作被Science、Nature Photonics等引用和正面评价。

      王琼华（通讯作者），北京航空航天大学仪器科学与光电工程学院教授、博士生导师、教育部长江学者特聘教授、国家杰出青年科学基金获得者、国家“万人计划”科技创新领军人才、国家重点研发计划项目负责人、国际信息显示学会（SID）和美国光学学会（OPTICA）Fellow、中国光学工程学会和中国真空学会常务理事、PhotoniX编委和J. Soc. Inf. Display等期刊的Associate Editor。长期从事3D显示技术、液晶技术、液体光子器件及成像技术等研究工作。

• PhotoniX 属同行评议、开放获取（OA）高影响力国际期刊。是中国光学工程学会会刊，由中国光学工程学会、清华大学、上海理工大学和西湖大学共同主办，由Springer Nature集团出版。上海理工大学顾敏院士和西湖大学仇旻教授担任期刊主编，庄松林院士担任期刊名誉主编。期刊拥有强大的国际编委和编辑团队。PhotoniX 主要报道国内外光学与光子学技术与信息、能源、材料、生命、精密制造、纳米、光电子器件、微纳米电子等学科交叉融合发展带来的颠覆性科研成果和最新的工程应用进展。以展现具有前沿性、多学科交叉和衍生性特点的技术为核心，成为推动国际前沿“使能技术”的平台。

• PhotoniX 已被SCI、EI、SCOPUS、DOAJ、ProQuest、CNKI、INSPEC、Dimensions等10多个数据库收录。2022年6月获得首个影响因子19.818，位列Q1区。同时进入《2022年中国科学院文献情报中心期刊分区表》，位列物理与天体物理大类和光学小类双一区，为Top期刊。中国科协首次颁布“光学工程和光学领域高质量期刊目录”PhotoniX 位列T1级。
  

了解PhotoniX最新动态