评述：基于光学神经网络(ONN)的图像传感器

研究背景

      成像技术在工业和科研领域中有着极为重要的作用，常被用来获取和传递物理系统的状态或者动态信息，例如零件尺寸检测、缺陷筛查、自动抄表、运动轨迹提取、医疗诊断等。在这些应用中，一方面为了保证分析结果的准确性，所拍摄的数字图像的分辨率通常都比较高，因此做图像处理时对算力和内存的占用都比较大，耗时也比较长；另一方面，一幅图片中通常只有一部分内容是有用的(如图1所示)，尤其是对神经网络算法来说自然图像都包含稀疏信息，是可压缩的。为了解决这一问题，新一代的成像系统设计不再局限于单一的成像功能，而是加入了信息提取技术，例如：智能相机和压缩感知。ONN就是这一领域的研究前沿之一。目前，大多数ONN研究都只涉及线性光学操作，或者相当于单层神经网络，如果使用多层非线性神经网络，会有更好的表现。

论文导读

      相机大家都不陌生，在日常生活中常被用来拍摄数码照片，给人们留下美好的回忆。拍照的过程中主要用到两大核心器件，其一是镜头，它负责将要拍摄的实际景象作为光学图像投影到相机中的核心芯片上，就像电影画面被投影到幕布上；其二就是这块芯片(光电成像器件)，它是由一个个微小的半导体单元组成的，每个单元被称为一个像素，负责将投影到其上的光学信息转为对应的电信号。如此一来就可以把光学图像转化成数码照片。这样的技术被称为成像技术。

      日常生活中的拍照是为了保留照片中的景象，而在工业和科研领域中，成像技术则常与图像处理相结合用来测量物体的位置、轮廓或者尺寸等参数。当前，深度学习可以说是最为前沿的图像处理方法，而其中最具代表性的算法就是人工神经网络(Artificial Neural Network, ANN)。ANN的最大特点就在于其智能性和普适性强：经过训练后它可以自动从图像的复杂背景中找出待测目标并完成不同的测量任务。当然了，提到图像处理就离不开电子运算核心(如电脑、手机或者嵌入式平台)，而要运行ANN算法就需要占用一定的算力，得出结果也需要耗费一定的时间。

      为了解放算力，满足实际应用中对图像分析的实时性要求，有一些学者提出了光学神经网络(Optical neural network, ONN)，即不依靠电子运算核心，只使用光学部件来实现人工神经网络的分析过程。美国康奈尔大学应用与工程物理学院的Tianyu Wang，Mandar M. Sohoni, Logan G. Wright?和Peter L. McMahon等人提出了一种利用图像增强管作为光-光非线性激活函数的多层非线性ONN，并用其完成了一系列机器视觉任务。相关成果以Image sensing with multilayer nonlinear optical neural networks为题发表在Nature Photonics上。

技术突破

      该文所述ONN图像传感器由两个光学全连接线性层(光学向量-矩阵乘法器，optical matrix–vector multiplier unit)加上两者之间的一个非线性的OONA层组成，如图1b所示。第一个线性层的工作原理如图1c所示：首先，利用一个微透镜阵列(microlens array, MLA)将目标景物投影到空间光调制器(spatial light modulator, SLM)上，形成6×6=36幅相同的光学图像。每一幅图像覆盖SLM上的若干个像素。然后，控制SLM的像素产生权重矩阵W₁用于调制每一幅图像的亮度，实现权重矩阵和输入图像的乘法。最后，经权重调制后的36幅光学图像再经过一个4F成像系统和投影物镜叠加投影到OONA层上实现求和运算。该文使用索尼公司的液晶屏作为SLM来调制透射光的强度。

      第二级的OONA层是一个商用图像增强管(增益约为800)。第一个线性层输出的图像投影到图像增强管的光电阴极上，每一个像素激发出与入射光强度成比例的光电子，然后被微通路板(Microchannel Plate, MCP)放大，最后在输出端的荧光屏上产生下一层所需的光学图像。其中的光电子放大过程是一种具有饱和效应的非线性过程，为ONN分析提供了非线性响应，其效果类似于sigmoid函数的正轴部分(如图1d所示)。

      第三级的线性层同样使用MLA和SLM实现权重乘法，最后利用变焦镜头和相机实现结果的数字化。

      该文首先采用图像分类任务来评估ONN图像传感器的性能。文章选择了全球最大的涂鸦数据集QuickDraw来训练ONN。训练的具体步骤为：(1) 在电脑上创建ONN网络的数字模型：全连接层采用矩阵向量乘法来加以模拟；图像增强器的激活函数则通过实测36条非线性放大曲线来实现。(2) 图像真值，即输入图像的产生：将QuickDraw上的图像尺寸修正为100×100像素并二值化后采用白光源照明的数字微镜显示器(digital micromirror display, DMD)加以显示。(3) ONN数字模型的训练：将第一级线性层的LCD中的每个像素调制为全通状态，在其后放置一个分光镜将36幅光学图像反射到一台监控相机上，从而得到第一级线性层的输入信号。(4) 把输入信号导入电脑，利用随机梯度优化器(AdamW)对ONN的数字模型进行训练，经过多次训练和优化后得到ONN网络的权重矩阵。(5) 利用训练好的权重矩阵控制两个线性层的LCD可开展图像分类实验，根据实验反馈来修正数学模型，优化训练结果。直到得到表现最好的ONN。

      如图2所示实验结果表明，非线性ONN的性能要优于线性ONN。从图2d中可以看出实际的ONN器件的性能略低于对应的数字模型，表明建模环节还需要进一步改进，但目前对实际应用没有本质影响。如图2e所示，作者为了体现ONN图像传感器在实际应用中的潜力，对流式细胞术中获取的细胞荧光图像进行细胞器分类，以便于做癌细胞的筛查。实验结果如图2f和g所示，非线性ONN的准确率为93%优于线性ONN的88.5%，且从图2h的密度可视化图中可以看出非线性ONN的分类效果更好。作者还进一步以限速牌的数字识别作为案例，做了3D场景的实验验证(如图2i-l所示)，同样证实了非线性ONN具有更好的性能。

      除此之外，通过训练不同的数字后端 (图1b中的Digital backend) 算法，该ONN网络可以直接用来实现多种不同的机器视觉任务，如图3a所示。使用基于多层感知的神经网络解码器作为后端可以实现图像重建任务(如图3b和c所示)；使用无监督学习配合主成分分析作为后端可以实现异常检测(如图3d和e所示)；针对图2所示的限速牌检测应用，可以通过训练新的后端来实现观察角度的测量，即非线性参数拟合(如图f和g所示)。

      文中还通过数值模拟的方法对结构更加复杂具有更多层神经网络的非线性ONN图像传感器进行了探索研究。作者利用流式细胞术中的细胞荧光图像的十分类作为验证案例，研究了不同结构和复杂度的非线性ONN的分类精度随着图像压缩比变化的趋势。如图4所示，实验结果表明随着ONN复杂度的增加，在整个压缩比分布范围内，分类精度都有所提升。

观点评述

      该文展示了一种基于非线性ONN的图像传感器，其关键特点在于可以脱离电脑等电子运算核心去完成类似于图像分类、图像重建、非线性参数拟合等任务，大大提高了工作效率，降低了后续电子系统的复杂度，节省了算力，也因此更适用于对实时性有较高要求的应用场景。

      除此以外，该图像传感器通过在光学系统中执行图像压缩的方式，从根本上绕过了高分辨率相机的光电带宽限制，为开发更灵敏、更高效的机器视觉系统找到了新的思路。最后，这一非线性ONN的扩展性强，在其数字后端中选配不同的深度学习算法可以实现各种不同的机器视觉任务，具有较高的科研探索价值。

• PhotoniX 属同行评议、开放获取（OA）高影响力国际期刊。是中国光学工程学会会刊，由中国光学工程学会、上海理工大学和西湖大学共同主办，由Springer Nature集团出版。上海理工大学顾敏院士和西湖大学仇旻教授担任期刊主编，庄松林院士担任期刊名誉主编。期刊拥有强大的国际编委和编辑团队。PhotoniX 主要报道国内外光学与光子学技术与信息、能源、材料、生命、精密制造、纳米、光电子器件、微纳米电子等学科交叉融合发展带来的颠覆性科研成果和最新的工程应用进展。以展现具有前沿性、多学科交叉和衍生性特点的技术为核心，成为推动国际前沿“使能技术”的平台。

• PhotoniX 已被SCI、EI、SCOPUS、DOAJ、ProQuest、CNKI、INSPEC、Dimensions等10多个数据库收录。2022年6月获得首个影响因子19.818，位列Q1区。同时进入《2022年中国科学院文献情报中心期刊分区表》，位列物理与天体物理大类和光学小类双一区，为Top期刊。中国科协首次颁布“光学工程和光学领域高质量期刊目录”PhotoniX 位列T1级。

了解PhotoniX最新动态