华为CRI光计算团队:现代计算与光学的跨界机遇

   2024-01-22 11740
核心提示:华为CRI光计算团队:现代计算与光学的跨界机遇

撰稿人 | 李冲


论文题目 | The challenges of modern computing and new opportunities for optics


作者 Chong Li(李冲),Xiang Zhang(张翔),Jingwei Li(李静伟),Tao Fang(方涛),

Xiaowen Dong(董晓文)


完成单位 | 华为中央研究院

论文导读

      近年来模拟光计算领域逐渐受到关注,由于光计算属于光电技术与电计算的交叉领域,了解现代计算领域的当前概况,从光电混合的系统性视角重新审视回顾具有必要性。2021年9月9日,华为中央研究院董晓文博士光计算团队在 PhotoniX 期刊最新发表题为“The challenges of modern computing and new opportunities for optics”论文。文章从传统计算的著名摩尔定律发展切入,概述当下后摩尔时代遇到的困境,引出当前光计算研究的立意点,然后从矢量/矩阵操作、光学蓄水池计算、光伊辛机三个方向回顾了当前光计算的最新进展。最后一章作为本文一大亮点,首次深入系统地分析光计算的算力、能耗以及精度的影响因素,算力方面指出光子独有的加速因子,能耗方面以单位算力下耗能作为重点,进一步指出关键制约因素与解决方案,精度分析部分明确区分数据信息与物理模拟量,细致分析误差来源及其影响,旨在为读者提供一种分析工具与框架,从光电系统视角分析系统收益,为光计算架构的设计更具实用性提供参考。最后也总结了光计算面临的挑战并提供未来发展的建议。

研究背景

      1965年摩尔定律提出后,半导体技术遵循该定律飞速发展了半个多世纪。近年来随着半导体制程逼近物理极限,该定律逐渐失效。另一方面以人工智能为代表的信息技术的快速发展对硬件算力提出了更高的要求。因此多种新型计算架构,以及新计算范式逐渐受到关注,光计算就是其中之一。相比于电子,光子由于其本征的并行性、无焦耳热、高带宽等特点,早在上世纪便被人们尝试用于数字计算。基于布尔逻辑的数字光计算虽然可作通用计算,但其性能严重依赖于基础操作单元集成度,受限于光器件集成度劣势以及逻辑操作实现的困难性,在当前依然难以展现竞争力。而近年来将信息以模拟形式加载于光信号,直接利用光子的物理特征匹配一些计算模式,避免构建逻辑门的模拟光计算逐渐成为主流研究方向,结合光电混合处理架构,模拟光计算可以在一些专用场景下发挥独特优势。

      本文简述了当下时代计算领域的概况,包括摩尔定律的挑战、人工智能应用的需求以及后摩尔时代的各种新技术趋势。然后总结了近年来模拟光计算领域的研究进展,主要从以下三类方向介绍核心原理及业界进展:矢量/矩阵操作、光学蓄水池计算、光伊辛机。并系统性对光电混合计算系统的性能、能耗以及计算精度进行了建模和量化分析,并阐述对其未来的发展前景。

技术突破

      摩尔定律作为经验性法则,其部分物理依据来自于丹纳德定律,其核心在于当晶体管尺寸微缩后,单芯片算力提升,同时因开启电压与电极电容都随之下降,从而带来功耗的降低,综合之下热密度依然可以维持不变。但随着制程不断提升丹纳德定律当下已不再成立,发热密度成为现在芯片的核心瓶颈,同时因制程提升变得十分困难,两者共同导致摩尔定律难以维系。在应用方面,AI模型不断扩大,其算力需求增速远超摩尔定律,据统计从2012年至2018年,AI的算力需求提升了300000倍,而摩尔定律仅提供7倍增速。后摩尔时代,为适应高速发展的应用需求,多种发展方向在共同推进:继续微缩CMOS晶体管的“More Moore”,发展以碳纳米管等新型晶体管为代表的“Beyond CMOS”,以及追求多样化市场的发展思路“More than Moore”。同时架构上人们也在尝试突破传统冯·诺依曼的存算分离架构,引入非易失性存储以降低数据搬移开销。即便如此电子计算依然面临诸多挑战,因而量子计算、类脑计算、光计算等新型计算也开始受更多人的关注。

      本文梳理了模拟光计算领域中矢量/矩阵操作、光学蓄水池计算、光伊辛机三个方向。矢量/矩阵操作的光计算方案中一大类被称为矢量矩阵乘加器(VMM-vector matrix multiplier),从经典自由空间式结构发展到现在,已有多种方案可在芯片上集成,典型的包括基于Clement架构或Reck架构的MZI阵列结构,结合波分复用的微环阵列,以及应用了相变材料的脉动阵列,这些乘加器原型多数被成功演示用于AI推理,算力可达到TMAC/s量级。该方向还有一类用于计算更复杂的运算,例如傅里叶变换、卷积以及直接利用衍射性质构建另类的光电神经网络。虽然这类复杂运算的应用没有矢量-矩阵乘法广泛,但这些方案往往可以很有效地利用光子的并行性,同时在以被动器件作为核心计算单元的方案中,该部分能耗可忽略不计。

图1  光学矢量-矩阵乘加器。

图2  光学矢量/矩阵复杂计算。

      光学蓄水池计算(Optical reservoir computing)是利用光学方式实现蓄水池计算。蓄水池计算(reservoir computing,RC)是递归神经网络的一种,由输入层、蓄水池层和输出层组成。该类网络特点在于蓄水池层内部节点之间的连接是固定的,可以是随机拓扑或者规则拓扑。在训练时,只需要训练蓄水池层到输出层的权重,因此相比于一般的循环神经网络而言,其训练时间极大缩短。尽管如此,RC在时序数据的处理方面取得了很好的效果。根据实现方式的不同,光学RC可分为空间式和时延式。典型的空间式RC利用波导、衍射光学元件、散射介质等器件来构建蓄水池层内部节点之间的权重连接。时延式RC利用延时线来构建环路,利用虚拟节点和延时线脉冲响应的卷积或者输入掩模周期和延迟线周期的不同步来实现蓄水池层内部节点的相互连接。目前光学蓄水池计算在高速低功耗方面有所优势,但芯片集成化方面还面临较大挑战。

图3  蓄水池计算框架及空间光RC实现方式。

图4  时延RC框架。

      模拟光计算也可以用于构建伊辛机,它可用于高效求解如电路设计,路径优化等优化求解问题,它们属于NP-Hard难题,用传统硬件和传统算法有着很高的复杂度。目前光伊辛机的方案也有多种类型,比如基于光学参量震荡的相干伊辛机,利用调制器非线性域的光电伊辛机,其他还有多芯光纤的方案,在空间光调制器上模拟退火的方案,甚至也有人开始构思全光片上伊辛机。各类方案各有优缺点,最终伊辛机的性能取决于求解复杂问题的速度及精度,多数情况下这受系统节点数量的影响,但面向实际应用时系统衡量标准有较多维度需考量,文中详细列举了各类方案下各维度指标的典型情况。

图5  光学伊辛机模型。

      本文最后一章首次对当前光电混合计算系统的算力、功耗及精度三方面作系统性分析。该部分以矢量-矩阵乘法器架构为例,结合半定量分析与数据调研给出一系列推理,其中有借鉴当前计算行业的经验,同时也考量了光子与电子的特征差异,可为光计算架构设计与优化提供很好的参考依据。光电混合系统包括了传统电计算系统的存储和电处理器以及作为加速单元的光学处理单元(OPU),而OPU部分除了必要的光发射单元(Tx),调制单元(MD)以及光接收单元(Rx)之外,还应将DAC(数模转换器)和ADC(模数转换器)等额外引入的器件考虑在内。算力上除了正比于工作频率以及线路数量以外,模拟光计算具备独有的一项加速因子S,这源于光子本征的并行性。在功耗方面作者对各部分进行半定量分析与推导后,得出了OPU的能效比(功耗/算力,越低越好)会主要受限于DAC/ADC等电转换器件,提高工作频率仅能降低光源静态功耗占比,而提高上述加速因子则可以有效降低能效比。图1给出了一个简化后的关系图,由于多数器件操作单位数据所需能量(pJ/symb)受物理因素制约,因而提高加速因子S对于光计算竞争力起到关键性作用。模拟计算的精度天然劣于数字计算,因此精度方面也较受人关注,作者结合误差传递规则以及计算业务的特点,给出一个广泛适用的模型,分析可归类出几类典型误差来源及其控制需求。最终误差主要可分为二阶项(数据的二次项相关)、一阶项(数据的一次项相关)、串扰项及固定偏移。有别于测量和通信,计算业务的特点使得与数据相关的某些误差更难通过平均化或后补偿来降低,同时也可发现光计算对光电器件的性能需求有别于传统业务,例如8-bit计算精度对调制器件消光比的需求高达30dB以上。对于其他因素,例如工艺一致性、数据加载噪声也有不低的要求,但整体而言对误差的控制需求依然还在物理极限(例如热噪声、散粒噪声)之内,在工艺的优化与提升下仍可实现。

图6  光电混合系统概况及能耗精度分析。

观点评述

      本文首先简单回顾了摩尔定律放缓的现象及其背后因素,同时人工智能为代表的应用需求激增带来对硬件算力的挑战,因而激励人们多种路径尝试与探索,模拟光计算也是其中之一。随后从矢量/矩阵操作、光学蓄水池计算、光伊辛机三个方向对当前模拟光计算进展展开综述,三个方向都有多样化的实现方案并各有优缺。最后重点从当前光计算采用的光电混合架构进行系统性分析,在算力方面模拟光计算有着特殊的加速因子,能耗上受限于DAC/ADC等器件,但设计高的加速因子可有效降低单位算力下的能耗。而在计算误差方面,系统有多项误差来源,有些误差项与数据关联从而导致一些传统消误差手段难以应用,计算精度对器件性能控制提出了更高的要求,但暂时还未到物理极限。总而言之,后摩尔时代对光学既带来新的挑战也带来新的机遇和研究点,器件、架构和算法都需要有新的设计,而好的架构设计可以降低对器件性能的极端需求,有些难点也可以系统性解决。

主要作者


      李冲,2013年与2018年于北京大学物理学院分别获得理学学士和理学博士学位,博士期间导师胡小永教授,研究方向主要包括微纳光学、拓扑光子学。2018年加入华为2012实验室后研究课题为光计算。


      张翔,2009年和2012年分别于南昌大学和电子科技大学获得学士学位和硕士学位。2012年至2014年作为半导体制程工程师任职于深圳市华星光电技术有限公司,2014年至2019年在悉尼大学物理学院攻读博士学位,研究方向主要包括集成光学,非线性光学和量子光学。博士期间导师是Benjamin Eggleton教授, 熊春乐博士和Bryn Bell博士。2019年获得博士学位后入职华为2012实验室,研究方向为光计算。


      董晓文,华为中央研究院光计算项目负责人,博士,2005年本科毕业于西南交通大学理学院物理系, 2008年获得爱尔兰国立大学-梅努斯‘一等荣誉’硕士学位。2013年获得英国利兹大学博士学位,并于同年获得Cater Prize(最佳博士论文奖)。先后发表30多篇论文,引用800多次,并获得2016年 IET Optoelectronics 年度最佳论文奖。2013年加入华为,先后参与了HTC, DC3.0以及智能计算平台等项目,提交专利申请30多件,其中一半以上已经授权,对光网络,光计算系统以及新型计算架构等方向有丰富的研究经验。

本文出处

发表于:PhotoniX

论文链接:

https://photonix.springeropen.com/articles/10.1186/s43074-021-00042-0

更多原文内容,请点击“阅读原文”

推荐阅读

PhotoniX | 智能计算光学显微镜

推荐论文 | 光学神经网络研究进展:理论,应用与发展

Feature Article | THz让医学检测更简单明确——太赫兹生物医学检测中的三步单向模型

TOP论文 | 从光谱展宽到再压缩——非相干光在光纤中传输的动力学


关于PhotoniX

  • PhotoniX是中国光学工程学会新办会刊,由中国光学工程学会、上海理工大学和西湖大学共同主办,由Springer Nature集团出版。上海理工大学顾敏院士和西湖大学仇旻教授担任期刊主编,庄松林院士担任期刊名誉主编,拥有强大的国际编委和编辑团队。属同行评议、开放获取(OA)高影响力国际期刊。PhotoniX主要报道国内外光学与光子学技术与信息、能源、材料、生命、精密制造、纳米、光电子器件、微纳米电子等学科交叉融合发展带来的颠覆性科研成果和最新的工程应用进展。以展现具有前沿性、多学科交叉和衍生性特点的技术为核心,成为推动国际前沿“使能技术”的平台。

扫码关注我们

了解PhotoniX最新动态


点击

阅读原文

查看全文

声明:本文所用视频、图片、文字如涉及版权问题,请第一时间告知,我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除。邮箱:wanghaiming@csoe.org.cn

文章转载自微信公众号:PhotoniX

 
举报收藏 0评论 0
 
更多>同类资讯信息
推荐图文
推荐资讯信息
点击排行