【光电进展】人工智能赋能计算成像！

据Electro Optics网站报道，自两个世纪前诞生以来，成像技术已经取得长足进步。光子可以通过光电传感器转换成电子，这种数字技术为计算成像铺平道路。

计算成像分为两个领域：计算摄影和计算机视觉。计算摄影侧重于利用数字计算来捕捉和处理图像，而计算机视觉则涉及创建能够解释和分析视觉数据的数字系统，类似人类的视觉系统。这些技术不仅提高了图像质量，还开启了新的功能：从数码单反相机到计算相机，包括人体和物体识别、三维绘图和特征提取。

根据行业情报公司 Yole Group 的估算，2022年，计算成像市场规模达到 680 亿美元。计算成像领域最重要的趋势之一是微型化。对能够提供高分辨率、高动态范围图像的超小型相机的需求造就了这一趋势。

图像质量现在更依赖与小型化光学器件和传感器相关联的高计算性能，而不是独立、笨重但无像差的光学器件。高分辨率、高动态范围图像的微型相机是计算成像市场的需求。由于下一代相机模块超微型化，其计算性能必须通过后期处理恢复信号质量，这就促进了人工智能（AI）和图像融合这两个领域的突出发展。

高性能计算能力为实施人工智能网络以提高图像质量打开了大门。增加人工智能可以改善弱光性能、提高图像分辨率、恢复廉价镜头的图像质量等。

计算成像应用于各个领域，包括电子消费、智能制造、农业、医疗保健、交通、体育、零售、安全和监控等。在大多数情况下，摄像头模块与配套芯片集成为嵌入式系统。这种集成需要关注功耗、存储容量和延迟等关键因素。

成像系统是一个复杂的生态系统，由多个错综复杂的组件和先进的软件组成，虽然这些子部件可以无缝协作，但它们可能是由不同的团队使用不同的工具设计的。真正的挑战出现在组装和校准过程中，测试工程师必须手动验证系统的各个方面。通过对成像系统采用整体的系统级视角，并在多个阶段采用人工智能算法，光学和电子工程师可以提高计算成像系统的性能。

在整个成像系统中利用人工智能算法可以缓解硬件限制并优化性能。

如今的人工智能微型成像系统具有强大的功能，其对比度、色彩、清晰度、焦距深度、高动态范围和高运动精度都经过计算改进，接近于高端传统数码相机。例如，在苹果 iPhone 14 Pro 中，图像质量来自三个具有互补光学特性的主摄像头，它们与嵌入了 CPU、GPU、图像处理器和神经引擎的 A16 芯片相连。与传统的独立光学系统相比，如今的微型成像系统除了功能上的优势外，还具有成本、重量和包装尺寸上的优势，并能对内容进行解读，从而做出决策。

此外，以人工智能为基础的计算成像技术（如神经网络的开发）的不断发展也显示出其补充甚至取代传统 ISP 的潜力。这种发展将支持更复杂的功能，如高级去噪、弱光增强、减少模糊和宽动态范围，从而进一步提高图像质量。

与任何新技术一样，在带来好处的同时，集成微型化和数字化成像系统也面临着挑战。这些挑战通常与平衡性能、功耗和面积有关，其中功耗可能包括散热问题，而面积则直接影响成本。将人工智能添加到成像系统中会带来很多优势，但同时也加剧了性能、功耗和面积（PPA）方面的挑战。实施视觉卷积神经网络（CNN）需要大量的计算，因此需要大量的数据移动（传感器数据和系数），这又会增加功耗。每个成像应用都需要平衡增加人工智能的好处与伴随着的成本提升。

随着计算成像技术的不断发展，很可能会出现功能更强大、价格更低廉的成像系统，以满足从辅助驾驶系统到混合现实应用等不同领域的需求。此外，将人工智能纳入成像系统的速度可能会加快。卷积神经网络是10年来视觉应用的标准，它正在受到变形器的挑战。变压器是生成式人工智能所依靠的神经网络，它可以提高准确性，但代价是更多的计算和数据移动。随着人工智能等技术的应用，将有更大的可能打破镜头设计与 ISP 或神经网络引擎中数据处理之间的界限，而这将需要更加集成的工具链和系统级分析工具。

（天津津航技术物理研究所 杨茗）

阅读原文

查看原文