研究背景

光学显微系统的小型化在科学研究、生物医学和工业应用等领域具有重要的应用前景。在医疗诊断和工业检测等应用中，人们希望设备不仅便携，还能同时具备大视场和高分辨率。然而，实现大视场高分辨率的小型化光学显微镜面临着两个根本的物理限制：一方面，传统单轴成像系统受限于其固有的空间带宽积约束，难以同时兼顾高分辨和大视场；另一方面，显微系统尺寸和图像传感器像素尺寸也存在相互制约，为了满足像素采样需求，传统显微镜采用多级放大的复杂光学结构，导致系统整体体积进一步增大。

超构透镜以其超轻超薄、设计灵活等特性，为光学系统的微型化和平面化提供了新的技术路径；将超构透镜与图像传感器直接集成的方案，虽然移除了笨重的折射光学元件，但小像距架构在减小系统尺寸的同时却引入了采样不足的问题，导致系统分辨率受限于传感器像元尺寸，远达不到光学分辨率。现有的提高分辨率方案，例如增大数值孔径和提高成像放大倍率，会带来系统尺寸增加、有效视场缩小、信噪比下降、像差矫正成本增加等问题，而定制像元尺寸更小的非主流图像传感器，需要昂贵的硬件替换并可能牺牲成像效率和信噪比。如何在不增加紧凑型硬件系统复杂度的前提下，提高超构显微镜的有效分辨率显得尤为重要。

导读

本工作提出了超构显微镜与Transformer神经网络协同的计算成像架构。针对成像系统的原生欠采样问题，构建了超构透镜实验数据集监督训练的网络模型，完成训练后，仅需单帧图像即可完成3倍有效像素密度的提升，实现无需硬件改造的亚像素分辨率大视场显微成像，有望推动紧凑化、智能化光学显微镜的发展。该研究以“Transformer-based neural network enabled subpixel-resolution in wide-field meta-microscope”为题目发表于PhotoniX期刊。

X特点

本工作以微纳光学、人工智能与生物医学深度交叉为核心，构建了一个面向下一代计算显微镜的多学科融合研究范式。研究展示了“微纳光学器件 × 算法重建 × 生物医学应用”三位一体的综合创新路径，体现了计算显微成像未来不可或缺的跨学科趋势。

1. 微纳光学与人工智能交叉：突破紧凑显微系统的原生分辨率瓶颈

提出并验证了一个超构显微镜和Transformer网络协同的计算成像框架，成功突破了紧凑式显微系统分辨率受限于传感器像素的固有限制。通过超简化光学设计与神经网络计算重建的结合，无需任何硬件改造，实现了超紧凑的亚像素显微成像。

2. 多学科融合助力生物医学：面向真实场景的高性能病理成像

基于超构透镜阵列的集成显微镜与神经网络模型的结合，实现了兼具大视场和高分辨率的紧凑式显微成像。在真实甲状腺病理切片的测试结果表明：该系统可在4mm×6mm的大视场中清晰地区分出正常组织与疑似癌变区域，并对相似类型组织表现出良好的泛化能力，为便携式病理初筛提供了新的技术方案，展现了其在基层医疗与快速诊断中的重要应用价值。

主要研究内容

本工作针对紧凑式超构显微镜分辨率受限的问题，提出并实验证明了一种超构显微镜和基于Transformer网络集成的计算成像策略。首先构建了首个超构透镜采集的甲状腺病理切片图像数据集，将高数值孔径（NA）超构透镜的三倍放大成像数据作为真值对模型进行端到端的监督训练；训练完成后，使用单帧图像即可完成快速（110 um x 110 um场区域仅需0.2s）、高保真（与真值相似度91%）的图像重建，实现了空间采样密度的3倍提升，同时验证了模型对其他类似组织具有一定的泛化性；为了进一步拓展视场，将基于超构透镜阵列的集成显微镜与训练后的模型相结合，通过9次位移成像物体，最终实现宽视场（ 4mm x 6mm和高分辨率（接近Olympus 10x /0.25NA）成像，视场约为Olympus 10x /0.25NA物镜的14.5倍。

技术突破与创新点

本工作创新性地提出了超构显微镜与Transformer网络模型集成的计算成像架构，突破了系统体积与图像传感器像素的相互制约，具有超紧凑、大视场和高分辨率的优势。为了解决仿真与真实成像之间的差异，构建了第一个使用超构透镜获取的甲状腺病理切片图像实验数据集。如图1所示，根据固定的像距，研究人员设计了两片相同直径、不同NA的超构透镜分别用于等大成像和三倍放大成像的数据采集，并将其直接集成到图像传感器上以保证成像条件的稳定性；通过纵向横向移动成像物体以调节物距和成像区域，能够一次性采集到等大低分辨率和放大高分辨率成像图，随后共采集了300组原始图像。经过图像预处理、严格配准及数据增强，最终得到21600组数据用于模型训练。

图1.数据集采集装置架构和超构透镜表征。(a)数据集采集成像系统示意图。(b)用于1×和3×成像的超构透镜显微镜图像，左下角的插图分别显示了两个透镜对应的相位分布。(c)数据集采集装置的照片，右下角插入SiNx超构透镜的SEM图像。(d)超构透镜（1×）和超构透镜（3×）的实验和理论极限MTF。(e)超构透镜（1×）和超构透镜（3×）采集的USAF分辨率测试板图像

本工作使用混合注意力机制的Transformer网络模型进行端到端的训练，以学习等大成像与三倍放大成像间的映射关系。模型训练完成后，使用新的输入图像评估模型性能。如图2所示，相比于传统双三次插值算法的有限改进，神经网络显著提高了图像分辨率，揭示了更精细的细胞细节，并有效地抑制了输入中存在的网格伪影。定量分析显示网络重建图像与高分辨率真值图像的峰值信噪比和结构相似度分别为30dB和0.91。

图2.(a)超构透镜（1×）拍摄的网络输入图像。高亮区域为两个具有代表性的兴趣区域（ROI）。(b)双三次插值算法增强图像。右上角为对应的PSNR和SSIM值。(c)网络输出图像。右上角为对应的PSNR和SSIM值。(d)超构透镜（3×）拍摄的真值图像。(a1, a2)输入图像(a)的放大ROI。 (b1, b2)双三次插值图像(b)的放大ROI。 (c1, c2)神经网络输出图像(c)的放大ROI。 (d1, d2)真值图像的放大ROI (d)。 (a3-d4)是放大ROI (a1-d2)对应的梯度图。

研究人员进一步将训练后的模型拓展到基于超构透镜阵列的集成显微镜以实现大视场。通过对每个子透镜区域的模型增强输出进行拼接，重建出4mm × 6mm大视场、高分辨率图像，如图3(c)所示。其细节分辨能力与Olympus 10×/0.25NA物镜相当，而视场大小达到Olympus物镜的14.5倍。这表明该系统能够在单一视场中同时、清晰地区分正常区域与疑似癌变区域，适用于大视场、便携式的甲状腺癌初步筛查，并可为进一步的临床评估提供支持。

图3.(a)集成20×30超构透镜阵列的紧凑型显微镜的照片。(b)部分超构透镜阵列的显微镜图像。(c)由网络输出的染色甲状腺病理切片的最终拼接全视野图像。蓝色高亮区域表示标准Olympus 10×/0.25NA物镜的视场。(d)基于超构透镜阵列的集成显微镜获取，对应于Olympus物镜视场的原始图像。(e)对应于Olympus物镜视场的网络输出。(f)标准Olympus 10×/0.25NA物镜获取的图像。(g, h)原始图像(d)的放大ROI。(i, j)网络输出图像(e)的放大ROI。(k, l)物镜图像(f)的放大ROI。

结论与展望

本工作展示了一个超构显微镜与神经网络结合的计算成像框架，解决了等大成像条件的紧凑式超构显微镜中固有的图像传感器分辨率限制。其不依赖于复杂的镜头设计或硬件修改，而是采用基于Transformer的神经网络来提高原始输入图像的分辨率。本研究强调了简化光学硬件与计算重建的协同作用，为紧凑式智能显微镜提供了可行的方案，在便携式即时诊断、远程医疗等领域有着重要的应用潜力。

主要作者介绍

李涛，南京大学教授，博士生导师。国家自然科学杰出青年基金和优秀青年基金获得者，香港“王宽诚”教育基金获得者，入选科技部中青年科技创新领军人才、南京大学首批“登峰人才支持计划”。长期从事微纳光学、超构材料、光子集成领域的研究，曾先后四次获得“中国光学十大进展/重要成果”，以及“中国光学十大产业技术”；在Nature及其子刊，Sci. Adv., PRL等刊物发表论文逾150篇，引用超一万次，受邀做国际国内学术会议邀请报告逾百次。目前担任Optics Express，COL，ADI等多家刊物编委，担任中国光学工程学会微纳专委会副秘书长、江苏省物理学会及光学学会理事、中国激光杂志社南京分社社长。

陈晨，南京大学副研究员。2016年于南京大学获学士学位，2021年于南京大学取得博士学位。主要从事超构表面多维光场调控及超构透镜成像、偏振探测等方面的技术研究。近年来发表SCI论文30余篇，其中以第一/通讯作者身份发表成果在Light Sci. & Appl.，Optica，Nano Lett., Photon. Insights等期刊上。

胡姗姗，南京大学物理学院博士研究生。主要研究方向为深度学习与超构透镜成像，近年来以第一/共同作者在PhotonIX, Opt. Express, Interdiscip. Mater., Photon. Insights等期刊上发表论文数篇。

本文出处

发表于：PhotoniX

论文链接：https://link.springer.com/article/10.1186/s43074-025-00213-3

文献检索：PhotoniX 6, 52(2025).https://doi.org/10.1186/s43074-025-00213-3

来源于Photonix微信公众号