Research Progress

Ultra-compact snapshotspectral light-field imaging

2022-05-19   827    
    能在手机等移动终端上集成更强大、更丰富的拍摄能力,是一直以来人们梦寐以求的目标。当前使用红绿蓝“三元色”的平面成像技术,将丰富的光谱信息和复杂的光线角度信息压缩,难以获取反映物质特征的光谱信息。随着移动终端市场的蓬勃发展和成像技术的快速迭代,科研人员在该领域孜孜不倦寻求突破。2019年,剑桥大学的研究团队提出了纳米线光谱仪(Science 365,6457),实现了微尺度下的光谱信息采集;同年,海峡两岸的联合研究团队提出了超构表面透镜阵列(Nat.Nanotechnol., 14, 227-231),实现了微尺度的光场成像系统,可以解析拍摄场景和物体的深度信息。然而,迄今为止,在微尺度条件下(可集成于手机等移动终端)能够同时实现光场和光谱动态成像的研究仍是空白。

    近日,由南京大学王漱明副教授、王振林教授和祝世宁院士团队、曹汛教授团队和哈尔滨工业大学肖淑敏教授团队组成的联合团队通力合作,在微型光场光谱成像系统上取得了重要突破。本工作首次实现了微尺度下同时集成光谱和深度信息采集的4D(x y z λ)动态成像系统,极大地提升移动终端设备获取信息的能力,为移动终端在数字支付、食品安全、环境监控等重大领域的拓展应用提供了强有力的技术支撑。研究成果以“Ultra-compact snapshotspectral light-field imaging”为题发表在最新一期的《Nature Communications》上。

    计算成像(Computational Imaging)和计算摄像学(Computational Photography)是目前国际上最前沿、最活跃的交叉研究领域之一。理想成像需要收集视野内物体的各种信息,如三维空间(深度)和颜色(光谱)信息。尽管三维成像和光谱成像各自发展迅速,但它们的直接组合将导致成像系统体积庞大,结构复杂,严重阻碍了多维度成像的实际应用。在基于超构表面的成像系统中,超构表面器件的色散效应会引入严重的色差,很大程度上降低了成像质量。将计算摄像学引入超构透镜成像系统为我们提供了一条全新的思路。联合团队使用其发展的相位拆分原理,将原来成像中“讨厌”的纵向色差,转化为光谱成像“喜欢”的横向色差(如图1A-C所示),使各个波长成的像彼此区别开,以获得精细光谱信息。再结合计算摄像原理还原高质量的成像结果。该联合研究团队通过使用横向大色差超构透镜阵列和单色成像传感器展示了微型化的光场光谱动态成像系统- SLIM(Spectral Lightfield IMager)。SLIM只需一张快照(单次曝光),即可呈现具有4nm光谱分辨率和接近衍射极限分辨率的三维成像,是迈向全光(Plenoptic)成像的重大进展。

图1:运用横向色散超构表面透镜实现光谱成像

    研究人员研制了48×48个TiO2超构透镜阵列,每个超构透镜的直径为30μm,包含了超过25,000TiO2纳米柱和纳米孔,工作波段为400nm667nm。值得一提的是,所设计的纳米柱和纳米孔要求具有近乎完美的垂直侧壁,且最大纵横比达到了40,这对于控制超构透镜阵列的有效折射率至关重要。联合团队克服困难,大幅提升了TiO2超构表面的加工工艺,最终完美的制备出了超构透镜阵列样品(样品的SEM照片如图1D-1G所示)。使用450650nm窗口的白光照明,来自物体“4”的光线由超构透镜成像到传感器的不同位置,图像之间的明显偏移显示了不同波长光的横向色差(参见图1H)。

图2:基于深度和光谱信息的材质识别与分割

    同色异谱现象是传统视觉检测、目标跟踪识别的盲点和难点。基于准确的深度和光谱信息提取,SLIM展示了超越传统成像系统的能力。两种同色材料,品红色化学织物布和水彩画纸,如图2A所示。在LED灯下这两种材质呈现同色异谱现象,简单来说就是颜色相同,而光谱分布略有不同。插图中绘制了它们的光谱曲线,可以看到,在可见光范围内这两种颜色显示出非常相似的光谱分布。当使用传统RGB相机拍照时,由于缺乏高分辨率的光谱信息与光场信息,只能捕获品红色“Φ”形图像(如正视图2B和侧视图2C所示)。只有同时获取光场和光谱信息才能完整揭示这两个物体之间的材质差异和位置关系,图2D显示了符合化纤光谱材质信息的全聚焦灰度图像,从中可以清楚地识别出化纤布。相同的也可以清楚地识别出水彩画的纸张(见图2E)。因此,SLIM的动态光谱成像能力可以更加有效和便捷的运用于材料识别和伪装鉴别;同时,SLIM的光场成像也具备先拍照后聚焦的能力,并可以获得物体的空间深度信息,如图2F,2G所示。

    华夏博士(南京大学)、王雨杰博士(哈尔滨工业大学)、王漱明副教授(南京大学)为本工作并列第一作者。南京大学王漱明副教授、曹汛教授、王振林教授、祝世宁院士,哈尔滨工业大学肖淑敏教授和香港理工大学蔡定平教授为该项成果的并列通讯作者。南京大学武晋教授,哈尔滨工业大学韩杰才院士,华东师范大学李林研究员也参与这项工作的研究。南京大学为第一完成单位。本工作得到了国家重点研发计划和国家杰出青年科学基金的支持。


文章来源于两江科技评论微信公众号。

两江科技评论