近日，韩国延世大学机械工程系Chulmin Joo团队，提出了一个名为 E2E-BPF 显微镜的计算成像平台（见图1），它能够在无需连续重新聚焦的情况下，对大型物体进行大面积、高分辨率成像。
图1：E2E-BPF显微镜的工作原理。通过物理信息神经网络联合学习轴对称二元相位滤波器和图像重建网络。研究拟南芥在三维空间中的数字幻影。将学习到的二元相位滤波器制作并插入到光学显微镜的瞳孔平面中，在扩展的深度范围内产生投影的体积图像。随后将获取的图像输入到联合学习的重建网络中，在扩展的景深范围内生成高分辨率、高对比度的图像。OBJ:显微镜物镜;NA:数值孔径;TL:管状透镜;CAM:相机。
该方法采用了物理结合的深度学习设计的二相滤波器(BPF)和联合优化的反卷积神经网络，可在扩展的深度范围内生成高分辨率、高对比度的图像。
研究人员通过数值模拟和荧光标记珠子、细胞和组织切片的实验演示了该方法，并提供了比传统显微镜大 15.5 倍的高分辨率成像能力。
该方法为景深可扩展的光学成像系统提供了高效、可扩展的策略，有望在基于图像的快速诊断、光学视觉和计量等领域得到广泛应用。
研究背景
显微成像系统只能在有限的深度范围内产生物体的清晰图像，称为景深(Depth-of-field, DoF)。DoF定义了一个给定的光学成像系统可以清晰成像的物体的深度范围，其由成像透镜的工作波长、有效焦距和孔径大小决定。在许多生物医学成像应用中，如细胞术、组织学和内窥镜，通常需要大空间尺度上的高分辨率成像;例如，病理学检查通常使用高数值孔径物镜来显示组织标本的细胞和亚细胞特征，但它伴随着有限的视场和DoF。因此，要对大面积病理/细胞学切片成像，无论是物体还是成像光学元件都需要反复扫描和重新聚焦，这是一种昂贵且劳动密集型的方法。为了提高自由度，在过去的几十年里，人们探索了各种各样的策略。一种简单的解决方案是减小探测系统的孔径尺寸，然而，这不可避免地会导致光吞吐量和信息容量的损失。
二元相位滤波器是由相位为0和π的同心圆组成的，由于其结构简单、易于制造，近年来作为DoF扩展元件受到了广泛的关注。当目标信息通过精心设计的二元相位滤波器时，所得到的图像可以在所需的深度范围内调整为不变，同时保持高横向分辨率。此外，由于其离散的0-π相拓扑结构，二元相位滤波器允许相对简单的制造工艺，如光刻和薄膜沉积，使其适合大规模生产。因此，近年来提出了各种聚焦或自由度可扩展的二元相位滤波器设计方法，包括穷举搜索、解析解和各种类型的优化算法。尽管有这些努力，二元相位滤波器的DoF可扩展性能还没有得到充分的探索。其中一个主要原因是，虽然其性能随着环数的增加而提高，但由于所涉及的非线性方程的复杂性，开发超过五个同心圆环的二元相位滤波器设计极具挑战性且计算成本高昂。对于包含穷举搜索算法的多环二值滤波器设计，处理时间随着同心圆环数的增加呈指数增长。粒子群优化算法可有效解决非线性多维问题，通过探索多环双光学元件的巨大设计空间来设计二元相位滤波器。然而，基于粒子群优化算法的算法需要许多预设的设计参数，并且对于涉及多参数的设计任务，求解空间预计会呈指数级增长。此外，粒子群算法在高维空间中容易陷入局部最优，在迭代过程中收敛速度较慢。
创新研究
在这里，研究团队提出了一个由端到端优化二元相位滤波器和图像重建(E2E-BPF显微镜)实现的DoF扩展计算成像平台（见图1）。
为了开发不受环数约束的二元相位滤波器设计，研究人员采用基于深度学习的端到端框架，共同设计DoF可扩展二元相位滤波器，并利用大量数据集优化相关成像重建网络。基于深度学习的二元相位滤波器设计是通过在网络中引入惩罚函数来实现的，该惩罚函数涉及可微分的设计变量，这些设计变量通过历元收敛到二进制状态（见图2）。将学习到的二元相位滤波器插入光学显微镜中，在扩展的DoF上产生深度不变的点扩展函数。然后将生成的图像输入到联合学习的反卷积网络中，在扩展的DoF上生成高分辨率和高对比度的图像。
研究人员通过数值模拟和荧光珠实验，展示了 E2E-BPF 平台超过 15.5× DoF 的高分辨率、高对比度成像能力（见图3）。
通过对细胞样本和用荧光染料染色且无需重新聚焦的大规模小鼠肾组织切片进行成像，进一步证明了该方法的生物可行性（见图4）。
图2：二元相位滤波器和图像重建网络的学习管道。
图3：E2E-BPF 相对于透明和三次相位掩模光瞳滤波器（传统显微镜）的数值性能评估。
图4：E2E-BPF显微镜用于多色荧光成像。(a) E2E-BPF显微镜拍摄的小鼠肾组织切片整片图像。标准显微镜(b, d)和E2E-BPF显微镜(c, e)的放大图像在(a)中用黄色虚线标记。E2E-BPF显微镜可以清楚地看到不同深度的结构，无需连续重新聚焦。
论文信息
该文章近日发表在国际顶尖学术期刊《Light: Science & Applications》，题为“E2E-BPF microscope: extended depth-of-field microscopy using learning-based implementation of binary phase filter and image deconvolution”，Baekcheon Seong为论文的第一作者，Chulmin Joo教授为论文的通讯作者。（来源：LightScienceApplications微信公众号）
相关论文信息：https://www.nature.com/articles/s41377-023-01300-5
特别声明：本文转载仅仅是出于传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，请与我们接洽。
