光学计量是一种以光作为信息载体的非接触、非侵入式通用计量技术，是工业制造、基础研究和工程应用的基础。随着激光器和电荷耦合器件（Charge-coupled device, CCD）的出现，光学计量方法和仪器设备因其高精度、高灵敏度和高速等优点，广泛应用于先进制造、精密定位和质量评估。对于干涉测量[1]、数字全息[2]和条纹投影轮廓术（Fringe projection profilometry，FPP）[3-4]等光学计量技术[5]，条纹图案分析旨在从记录的条纹图中恢复其相位分布，已成为光学计量领域的重要研究热点之一。基于条纹图案的相位检索精度和效率对动态重建待测物的位移、应变、表面轮廓和折射率等物理量是至关重要的。
针对基于条纹投影轮廓术的结构光三维成像，南京理工大学陈钱、左超教授课题组建立了条纹结构光相移算法[6]、时域相位展开[7]理论体系框架，提出了以双频相移法[8]、“2+2步”相移法[9]、几何约束复合相移法[10]、微频移傅里叶变换法[11]等为代表的系列“复合相移编码”三维测量方法，将单次重构所需的图案数从传统格雷码/多频相移法的接近10幅降低至5、4、3、甚至2幅，从成像机理与算法上突破结构光三维成像的速度瓶颈，首次实现了速度为10KHz的高速结构光三维传感[11]。尽管如此，仅采用一幅投影图案实现高精度三维重建才是研究人员永恒追求的终极目标。1983年，Takeda等[12]提出了傅里叶变换条纹投影轮廓术（Fourier transform profilometry，FTP），通过频域滤波从单幅条纹图像中恢复出被测物相位信息，使单帧条纹相位解调甚至单帧三维重构成为可能[图1 (a)]。针对此项技术，四川大学苏显渝、张启灿教授课题组[13]展开了深入系统的研究工作，实现了速度达kHz级别的单帧三维成像。然而，FTP技术成立的前提条件是物体表面调制的高频信息能够与背景在频谱域相互分离，因此其仅能测量较平缓的面型，难以实现复杂物体的高精度三维重构。
近年来，随着可用数据和计算性能的爆炸式增长，深度学习作为一种“数据驱动”的机器学习技术，已经在计算机视觉、计算成像[14]和光学计量[15]等领域取得了变革性的成功。深度学习技术几乎渗透到光学计量学的方方面面，并为许多挑战性难题提供了解决方案，如条纹去噪[16-17]、条纹分析[18]和数字全息重建[19]。2019年，受传统相移技术的启发，南京理工大学陈钱、左超教授课题组[18]首次提出了一种基于深度学习的条纹图案分析方法，利用神经网络在单帧条纹与多步移相法的高精度相位间建立逆向映射[图1 (c)]。经大量数据训练后，神经网络可以直接从单幅条纹图像中恢复出高精度相位图，展现了远超传统单帧条纹分析技术的卓越相位测量性能。最近，基于深度学习的条纹图案分析方法采用不同卷积架构的深度神经网络（DNNs）[20-21]，已经成功应用于相位偏折测量技术[22]、单帧绝对三维测量[23]和速度为20 KHz的超快三维成像[24]。
图1 不同单帧条纹分析方法的示意图。(a) 基于物理模型的传统方法（FTP），(b) 融合物理模型的深度学习方法，(c) 数据驱动的深度学习方法。
然而，不同于传统条纹分析方法利用控制图像形成的物理法则或与测量相关的其他领域专业知识实现可靠的相位解调，目前大多数深度学习方法专注于训练一个通用的“全能型”端到端网络，利用大量训练数据从零开始学习，建立输入图像到输出图像的精准全局变换。因此，深度学习方法在解决复杂物理问题方面的性能在很大程度上依赖于可利用数据集的潜在统计特征。为了实现条纹图案分析技术在速度、精度、可重复性和泛化性等方面的性能突破，继承前人在条纹分析领域多年积累的丰富经验和认知，传统单帧条纹分析方法与数据驱动的深度学习技术相辅相成、相得益彰，是大势所趋也是必经之路[图1 (b)]。
鉴于此，南京理工大学陈钱、左超教授团队提出了一种融合物理模型的深度学习条纹图案分析方法（Physics-informed deep learning for fringe pattern analysis, PI-FPA），该方法结合了传统单帧条纹分析方法和深度学习技术各自的优势，实现了快速、高精度且兼具高泛化性的单帧条纹相位测量。具体地，PI-FPA集成了一个“学习增强型”傅里叶变换条纹投影轮廓术（Learning-enhanced Fourier transform profilometry, LeFTP）模块和一个轻量化网络[图2]。LeFTP模块对传统FTP技术的相位恢复过程进行参数化建模，利用可学习的自适应频域滤波提取单帧条纹的傅里叶频谱直接从单幅条纹图像中恢复出相位初值。融合物理模型的LeFTP模块具有较强的泛化性，可以为网络训练阶段看不见的新型样本提供可靠的相位结果，同时潜在地规避了监督学习方法收集大量高质量数据的要求。进而，不同于通用的端到端图像变换网络（U-Net及其衍生网络），使用轻量化网络对LeFTP模块输出的初始相位进行优化，从而以较低的计算成本进一步提升单帧条纹相位测量的精度和计算效率。
图2 PI-FPA方法的示意图。(a) PI-FPA方法的单帧条纹分析框架，(b) 网络头部（Net head）和网络尾部（Net tail），(c) LeFTP模块的相位恢复过程。
[图3]显示了不同单帧条纹分析方法对David模型的相位恢复结果。通过可视化频域滤波器的权重值，可以发现LeFTP模块能够自适应地提取单帧条纹的傅里叶频谱以提高相位精度，与FTP相比将相位误差的MAE降低了约18%，为传统FTP技术的参数优化提供了可解释性的指导[图3 (a-b)]。进而，将一个子网络Net head嵌入到LeFTP模块前端，滤除单帧条纹频域的零频信息[图3 (c)]，进一步将相位误差减少约40%，证明了LeFTP模块可以即插即用地提高单帧条纹分析精度。此外，与通用的端到端图像变换网络U-Net相比，PI-FPA利用Net head+LeFTP模型输出的可靠相位初值引导轻量化网络，实现了高精度、高计算效率的相位测量，将GPU内存从3.5 GB降低到1.5 GB，将处理速度从15.37 FPS提高到53.23 FPS，同时将相位误差的MAE降低了约20%，证明了PI-FPA能够为复杂物体的局部细节提供更高质量的相位重构结果[图3]。[图4]展示了使用不同数量的训练数据对David模型进行单帧条纹分析的相位误差结果。与使用800个训练数据的U-Net相比，PI-FPA仅使用400个训练数据，将相位误差降低了约12.55%，证明其具有良好的泛化性。
图3 David模型的单帧条纹分析结果。(a-e) 傅里叶变换条纹投影轮廓术（FTP）、LeFTP、Net head+LeFTP、U-Net和PI-FPA的单帧条纹相位恢复过程、输出的包裹相位、相位误差和相位误差放大图。
图4 使用不同数量的训练数据对David模型进行单帧条纹分析的相位误差结果。(a-b) 使用400个和800个训练数据的U-Net相位误差，(c-d) 使用400个和800个训练数据的PI-FPA相位误差，(e-h) 为(a-d)对应的相位误差放大图。
[图5]显示了不同条纹分析方法对金属工件的动态360度三维重建结果。三步相移法（3-step PS）由于需要连续采集三幅条纹图，导致其恢复的相位结果中不可避免地存在因物体运动引入的相位误差，无法准确重构快速旋转工件的精细形貌。基于单帧条纹分析的FTP技术十分适用于动态三维测量，但由于频谱混叠问题，仅能生成低质量的粗糙三维重建结果。得益于深度神经网络的强大特征提取能力，U-Net可以进一步提升动态三维重建质量，但无法可靠地恢复罕见金属材质的精准相位。在整个测量过程中，不同时间节点的三维重建结果揭示了PI-FPA对复杂动态形貌的快速三维测量性能。
近年来，随着深度学习技术的快速发展，针对光学计量领域各种挑战性问题的深度学习应用引起了人们的广泛关注和兴趣。依托于深度神经网络的强大特征提取能力，深度学习在单帧条纹分析任务上展现出了超越传统方法的性能突破以及强大的应用潜力。但是，我们应该毫不犹豫地抛弃前人在条纹分析领域多年积累的丰富经验和认知，转而全身心地投入到数据驱动的学习大潮中吗？融合物理模型的深度学习条纹图案分析技术（PI-FPA）给出了一份“满意的答卷”，它不仅像传统神经网络一样学习训练数据的内在统计特征，同时还能学习描述图像形成的物理法则，实现了高精度、高计算效率的单帧相位重构，并展现出了对复杂形貌、材质的良好泛化性能，为复杂、高速运动物体的单帧三维面型测量开辟了新途径。未来，我们将研究PI-FPA对不同类型条纹图像的相位恢复性能，并探索在干涉测量、数字全息等光学计量领域的相关条纹分析应用潜力，实现条纹图案分析技术在速度、精度、可重复性和泛化性等方面的性能突破。该成果以“Physics-informed deep learning for fringe pattern analysis”为题作为封面文章发表在Opto-Electronic Advances（光电进展）2024年第1期。
参考文献
[1] P. Hariharan, Basics of interferometry (Elsevier, 2010).
[2] U. Schnars, C. Falldorf, J. Watson, et al. Digital holography (Springer, 2015).
[3] S. S. Gorthi and P. Rastogi, “Fringe projection techniques: whither we are?” Optics and Lasers in Engineering 48, 133–140 (2010).
[4] J. Geng, “Structured-light 3d surface imaging: a tutorial,” Advances in Optics and Photonics 3, 128–160 (2011).
[5] K. J. G?svik, Optical metrology (John Wiley & Sons, 2003).
[6] C. Zuo, S. Feng, L. Huang, T. Tao, W. Yin, and Q. Chen, “Phase shifting algorithms for fringe projection profilometry: A review,” Optics and Lasers in Engineering 109, 23–59 (2018).
[7] C. Zuo, L. Huang, M. Zhang, Q. Chen, and A. Asundi, “Temporal phase unwrapping algorithms for fringe projection profilometry: A comparative review,” Optics and Lasers in Engineering 85, 84–103 (2016).
[8] C. Zuo, Q. Chen, G. Gu, S. Feng, F. Feng, R. Li, & G. Shen, “High-speed three-dimensional shape measurement for dynamic scenes using bi-frequency tripolar pulse-width-modulation fringe projection,” Optics and Lasers in Engineering 51(8), 953-960 (2013).
[9] C. Zuo, Q. Chen, G. Gu, S. Feng, & F. Feng, “High-speed three-dimensional profilometry for multiple objects with complex shapes,” Optics Express 20(17), 19493-19510 (2012).
[10] T. Tao, Q. Chen, J. Da, S. Feng, Y. Hu, & C. Zuo, “Real-time 3-D shape measurement with composite phase-shifting fringes and multi-view system,” Optics Express 24(18), 20253-20269 (2016).
[11] C. Zuo, T. Tao, L. Huang, A. Asundi, & Q. Chen, “Micro Fourier transform profilometry (μFTP): 3D shape measurement at 10,000 frames per second,” Optics and Lasers in Engineering 102, 70-91 (2018).
[12] M. Takeda and K. Mutoh, “Fourier transform profilometry for the automatic measurement of 3-d object shapes,” Applied Optics 22, 3977–3982 (1983).
[13] X. Su and Q. Zhang, “Dynamic 3-d shape measurement method: a review,” Optics and Lasers in Engineering 48, 191–204 (2010).
[14] G. Barbastathis, A. Ozcan, and G. Situ, “On the use of deep learning for computational imaging,” Optica 6, 921–943 (2019).
[15] C. Zuo, J. Qian, S. Feng, W. Yin, Y. Li, P. Fan, J. Han, K. Qian, and Q. Chen, “Deep learning in optical metrology: a review,” Light: Science & Applications 11, 1–54 (2022).
[16] K. Yan, Y. Yu, C. Huang, L. Sui, K. Qian, and A. Asundi, “Fringe pattern denoising based on deep learning,” Optics Communications 437, 148–152 (2019).
[17] R. Kulkarni and P. Rastogi, “Fringe denoising algorithms: a review,” Optics and Lasers in Engineering 135, 106190 (2020).
[18] S. Feng, Q. Chen, G. Gu, T. Tao, L. Zhang, Y. Hu, W. Yin, and C. Zuo, “Fringe pattern analysis using deep learning,” Advanced Photonics 1, 025001 (2019).
[19] Z. Ren, Z. Xu, and E. Y. Lam, “End-to-end deep learning framework for digital holographic reconstruction,” Advanced Photonics 1, 016004–016004 (2019).
[20] T. Yang, Z. Zhang, H. Li, X. Li, and X. Zhou, “Single-shot phase extraction for fringe projection profilometry using deep convolutional generative adversarial network,” Measurement Science and Technology 32, 015007 (2020).
[21] W. Yin, J. Zhong, S. Feng, T. Tao, J. Han, L. Huang, Q. Chen, and C. Zuo, “Composite deep learning framework for absolute 3d shape measurement based on single fringe phase retrieval and speckle correlation,” Journal of Physics: Photonics 2, 045009 (2020).
[22] G. Qiao, Y. Huang, Y. Song, H. Yue, and Y. Liu, “A single-shot phase retrieval method for phase measuring deflectometry based on deep learning,” Optics Communications 476, 126303 (2020).
[23] Y. Li, J. Qian, S. Feng, Q. Chen, C. Zuo et al., “Deep-learning-enabled dual-frequency composite fringe projection profilometry for single-shot absolute 3d shape measurement,” Opto-Electronic Advances 5, 210021 (2022).
[24] S. Feng, C. Zuo, W. Yin, G. Gu, and Q. Chen, “Micro deep learning profilometry for high-speed 3d surface imaging,” Optics and Lasers in Engineering 121, 416–427 (2019).
研究团队简介
南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于南理工国家一级重点学科“光学工程”学科带头人陈钱教授领衔的“光谱成像与信息处理”中国福利彩票正版下载：长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为国际光学工程学会/美国光学学会/英国物理学会会士（SPIE/Optica/IOP Fellow），科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文200余篇，其中36篇论文被选作Opto-Electronic Advances、Opto-Electronic Science等期刊封面论文，20篇论文入选ESI高被引/热点论文，论文被引超过14000次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展 “特别嘉许金奖”等。培养研究生5人获全国光学工程优秀博士论文/提名奖，5人获中国光学学会王大珩光学奖，8人入围Light全国光学博士生学术竞赛全国百强，获“挑战杯”、“创青春”、“研电赛”全国金奖十余次，“互联网+”全国总冠军。
