光学时间拉伸成像
前段时间导师布置的一个任务，学习光学时间拉伸成像的内容。找到一篇讲解光学时间拉伸成像的文献——Cheng Lei, Baoshan Guo, Zhenzhou Cheng, Keisuke Goda. Optical time-stretch imaging: Principles and applications。做了一些简单的翻译和理解性概括，当时写了份简单报告，现在附在博客园上，以供今后学习参考。
基于光学时间拉伸成像技术的研究与发展
随着激光光电子技术和光学成像器件的进一步研究，光学成像对于时间分辨率和空间分辨率的要求不断提高，为观测基础学科现象和前沿工业应用提供了极大的便利。传统的光学成像限制于灵敏度、特异性和分辨率之中，光学成像的创新技术也针对此做出了相应的努力。在提高灵敏度方面，针对传统光学成像需要使用电荷耦合器件（CCD）和图像传感器（CMOS）等图像记录器件，发展了光电倍增管阵列（PMT）、光电探测器阵列（APD）和红外传感器等光子技术探测器。在特异性，即对比度增强方面开发了定量相位成像、偏振敏感成像和化学成像等生物类标记方法。提高空间分辨率的方法也有许多，如超分辨荧光显微镜，通过提高空间分辨率达到观察纳米级别细小物体的结构。还有避开传统图像设备的速度限制的技术来提高时间分辨率等。
现有的阵列光学成像系统一般是通过光电传感器将一定强度的光信号转换为电信号后，再进行信号处理，这样的成像系统的时间分辨率取决于光电转换的速度。传统光学成像技术可以大致分类为两种，一种是使用探测器阵列，例如CCD和CMOS图像传感器等，这种方法由于光电转换需要获取一定强度后才可以触发，从根本上限制了阵列光学成像的时间分辨率，使其难以捕获超快时间分辨率的信息。另一种是使用光束扫描仪和单像素光电探测器，通过声光偏转器引导照明光束来点扫描成像目标，所产生的光信号（如反射、非线性响应或荧光）由单像素光电探测器检测，这种成像方法通常用于从透明材料成像、非线性成像或荧光成像的成像目标中灵敏地检测少量光子。
如果可以在成像过程中去除阵列光电信号转化过程，利用纯光学方式采集信息，有可能克服这一关键难题，实现时间分辨率上的极大提升。以1999年诺贝尔化学奖授予的飞秒光谱技术为突破点，超快过程的光学成像与光谱学研究广泛进入研究与应用视野中。2008年，Goda团队[1]证明光学时间拉伸成像方法是一种有效的超高速光学成像方法，它可以超越传统的基于探测器阵列的图像传感器，克服了传统图像传感器的速度限制，实现了每秒10-1000百万帧的超高帧率的连续图像采集。
光学时间拉伸成像(optical time-stretch imaging)方法致力于提高成像的时间分辨率，该方法利用超快脉冲激光在空域和时域中的可分解性，超快激光作为信号源，通过脉冲光光谱携带的空间信息实现信息编码和解码，单像素光电探测器作为接收器可以完成连续的超快成像[2]。由于光学时间拉伸成像与光学信号处理存在内在的联系，光学时间拉伸成像可以与各种光学技术相结合，如放大、非线性处理[3]、压缩传感[4]等，以实现传统图像传感器无法实现的独特功能。光学成像领域取得的诸多技术成果已极大地推动了化学、生物、光学、材料等多个领域的发展，未来还将在精密制造、超快工业检测技术等方面发挥更大作用。
光学时间拉伸成像原理
传统光学成像系统图像采集的一种方法利用探测器阵列，通过光电效应撞击硅表面的光子产生的自由电子由移位寄存器传输，并由电荷放大器转换成电压，所产生的电压由模数转换器（ADC）数字化存储在存储器中，CCD图像传感器使用单个数字仪对所有像素的串行信号进行数字化。CMOS图像传感器使用多个规格几乎相同的数字仪来加快充电下载速度，采集速度比CCD图像传感器快1000倍。探测器阵列阻碍高速图像采集的最大限制就是从数千像素阵列下载所有电荷所需的时间较长。而且在高帧率状态下，必须在读出技术的过程中减少所需要的像素数，这会造成像素在高帧率时丢失。此外，由于超快成像期间会产生大量数据的存储和访问，数字图像处理不能实时执行，转而进行离线数字处理。这些问题都限制了传统光学成像系统图像采集的在超快成像方面的进一步发展。
光学时间拉伸成像的主要特点是将空间信息光学映射到光学探针信号的光谱中，通过色散介质将探测目标的空间信息用光学手段映射到探测信号上，得到一维的时间数据流，这一转换过程即是时间拉伸成像方法可以突破传统成像手段速度限制的重要原因。
一个典型的光学时间拉伸成像系统的构建如图2.1所示[2]，该系统由脉冲激光器、空间色散器、时间色散器、光电探测器、数字仪和信号处理部分组成。首先来自脉冲激光器的单个脉冲进入空间分散器，空间分散器将脉冲的光谱映射成一维或二维的光束，该光束照亮成像目标。脉冲的不同频率分量对应于目标上的不同空间坐标。编码目标的空间反射轮廓后的光束被返回到相同的空间分散器中，空间分散器又将这些光束重新组合回单个脉冲中。此时的单个脉冲已经包含了编码目标信息。然后脉冲进入时间分散器，时间分散器将脉冲的频谱映射或时间延伸为一维时间数据流。时间分散器还可以放置在空间分散器之前。时间数据流由单像素光电探测器检测，并由数字仪数字化，计算机信号处理模块将数字化信号进一步处理。在计算机上信号被映射到一维或二维矩阵以用于图像构建。
图2.1 典型的光学时间拉伸成像系统示意图
图2.1中表示了单个脉冲在每个阶段的演变情况，重复脉冲以用于重复图像的采集，这样的步骤使得激光器的脉冲重复速率等于光学时间拉伸成像系统的帧速率。在上述的整个过程中，转换的两个步骤非常重要。第一步是频率到空间的转换，这能够探测具有多个频率分量的成像目标的空间轮廓。第二步是频率到时间的转换，这能够对其中的编码成像目标的空间轮廓的频谱进行时间检测。
光学时间拉伸成像系统的组件都可以再拆换或添加其他组件，每个应用都可以以不同方式配置组件。下面主要讨论一些关键组件，以更了解光学时间拉伸成像系统的组件设置。
激光器通常是以10-100MHZ的重复率发生宽带光脉冲序列的锁模激光器。激光器的脉冲重复率等同于光学时延成像器的帧速率，在恒定帧速率下成像需要高激光稳定性。一般而言，使用1550nm光谱范围的锁模光纤激光器、1060nm光谱范围的掺镱光纤激光器，以及800nm光谱范围的钛宝石飞秒脉冲激光器。
空间分散器用于在空间上分离脉冲的不同频率分量，以便它们照射成像目标上的不同空间坐标。使用衍射光栅和棱镜作为空间色散器，可以产生一维彩虹光束的一维空间色散。使用一对虚拟成像相控阵（VIPA）[5-9]和衍射光栅作为空间色散器[10-12]，可以产生二维彩虹光束的二维空间色散。
时间分散器是光学拉伸成像系统中最重要的关键部件，主要用于将脉冲的频谱拉伸成一维的时间数据流，这一过程也称为色散傅里叶变换[13-14]。可以认为脉冲的时域波形是空间域中远场衍射图案的时间模拟。时间色散器可以是单模色散光纤、1550nm通信光谱范围内的色散补偿光纤或提供大模色散的特殊光纤，也可以是提供色模色散的多模光纤[15]，或者是提供依赖于波长的时间延迟的啁啾光纤布拉格光栅[16]。可以通过使用频谱编码或波分复用方法规避连续时间延伸的脉冲之间的潜在重叠，可以在不牺牲帧速率的情况下分离重叠的脉冲。
图2.2 实时测量光纤激光中孤子分子的实验装置图[36]
时间拉伸色散傅里叶变换（TS-DFT）是这项时间拉伸成像技术中的关键部分。TS-DFT在色散元件里完成，使光谱信息映射到时域上。近来也有团队提出利用TS-DFT技术，首次观测到锁模光纤激光器中孤子分子的完整形成过程。基于TS-DFT技术，人们实现了对光脉冲超快瞬时演化的实时探测，并对光孤子间的相互作用有了新的认识。刘雪明教授团队[36]采用锁模光纤激光实时测量系统，研究了孤子分子的超快动力学过程。从图2.2右侧锁模光纤激光系统输出的脉冲序列被分为三路进入图2.2左侧的测量系统，其中进入色散补偿光纤（DCF）传输的一路为TS-DFT测量。当光脉冲在DCF中传播时，受群速度色散的影响而被拉伸，同时光谱中不同的波长成分由于不同的传播速度而在时间上分离，脉冲因此而被拉伸，拉伸后的时域波形与脉冲光谱的形状一致，从而实现将光脉冲分布从频率域映射到时域。使用高速光电探测器接收被拉伸的脉冲信号，并通过高速示波器采样可分析脉冲光谱，能够实现远高于传统光谱仪的探测速率。
光电探测器是将光学时间拉伸信号转换为电信号以进行进一步图像处理的必要组件。遵循Nyquist-Shannon定理，为了获得信号的所有细节且不丢失图像中的任何精细特征，光电探测器的带宽至少比信号的最高频率大两倍。用于远程通信的高速光电探测器通常用于这一目的。
在光电探测器进行光电信号转换后，使用数字仪对模拟电信号进行采样和量化。经过时间拉伸处理后，携带成像目标空间轮廓的不同频率分量会在不同的时间到达数字仪，如果数字仪的采样率太低，将直接影响目标对象的关键信息。
信号处理是光学时间拉伸成像系统的重要组件，需要处理连续流的时间数据。信号处理器的功能是分割一维时间数据，并将这些分段映射到一维或二维空间中用于图像构建。在算法方面可以同时实现滤波和图像增强等图像处理算法，以提高图像质量。
光学时间拉伸成像技术的应用
由于光学时间拉伸成像技术的快速连续成像的能力，这一技术已经被应用于各种科学、工业和生物医学应用，例如表面检测、表面振动测量、粒子分析和细胞筛选中。
参考文献
[1] Goda K,Tsia K K,Jalali B. Serial time-encoded amplified imaging for real-time observation of fast dynamic phenomena.[J]. Nature,2009,458(7242).
[2] Cheng Lei, Baoshan Guo, Zhenzhou Cheng, Keisuke Goda. Optical time-stretch imaging: Principles and applications.[J]. Applied Physics Reviews 3,2016
[3] Mohammad H.Asghari,Bahram Jalali.Warped time lens in temporal imaging for optical real-time data compression[J].Chinese Science Bulletin,2014,59(22):2649-2654.
[4] Bosworth Bryan T,Stroud Jasper R,Tran Dung N,Tran Trac D,Chin Sang,Foster Mark A. High-speed flow microscopy using compressed sensing with ultrafast laser pulses.[J]. Optics express,2015,23(8).
[5] Hu Xinrong,Sun Qiang,Li Jing,Li Chun,Liu Ying,Zhang Jianzhong. Spectral dispersion modeling of virtually imaged phased array by using angular spectrum of plane waves.[J]. Optics express,2015,23(1).
[8] S. Xiao and A. Weiner.An eight-channel hyperfine wavelength demultiplexer using a virtually imaged phased-array (VIPA). IEEE Photon. Technol. Lett.2005,17(2), 372–374.
[9] M. Shirasaki.Chromatic-dispersion compensator using virtually imaged phased array. IEEE Photon. Technol. Lett. 1997,9(12), 1598–1600.
[11] G.-H. Lee, S. Xiao, and A. Weiner.Optical Dispersion Compensator With 4000-ps/nm Tuning Range Using a Virtually Imaged Phased Array (VIPA) and Spatial Light Modulator (SLM). IEEE Photon. Technol. Lett.2006,18(17), 1819–1821.
[12] V. Supradeepa, D. Leaird, and A. Weiner.A 2-D VIPA-grating pulse shaper with a liquid crystal on silicon (LCOS) spatial light modulator for broadband, high resolution, programmable amplitude and phase control.Annual Meeting of the IEEE Photonics Society,2010,494–495 .
[13] K. Goda, A. Mahjoubfar, C. Wang, A. Fard, J. Adam, D. R. Gossett, A. Ayazi, E. Sollier, O. Malik, E. Chen, Y. Liu, R. Brown, N. Sarkhosh, D. Di Carlo, and B. Jalali, Hybrid Dispersion Laser Scanner[J]. Scientific Reports, 2012, Vol.2 (1),218101-79.
[14] Chen Hongwei,Wang Chao,Yazaki Akio,Kim Chanju,Goda Keisuke,Jalali Bahram. Ultrafast web inspection with hybrid dispersion laser scanner.[J]. Applied optics,2013,52(17).
[15] Qiu Yi,Xu Jingjiang,Wong Kenneth K Y,Tsia Kevin K. Exploiting few mode-fibers for optical time-stretch confocal microscopy in the short near-infrared window.[J]. Optics express,2012,20(22).
[16] Dezfooliyan Amir,Weiner Andrew M. Photonic synthesis of high fidelity microwave arbitrary waveforms using near field frequency to time mapping.[J]. Optics express,2013,21(19).
[17] Xu Jingjiang,Zhang Chi,Xu Jianbing,Wong K K Y,Tsia K K. Megahertz all-optical swept-source optical coherence tomography based on broadband amplified optical time-stretch.[J]. Optics letters,2014,39(3).
[18] D. R. Solli, S. Gupta, and B. Jalali, Optical phase recovery in the dispersive Fourier transform. [J].Appl. Phys. Lett. 95, 2009.
[19] J. Chou, D. R. Solli, and B. Jalali, Amplified dispersive Fourier-transform imaging for ultrafast displacement sensing and barcode readin.[J] Appl. Phys. Lett. 2008.
[20] Ugawa Masashi,Lei Cheng,Nozawa Taisuke,Ideguchi Takuro,Di Carlo Dino,Ota Sadao,Ozeki Yasuyuki,Goda Keisuke. High-throughput optofluidic particle profiling with morphological and chemical specificity.[J]. Optics letters,2015,40(20).
[21] Chen Hongwei,Lei Cheng,Xing Fangjian,Weng Zhiliang,Chen Minghua,Yang Sigang,Xie Shizhong. Multiwavelength time-stretch imaging system.[J]. Optics letters,2014,39(7).
[22] Wei Xiaoming,Xu Jingjiang,Xu Yiqing,Yu Luoqin,Xu Jianbing,Li Bowen,Lau Andy K S,Wang Xie,Zhang Chi,Tsia Kevin K,Wong Kenneth K Y. Breathing laser as an inertia-free swept source for high-quality ultrafast optical bioimaging.[J]. Optics letters,2014,39(23).
[23] Guo Qiang,Chen Hongwei,Weng Zhiliang,Chen Minghua,Yang Sigang,Xie Shizhong. Fast time-lens-based line-scan single-pixel camera with multi-wavelength source.[J]. Biomedical optics express,2015,6(9).
[24] S. H. Kim, K. Goda, A. Fard, and B. Jalali, Optical time-domain analog pattern correlator for high-speed real-time image recognition.[J].Opt. Lett. 2011.
[25] Ali M. Fard, Ata Mahjoubfar, Keisuke Goda, Daniel R. Gossett, Dino Di Carlo, and Bahram Jalali.Nomarski serial time-encoded amplified microscopy for high-speed contrast-enhanced imaging of transp.[J]. Opt. Express 2011.
[26] 조지승, 정병묵, 박무진. Development of Real-Time Vision-Based Fabric Inspection System. 2003, 20(9):92-99.
[27] Bernard P. Binks, Ryo Murakami. Phase inversion of particle-stabilized materials from foams to dry water.[J]. Nature Materials, 2006, 5 (11), 865-869.
[28] U. Dusek, G. P. Frank, L. Hildebrandt, et al. Size Matters More Than Chemistry for Cloud-Nucleating Ability of Aerosol Particles. 2006, 312(5778):1375-1378.
[29] Nicholas J. Borys, Manfred J. Walter, Jing Huang, et al. The Role of Particle Morphology in Interfacial Energy Transfer in CdSe/CdS Heterostructure Nanocrystals. 2010, 330(6009):1371-1374.
[30] P. W. Stevens and D. M. Kelso, A microfluidic approach to assembling ordered microsphere arrays.[J]. Anal. Chem. 2003.
[31] Paul Lang, Karen Yeow, Anthony Nichols, Alexander Scheer. Cellular imaging in drug discovery.[J]. Nature Reviews Drug Discovery, 2006.
[32] Keisuke Goda, Ali Ayazi, Daniel R. Gossett, et al. High-throughput single-microparticle imaging flow analyzer. 2012, 109(29):11630-11635.
[33] Christian Conrad, Daniel W. Gerlich. Automated Microscopy for High-Content RNAi Screening. 2010, 188(4):453-461.
[34] Tiwari V, Sutton MA, McNeill SR Assessment of high speed imaging systems for 2D and 3D deformation measurements: Methodology development and validation. Exp Mech.2007,47:561–579
[35] Thoroddsen ST, Etoh TG, Takehara K High-speed imaging of drops and bubbles. Annu Rev Fluid Mech.2008,40:257–285.
[36] Liu Xueming,Yao Xiankun,Cui Yudong. Real-Time Observation of the Buildup of Soliton Molecules.[J]. Physical review letters,2018,121(2).
[37] Sumit Borah, Lisa A. Nichols, Lynn M. Hassman, Dean H. Kedes and Joan A. Steitz. Tracking expression and subcellular localization of RNA and protein species using high-throughput single cell imaging flow cytometry.[J].RNA.2012.18(8)：1573-1579.
[38] Nagrath S, et al. Isolation of rare circulating tumor cells in cancer patients by microchip technology. Nature.2007, 450:1235–1239.
[39] Calvert ME, Lannigan JA, Pemberton LF.Optimization of yeast cell cycle analysis and morphological characterization by multispectral imaging flow cytometry. Cytometry A.2008, 73:825–833.
[40] Saww R, Schmidt AG Embedded.Systems Design with Platform FPGAs: Principles and Practices (Morgan Kaufmann, New York).2010.
[41] Kilts S. Advanced FPGA Design: Architecture, Implementation, and Optimization (Wiley-IEEE Press, New York).2007.
[42] Eric D. Diebold, Brandon W. Buckley, Daniel R. Gossett, Bahram Jalali. Digitally synthesized beat frequency multiplexing for sub-millisecond fluorescence microscopy.[J]. Nature Photonics, 2013,7 (10):806-810.
[43] 王志,贺瑞敬,刘艳格.时间拉伸色散傅里叶变换在被动锁模光纤激光器研究中的应用[J].中国激光,2019,46(05):21-31.
[44] Wu Jiang-Lai,Xu Yi-Qing,Xu Jing-Jiang,Wei Xiao-Ming,Chan Antony Cs,Tang Anson Hl,Lau Andy Ks,Chung Bob Mf,Cheung Shum Ho,Lam Edmund Y,Wong Kenneth Ky,Tsia Kevin K. Ultrafast laser-scanning time-stretch imaging at visible wavelengths.[J]. Light, science & applications,2017,6(1).