计算机技术的发展为全息三维显示注入了新的发展活力。计算机技术和全息三维显示技术融合形成的交叉技术被称为计算全息显示技术。该技术极大降低了光路和材料对全息三维显示的限制，具有广阔的应用前景。当前，计算全息显示技术的挑战主要是如何同时保证全息算法的精度和速度[7]。全息图的计算过程需要使用随机相位模拟三维场景的表面散射特性，但随机相位常导致全息重建结果的散斑噪声和细节丢失[8−10]。迭代优化策略可以显著抑制随机相位对全息重建结果的影响，但迭代过程需反复执行衍射计算，严重限制了全息图的生成效率[11−12]。近年来，深度学习技术的发展为全息图的快速生成提供了有力的工具。当前，基于深度学习的全息图生成网络可分为数据驱动和模型驱动2大类型[13−16]。其中，数据驱动网络构造简单、推理高效，但推理精度依赖训练集的规模和质量；模型驱动网络使用了基于物理模型的解码器，降低了网络对训练集规模和质量的依赖，是计算全息显示领域当前的热点研究方向。提升解码器精度、获得更高的光学重建精度是模型驱动网络的重要追求。
为了实现高保真相位型全息图的快速生成，本文提出了卷积误差消除的模型驱动相位型全息图生成网络。首先，为了获得更高的光学重建精度，研究了角谱法中卷积误差的产生机制，提出了无卷积误差的角谱法，开发了基于无卷积误差角谱法的迭代框架，证实了该方法在相位型全息图生成中的有效性；在此基础上，构建了卷积误差消除的模型驱动相位型全息图生成网络，实现了高保真相位型全息图的快速生成，显著降低了全息图的计算时间，并在光学重建中获得了理想的图像质量。
1 角谱法卷积误差的产生机制和消除方法
本文将以二维图像为例，首先阐明卷积误差的产生机制。对于二维图像，角谱法可由下式描述：
(1)式中，EO（x, y）为物平面的振幅分布，z0为物平面到全息平面的距离，φ（x, y）为叠加的初始相位，λ为入射波长，FT为傅立叶变换，u和v分别为水平和竖直方向的空间频率。
角谱法的基准面为全息平面，其深度设定为z = 0。为便于推导，将式（1）进一步简化为一维形式：
(2)使用hz表示卷积核，式（2）可改写为卷积形式：
(3)式中，*为卷积符号。
式（3）可精确描述光学全息图的生成机制。但是，在计算全息中，全息平面的复振幅分布需要通过数值计算而获得。考虑到数值计算的离散性，物平面的振幅分布和卷积核均需要离散采样。此时，式（3）被改写为离散形式：
(4)式中，N为数值计算的离散采样数，n为[0, 2N−1]之间的整数，m为[0, N−1]之间的整数。
(5)式中，⊗为循环卷积符号，L为循环卷积的运算周期，（（·））L表示除以L后的余数，RL（n）表示以L为周期的延拓。
由式（4）和式（5）可推导出线性卷积和循环卷积的转换关系：
(6)式中，r表示任意整数。
可见，为防止周期延拓带来的混叠误差，循环卷积的延拓周期L应大于线性卷积的采样数：
(7)2 面向相位型全息图的无卷积误差角谱法迭代框架
2.1 基于无卷积误差角谱法的迭代框架
实验中，全息图需使用空间光调制器（spatial light modulator，SLM）加载。当前，动态SLM难以同时加载振幅和相位，需要将式（6）得到复振幅进行编码。本文使用相位型SLM加载全息图，全息图编码时将复振幅的振幅分量完全舍弃：
(8)式中，arg表示提取复振幅的辐角。
式（8）所述的相位型全息图由于振幅分量丢失，光学重建质量显著下降。为验证无卷积误差的角谱法能否用于相位型全息图的优化，本文开发了基于无卷积误差角谱法的迭代框架，该框架工作流程可分解为5个步骤，如图 1所示。
步骤1：设置全息平面的复振幅。考虑到本文中全息图的纯相位特性，全息平面的强度分量被设置为均匀分布的单位强度矩阵。第一次迭代中，全息平面的相位分量可设置为任意的相位矩阵，其补零前分辨率为Nx × Ny，补零后分辨率为2Nx × 2Ny。第二次及随后的迭代中，全息平面的相位分量由步骤5获得。
步骤2：计算角谱法正向传播结果。角谱法正向传播指全息平面到物平面的传播，其数学形式为：
(9)正向传播的输入是步骤1得到的全息平面复振幅分布，输出是物平面的复振幅分布。数值计算时，式（9）中的FT和逆FT分别通过FFT和逆FFT算法实现。在逆FFT运算前，需对传递函数进行补零，将其由Nx × Ny扩展至2Nx × 2Ny。
步骤3：设置物平面的复振幅。物平面的振幅分量是将目标图像补零扩展后得到的强度矩阵，其分辨率由Nx × Ny扩展至2Nx × 2Ny；物平面的相位分量是步骤2计算获得的相位矩阵，该相位矩阵通过舍弃复振幅的振幅分量获取。
步骤4：计算角谱法反向传播结果。角谱法反向传播指物平面到全息平面的传播，其数学形式由式（1）表示。与步骤2相同，本步骤中的FT和逆FT分别通过FFT和逆FFT算法实现，传递函数也需要由Nx× Ny扩展至2Nx × 2Ny。反向传播的输入是步骤3得到的物平面的复振幅分布，输出是全息平面的复振幅分布。
步骤5：设置全息平面的相位。步骤4输出的复振幅分辨率为2Nx × 2Ny，根据该复振幅提取得到的相位分量分辨率也为2Nx × 2Ny。该相位分量的边缘部分对应了目标图像的补零区域，对全息重建的影响较为有限，是相位分量的无效区域。相位分量的中心部分主要用于重建目标图像，是相位分量的有效区域，该区域的分辨率仅为Nx × Ny。换句话说，步骤4获得的相位分布存在极大的空间带宽积冗余。为了提升系统的空间带宽积利用率，本步骤先提取复振幅的相位分量，随后舍弃该相位分量的边缘部分，只保留分辨率为Nx × Ny的中心区域。在迭代过程中，为避免步骤2产生卷积误差，本步骤通过补零将中心区域的分辨率拓展至2Nx × 2Ny；在迭代达到预设次数NLayer时，最终输出的相位分量不做补零拓展，分辨率仍为Nx × Ny。这个未经拓展的相位分量就是迭代框架最终输出的相位型全息图。
2.2 光学重建结果
为了评估无卷积误差角谱法迭代框架对相位型全息图的优化能力，本文搭建了彩色全息光学显示系统，该系统的原理和实物分别如图 2（a）和图 2（b）所示。系统使用的照明光源是Fisba ReadyBeam多波长激光二极管。光源发出的光束被光阑限制口径，随后被凸透镜准直。准直的平面波经过分束镜反射，照射型号为Holoeye Gaea-2 Vis的相位型SLM。SLM表面加载了目标图像的相位型全息图。考虑到相位型SLM的偏振敏感特性，彩色全息光学显示系统中还放置了偏振片。被相位型全息图所调制的光波经SLM反射后再次经过分束镜，最后在预设距离处实现光学重建，相应的重建结果被Cannon 60D数码相机所采集。为减少杂散光对全息重建质量的影响，光学显示系统中分束镜和数码相机之间还放置了第二块光阑。
待重建的目标图像如图 2（c）所示。实验中，物平面到全息平面的距离为100 mm。为实现彩色重建，本文提取了目标图像的红色、绿色和蓝色通道，以638 nm、520 nm和450 nm为中心波长计算获取了对应的相位型全息图，并时序加载到了相位型SLM的表面上。在时序显示方案中，由于红色、绿色和蓝色通道对应的相位型全息图是分别单独计算的，不同颜色通道不存在因波长导致的重建尺寸差异，因此无需在计算时根据波长对目标图像做缩放预处理。全息光学显示系统的驱动电路保证了激光二极管发光通道和相位型全息图颜色通道的同步。数码相机时序采集红色、绿色和蓝色通道的全息重建结果，利用通道合成技术实现了彩色目标的全息光学重建。为降低全息光学重建结果的色差，本文中激光二极管红色、绿色和蓝色通道的发光强度分别设置为最大发光强度的100%、100% 和10.1%。
使用无卷积误差非迭代框架、有卷积误差迭代框架和无卷积误差迭代框架分别计算目标图像的相位型全息图并进行光学重建，对应的重建结果如图 2（d）~2（f）所示。其中，图 2（e）和2（f）对应的相位型全息图均经过了100次迭代计算。非迭代框架下，全息光学重建结果的细节质量较差，散斑噪声和色差较为显著，图像平均PSNR值为16.40 dB；有误差的迭代框架下，全息光学重建结果的细节质量更为受限，散斑噪声和色差也更为严重，图像平均PSNR值下降为14.93 dB；无误差迭代框架下，全息光学重建结果的细节质量显著提升，散斑噪声和色差被显著抑制，图像平均PSNR值上升至19.93 dB。可以看出，迭代过程不一定会提升相位型全息图的重建质量。在卷积误差没有消除时，迭代过程对全息重建质量的影响甚至是负面的。只有消除卷积误差后，迭代过程才会显著地提升相位型全息图的光学重建质量。比较光学重建结果中USAF-1951分辨率板的最细解析线、狒狒的胡须和皇冠上的珠宝，可以验证无卷积误差角谱法迭代框架对相位型全息图重建质量的提升能力。也就是说，无卷积误差角谱法能够用于相位型全息图的优化。因此，以无卷积误差角谱法为支撑，本文构建了模型驱动的相位型全息图生成网络。
3 模型驱动的相位型全息图生成网络
3.1 卷积误差消除的模型驱动相位型全息图生成网络
无卷积误差迭代框架面临的最大挑战是计算速度受限。计算一张4K分辨率的相位型全息图，该迭代框架消耗的时间为611.24 s。为了提升全息图的计算效率，本文将无卷积误差角谱法应用在了模型驱动深度学习网络中，提出了卷积误差消除的模型驱动相位型全息图生成网络，如图 3（a）所示。该网络由UNet编码器和无卷积误差角谱法解码器构成。网络训练完成后，U-Net编码器可以单独取出，作为相位型全息图的生成工具。
U-Net编码器由一条下采样路径和另一条上采样路径构成，网络的输入是目标图像，输出是对应的相位型全息图，二者分辨率均为Nx × Ny，如图 3（b）所示。其中，下采样路径包含6个下采样模块和6个残差模块，每个下采样或残差模块均包含一个3 × 3卷积层、一个ReLU函数和两组批归一化（batch normalization，BN）运算，且残差模块总是叠加在相应的下采样模块上；上采样路径包含6个上采样模块，每个上采样模块均基于亚像素卷积思想设计[23]，可分解为卷积层和转换层，设置卷积层是为了增加通道数，而设置转换层则是为了重新设置数据结构。为了缓解网络训练的退化问题，下采样路径中的残差模块通过跳跃连接到达相应的上采样模块。上采样路径的末端包含一个tanh函数层，用以将输出结果的相位限制在[-π, π]的范围内。
(10)式中，${\bar I}$r为重建图像像素值的平均值。
3.2 光学重建结果
模型驱动相位型全息图生成网络在Matlab中完成训练和测试。训练和测试使用的硬件平台CPU型号为Intel Xeon Gold 6248R，GPU型号为NVIDIA Quadro GV100。DIV2K_train_HR和DIV2K_valid_HR两个数据集分别作为网络的训练集和测试集。定义使用训练集全部样本对网络进行一次训练的过程为一个epoch，本文中训练过程包含了40个epoch。对于彩色图像，红、绿、蓝3个颜色通道的中心波长分别为638 nm、520 nm和450 nm；全息平面和物平面的间距为300 mm。完成训练和测试，随后的推理过程只使用U-Net编码器作为相位型全息图的生成网络。
使用图 2（a）所示的彩色全息光学显示系统对相位型全息图进行光学重建，验证模型驱动相位型全息图生成网络的计算性能。为了实现全彩色光学重建，网络分别计算了目标图像红、绿、蓝通道对应的相位型全息图，并按照时间顺序分别加载在相位型SLM上。使用相机采集3个通道的光学重建结果，通过通道合成获取目标图像的彩色光学重建结果。
结果表明，训练完成的模型驱动网络可在0.15 s内推理获得4K分辨率单色图像对应的相位型全息图。相比非迭代框架和迭代次数为100的无卷积误差迭代框架，模型驱动网络将相位型全息图的计算时间由6.49 s和611.24 s提升至0.15 s，计算速度分别提升了43倍和4075倍；光学重建结果的平均PSNR值由16.40 dB和19.93 dB提升至20.38 dB，提升幅度分别为3.98 dB和0.45 dB。如图 4所示，总体上看，模型驱动网络的光学重建结果拥有更弱的散斑噪声，细节重建质量和迭代框架相比也非常接近。
4 全息图计算生成方法在三维显示中的应用
4.1 面向三维显示的迭代框架和模型驱动网络
数值计算时，式（2）所描述的目标图像振幅分布和角谱传递函数均会被离散采样，FT和逆FT运算分别由FFT和逆FFT算法实现。此时，式（2）可写为离散运算形式：
(11)式中，un为u的离散形式，Hz0（un）为离散形式的角谱传递函数，IFFT表示逆FFT算法。
通过补零，采样窗口的尺寸由N扩大为2N。设Δ x为物平面的采样间隔，经过第一次FFT运算，傅里叶频谱面的采样间隔Δu和采样窗口尺寸Lu满足如下关系：
(12)式中，Δx为物面的采样间隔。
傅里叶频谱面上，FFT的运算结果需要与角谱传递函数Hz0相乘。为避免引入采样误差，角谱传递函数也采用式（12）的采样参数。
逆FFT运算可视为传播距离相等但方向相反的FFT运算。相应的，逆FFT运算后全息平面的采样间隔Δ′x和采样窗口长度L′x可表示为：
(13)式中，Lx为物面的采样窗口。
步骤1：场景切分。在特定的波前传播方向上，三维目标本质上就是投影在一系列正交平面上的二维强度分布。因此，本方法基于这一特性，首先将三维目标分割为到全息平面距离不同的NLay张二维强度图像。
步骤2：单层计算。使用无卷积误差迭代框架或模型驱动相位型全息图生成网络，分别计算二维图像序列中每张二维图像的相位型全息图。
步骤3：多层合成。合成获取整个三维目标的相位型全息图时，需要对每张二维图像的相位型全息图进行边界对齐和相位校准，避免全息重建时产生像素串扰而降低显示质量。
4.2 光学重建结果
为了验证无卷积误差迭代框架和模型驱动相位型全息图生成网络在三维光学重建中的效果，本文使用4张二维图像组成了一幅如图 6（a）所示的三维目标图像。全息平面到4个离散物平面的距离分别为100 mm、105 mm、110 mm和115 mm。利用迭代框架或生成网络分别计算4张二维图像在全息平面上的相位分布，进行边界对齐和相位校准后进行叠加，最终可得到三维目标的相位型全息图。迭代框架和模型驱动网络获得的相位型全息图在不同距离的光学重建结果分别如图 6（b）和6（c）所示。可以看出，当重建距离不同时，不同深度上的目标图像得以清楚重建，光学重建结果能够呈现出不同平面的离焦效果。全息光学重建结果具有较高的细节质量，散斑噪声的抑制能力也相当优异。
值得注意的，模型驱动网络生成的相位型全息图在2个方面明显区别于无卷积误差迭代框架。第一，重建距离变化时，通过模型驱动网络生成的相位型全息图，其重建结果未随深度呈现显著的变化。如图 7所示，以左上角飞机图片为例，当重建距离由100 mm变化至115 mm时，无卷积误差迭代框架的重建结果变化剧烈，图像信息几乎无法辨认；但模型驱动网络的重建结果变化程度较小，可以在很大程度上辨认出图像信息。导致这一现象的主要原因是当前网络在下采样过程中舍弃了高频信息，抑制了重建结果的梯度变化。未来在设计深度学习网络时，可以考虑增加网络模块以保留尽可能多的高频成分，或者采用Transformer等网络构型避免过多的下采样操作。第二，当红、绿、蓝3个颜色通道的激光功率保持不变时，模型驱动网络的光学重建结果相比无卷积误差迭代框架存在色差。这一现象说明，当不同颜色通道的照明光强度不变时，通过模型驱动网络获得的相位型全息图目标重建级次的能量相对于无卷积误差迭代框架发生了改变，最终在通道合成时致使图像色彩发生了偏移。这种色彩偏移现象很可能源于相位型全息图衍射效率的变化，我们计划在未来的研究中开展系统性探索。
5 结语
本文针对当前计算全息显示技术难以同时兼顾算法精度和速度的挑战，提出了卷积误差消除的模型驱动相位型全息图生成网络。该网络由编码器和解码器两部分组成。为了基于角谱法设计解码器，研究了角谱法中存在的卷积误差，提出了无卷积误差的角谱法；为了验证无卷积误差角谱法对于相位型全息图的有效性，开发了相应的迭代框架，在光学实验中将重建结果的平均PSNR值提升了3.53 dB，证实了无卷积误差角谱法对于相位型全息图计算任务的有效性。利用无卷积误差角谱法作为解码器，构建并训练了模型驱动的相位型全息图生成网络。该网络可在0.15 s内推理获得4K分辨率单色图像对应的相位型全息图，相比迭代次数为100的无卷积误差迭代框架，计算速度提升了3个数量级，并且在光学重建中获得了更高的平均PSNR值和更弱的散斑噪声。未来，我们将会进一步提升该网络的深度梯度显著性和通道效率一致性，推动其应用于虚拟现实、元宇宙和三维视频通讯等领域。
