摘要
传统的单图像运动去模糊广泛采用粗到细的方案，但在深度学习中，现有的多尺度算法不仅需要复杂的模块融合低尺度RGB图像和深层语义信息，而且还要手动生成低分辨率的图像对，这些对的可信度不足。为此，我们提出了一种基于单输入多输出（SIMO）的多尺度网络，用于运动去模糊，简化了基于粗到细方案的复杂性。
为了改善多尺度架构带来的细节损失，我们结合了真实模糊轨迹的特性和可学习的离散小波变换模块，关注模糊到清晰图像的逐步变化中的方向连续性和频率信息。
总结而言，我们提出的MLWNet（带有可学习离散小波变换的多尺度网络）在多个真实世界去模糊数据集上都达到了优异的性能，无论是主观还是客观指标，以及计算效率。
引言
在频域引入变换，将其作为空间域变换的替代方案，帮助算法关注不同频段。本文考虑采用离散小波变换（DWT），理由如下：
- 许多先进的去模糊算法引入傅里叶变换（DFT）作为频率先验，用以识别和保留高频和低频信息[10, 19, 42]。与DFT相比，DWT更适合处理具有突发信号的图像[5]。
- 真实模糊和合成模糊在分布上差异很大[24]。真实模糊受摄像头快门时间影响表现出方向性[29]，即模糊轨迹区域连续。而合成模糊轨迹不自然且不连续。利用DWT可以揭示模糊的方向性，区分不同方向上的变化，为去模糊提供有价值的指导。
为了让2D-DWT更贴合数据分布和特征空间，我们采用群卷积实现自适应数据分布，将特征空间从空间域转到小波域，产生不同频率和方向的子信号，再设计小波损失，通过自监督约束其学习。实验结果表明，该方法在准确性和效率方面均表现出色（见图1）。
总结贡献：
- 提出一种单输入、多输出（SIMO）的多尺度渐进式去模糊网络，简化结构并提升效率。
- 构建一个可学习的小波变换节点（LWN），提供频率和方向的调控，增强高频细节的恢复能力。
- 设计合理的多尺度和自监督损失，引导模型逐像素、逐尺度进行优化，限制小波变换的学习方向。
- 在多个运动模糊数据集及真实场景下验证，取得了具有竞争力的结果。
相关工作
单尺度去模糊算法
近年来，图像去模糊技术快速发展[2, 10, 11, 14, 39, 40]。为了保留更丰富的图像细节，Kupyn等[11]将去模糊视为一种图像到图像的转换，首次使用生成对抗网络（GAN）恢复更丰富的细节。为了提供一个高质量且简单的基线，Chen等[2]提出了一种不依赖非线性激活的网络，获得了优异的结果。Zamir等[38]设计了一种带有编码-解码架构的transformer模型，可用于更高分辨率的图像，并利用了跨通道注意力机制。Kong等[10]采用了基于领域的自注意力解决方案，以减少transformer的复杂度和抑制伪影。然而，这些单尺度算法直接估算复杂的恢复问题，可能需要设计更复杂的恢复器，在效率方面并不理想[9]。
多尺度去模糊算法
多尺度运动去模糊方法旨在通过多阶段或多子网络的方式实现逐步恢复。在图像去模糊领域，早期的多尺度算法基于多输入多输出（MIMO）[3, 13, 20, 21, 27]。最近，Cho等[3]提出了MIMO-UNet，它用单个多输出解码器和单一编码器模拟多个堆叠的尺度结构，从而大大简化了复杂度。Zamir等[37]设计了一种多阶段渐进式图像恢复网络，以简化多个子网络之间的信息流。正如第3.1节所示，我们提出的多尺度方法进一步简化了多尺度网络的结构，更好地平衡了精度和复杂度。
频率在去模糊中的应用
频率是图像的重要特性，近年来，频域被引入到许多深度神经网络，用于解决各种任务[10, 22, 25, 32, 35, 41]。Mao等[19]提出了DeepRFT，将基于傅里叶变换的残差模块引入到先进算法中。Kong等[10]设计了FFTformer，将傅里叶变换引入到前馈网络中，有效利用不同频率信息。Zou等[42]提出了SDWNet，将频域信息作为空间域信息的补充。但与这些方法不同的是，我们引入了可学习的二维小波变换（2D-DWT），能够自适应数据分布和特征空间，更适合处理具有复杂变化信号的数字图像和真实模糊。
多尺度基础模型
我们提出的多尺度网络保持编码-解码架构，但将原始高分辨率图像作为输入，逐步恢复不同尺度的清晰图像，从而避免了处理不同尺度的RGB图像时融合模块带来的复杂性。为了便于理解，本文将依次介绍编码阶段、多尺度语义融合阶段（以下简称“融合”阶段）和解码阶段。如图2所示，编码阶段由多个灰色的简单编码块（SEB）组成，信息沿着从上到下的流程进行特征提取；融合阶段由多个绿色的小波融合块（WFB）组成，信息沿着从下到上的流程进行不同尺度的语义融合；解码阶段由多个紫色的小波头块（WHB）组成，上下流动的信息帮助逐步恢复图像。
（1）与WHB不同，SEB用1×1卷积调整通道数，3×3深度卷积进行特征提取。编码阶段负责全面提取特征，每个块后对特征图进行一次下采样，并将特征图传递到融合阶段或解码阶段
（2）融合阶段将编码阶段不同尺度的深层语义信息融合，生成中间特征表示
（3）解码阶段利用编码和融合阶段传递的信息，逐步上采样特征图，在每个尺度生成预输出特征。每个解码块后接一个3×3卷积，用于在各尺度生成修复图像。为了提升推理效率，只有最高尺度的输出在测试阶段直接用于计算多尺度损失，其他尺度的输出仅在训练中使用。这种设计类似于辅助头，有助于模型更好地学习到一致的还原特征。
可学习离散小波变换（LWT）
为了缓解多尺度结构在细节信息恢复方面的不足，我们设计了LWN（可学习小波变换节点），并基于它构建了WFB（小波融合块）和WHB（小波头块）。与傅里叶变换不同，小波变换具有自适应的时频分辨率，特别适合处理含有丰富突变信号的数字图像。在与深度神经网络结合方面，小波变换逐渐得到重视[7, 16, 18, 34]。
首先，为了易于理解，介绍一维离散小波变换（1D-DWT）。对于输入的离散信号t，定义小波函数ψj,k(t)=2j/2ψ(2jt−k)（尺度因子jj，时间因子kk）和尺度函数φj,k(t)=2j/2φ(2jt−k)
原始信号在小波基上的分解过程本质上是用特定滤波器对信号进行逐步卷积，每一步步长为2。同样，逆变换能通过转置卷积（反向滤波）实现。将以上扩展到二维（2D）后，可以有效提取沿轴的高频信息。图3(b)展示了2D小波卷积核的构建过程
小波卷积作为分组卷积实现，输入特征映射Xin，经过小波变换后得到低频、水平高频、垂直高频和对角高频的特征映射Xout，形状为(4C,H/2,W/2)。逆变换也通过相应的核实现，将特征还原到空间域。为了确保小波变换核的正确学习，并避免其退化为普通的分组卷积导致性能下降，我们引入“完美重建”原则[16, 34]作为约束。
在小波卷积之后，为了实现频域的恢复，我们将输入的X小波域分量进行单独拆分，使用深度可分离卷积（depthwise convolution）与扩展因子r对小波特征进行提取和变换，后续通过1×1卷积进行通道扩展和缩放，最后利用学得的小波逆变换将特征映射还原到空间域输出，这个过程构成了LWN（可学习小波变换）。遵循[2]的设计规则，构建了结构类似的Wavelet Head Block（WHB）和Wavelet Fusion Block（WFB），它们都以LWN为基础模块，用于不同尺度的语义融合和多尺度输出，具体为：
- WHB在WFB后加入恢复卷积分支，用于还原图像
https://arxiv.org/pdf/2401.00027
https://github.com/thqiu0419/MLWNet
