深度学习水论文：mamba＋图像增强

🧀当前视觉领域对高效长序列建模需求激增，对Mamba+图像增强这方向的研究自然也逐渐火热。原因在于其高效长程建模，以及动态计算优势，在图像质量提升和细节恢复方面有难以替代的作用。

 

 🧀因此短时间内，就有不少Mamba+图像增强的成果陆续发表，比较突出的有字节等团队提出的图像恢复网络VmambaIR，仅使用26%的计算成本就实现了超越SOTA的重建精度，还有华为诺亚方舟实验室等提出的基于Mamba的图像增强方法TAMambaIR，计算效率起飞。 

 

为帮助大家紧跟领域发展，我总结了11篇热点研究成果，有代码的也都有

我还整理出了相关的论文+开源代码，以下是精选部分论文

 

 

论文1

标题：

MambaUIE: Unraveling the Ocean's Secrets with Only 2.8 GFLOPs

仅用2.8 GFLOPs解开海洋秘密的MambaUIE

方法：

• Mamba架构：基于状态空间模型（SSM）的Mamba架构，能够以线性复杂度对长距离依赖关系进行建模。

• 动态交互-视觉状态空间块（DI-VSS）：引入视觉状态空间（VSS）块来捕获全局上下文信息，同时挖掘局部信息。

• 空间前馈网络（SGFN）：设计SGFN来处理DI-VSS获得的特征图，进一步增强Mamba的局部建模能力。

• 动态交互块（DIB）：通过空间交互（S-I）和通道交互（C-I）操作，动态地对两个分支的特征图进行加权，以更好地融合全局和局部信息。

创新点：

• 首次将Mamba应用于UIE任务：打破了FLOPs对UIE准确性的限制，为未来探索更高效的UIE提供了新的基准。

• 性能提升：相比之前的方法，MambaUIE在UIEB数据集上将GFLOPs降低了67.4%（从2.715G降低到2.8 GFLOPs），同时在PSNR和SSIM指标上取得了最佳性能。

• 全局与局部信息融合：通过DI-VSS和DIB的设计，有效地将全局和局部信息结合在一起，提高了模型的准确性和效率。

 

论文2

标题：

Mamba-UIE: Enhancing Underwater Images with Physical Model Constraint 

Mamba-UIE：用物理模型约束增强水下图像

方法：

• 物理模型约束框架：基于修订的水下图像形成模型，将输入图像分解为四个组件：水下场景辐射度、直接传输图、后向散射传输图和全局背景光。

• Mamba-UIE网络：结合CNN和Mamba的混合架构，利用Mamba在通道和空间层面上对长距离依赖关系进行建模，同时保留CNN主干以恢复局部特征和细节。

• 重建一致性约束：在重建图像和原始图像之间应用重建一致性约束，以实现对水下图像增强过程的有效物理约束。

创新点：

• 物理模型约束：通过引入物理形成模型，考虑了图像形成过程中的物理定律和现实世界特征，提高了生成图像的真实性和鲁棒性。

• 性能提升：在UIEB数据集上，Mamba-UIE实现了27.13的PSNR和0.93的SSIM，超越了现有的最先进方法。

• 全局与局部依赖关系建模：通过结合CNN和Mamba，同时实现了全局和局部依赖关系的建模，提高了图像增强的效果

 

论文3

标题：

O-Mamba: O-shape State-Space Model for Underwater Image Enhancement

O-Mamba：O型状态空间模型用于水下图像增强

方法：

• O型双分支网络：采用O型双分支网络分别对空间和跨通道信息进行建模，利用状态空间模型的高效全局感受野。

• 多尺度双向促进模块（MSBMP）：设计MSBMP模块以增强两个分支之间的信息交互，并有效利用多尺度信息。

• 多尺度混合专家（MS-MoE）：在每个分支内融合多尺度信息，通过多个Mamba专家学习不同尺度的特征表示。

• 循环多尺度优化策略（CMS）：通过循环优化不同尺度的损失，减少同时优化多个尺度损失时的潜在冲突。

创新点：

• 双分支结构：通过空间Mamba分支和通道Mamba分支，从不同维度对水下图像增强过程进行建模，空间分支起主导作用，通道分支从通道维度进行补充。

• 性能提升：在多个数据集上实现了SOTA性能，例如在LSUI数据集上，PSNR从29提升到30，SSIM从0.9139提升到0.9245。

• 多尺度信息利用：通过MS-MoE和CMS策略，充分利用多尺度信息，提高了模型对不同尺度特征的建模能力。

 

 

论文4

标题：

PixMamba: Leveraging State Space Models in a Dual-Level Architecture for Underwater Image Enhancement

PixMamba：利用状态空间模型的双层架构进行水下图像增强

方法：

• 双层架构：PixMamba包含两个关键组件：用于重建增强图像特征的Efficient Mamba Net（EMNet）和用于确保增强图像全局一致性的PixMamba Net（PixNet）。

• Efficient Mamba Net（EMNet）：结合Efficient Mamba Block（EMB）进行高效的块级特征提取和依赖关系建模，以及Mamba Upsampling Block（MUB）进行细节保留的上采样。

• PixMamba Net（PixNet）：在像素级别处理整个图像，捕获全局视图中的详细特征，通过Block-wise Positional Embedding（BPE）提供空间信息。

• 状态空间模型（SSM）：利用SSM的线性复杂度和长距离建模能力，实现高效的全局依赖关系建模。

创新点：

• 双层处理：通过结合块级和像素级处理，PixMamba能够同时增强微观细节和宏观图像质量，性能优于仅依赖跳过连接的方法。

• 性能提升：在C60数据集上，UIQM从2.667提升到2.868，UCIQE从0.574提升到0.586；在UCCS数据集上，UCIQE从0.55提升到0.561。

• 计算效率：通过引入Mamba Upsampling Block（MUB）和Block-wise Positional Embedding（BPE），在保持高效计算的同时，提高了图像增强的质量。