朱利安，张 鸿
（1.武汉科技大学 计算机科学与技术学院，武汉 430065；
2.智能信息处理与实时工业系统湖北省重点实验室（武汉科技大学），武汉 430065）
在雾天情况下，由于大气中存在大量的悬浮颗粒和小水滴等介质，导致拍摄照片的质量大幅下降。有雾图像通常会出现对比度和饱和度损失、颜色失真、边缘信息丢失等现象，降低人们的视觉对场景信息的感知能力；
同时，有雾图像也会严重影响图像分类、自动驾驶、交通监控等计算机视觉领域。所以，图像去雾是一项重要的任务。雾天成像过程经常会用大气散射模型［1］来表示，模型公式如下：
其中：x是图像的像素坐标位置，I(x)是有雾图像，J(x)是无雾图像，t(x)是透射率，A是全球大气光值。透射率t(x)可由如下公式表示：
其中：β是散射系数，d(x)是场景深度。
近年来，图像去雾一直是非常具有挑战性的任务。去雾的方法主要有基于先验的方法和基于学习的方法两种。基于先验的方法主要根据大气散射模型，通过手工制作的先验来计算透射率t(x) 和全球大气值A，如暗通道先验（Dark Channel Prior，DCP）［2］；
然而，这些方法的性能取决于先验的准确性，在特殊的场景中很难估计透射率和大气光值。特别在非均匀去雾数据集中，雾霾分布非常复杂，雾霾密度与图像深度的相关性不强，手工制作先验的方法会出现比较大的误差，因此，基于先验的方法已不是好的选择。基于学习的方法也分为两种：一种通过神经网络［3］来估计中间参数，然后再用大气散射模型来恢复有雾图像，由于缺乏真实的数据和准确的先验，可能会导致性能降低；
另一种基于学习的方法［4-5］是通过神经网络来学习有雾图像和无雾图像之间的映射，以端到端的方式直接恢复有雾图像。但是，这些网络都只采用编码-解码型的结构，单一的网络结构需要大量的训练数据，当数据规模很小时，去雾的效果会显著降低；
同时，由于雾霾分布不规律，这些神经网络结构很难提取出细致的纹理特征。
最近，生成对抗网络（Generative Adversarial Network，GAN）［6］在图像翻译、超分辨率等领域表现出了很好的性能。为了处理非均匀去雾数据集，在受到多分支网络［7］的启发后，本文在原始生成对抗网络的基础上进行更改，提出了一个双分支生成器的条件生成对抗网络（Conditional GAN with Dual-Branch generators，DB-CGAN），输入有雾图像，能直接输出无雾图像。该网络的生成器包含两个分支：第一个是增强的U-net［8］网络分支，使用了同层级连接的增强策略SOS（Strengthen-Operate-Subtract）模块［5］和用于非相邻层级连接的深度特征融合（Dense Feature Fusion，DFF）模块［5］来作为网络的一部分，增强图像的特征恢复，同时保存特征提取时的空间信息。实验结果表明，在小规模非均匀数据集上具有较好的性能。另一个分支是由多个残差通道注意力块组成的注意力网络，使网络能够专注于更有用的通道，旨在最大限度地提取更多的高频细节特征。并且，第一个分支起到一定的泛化作用，防止第二个分支网络过拟合。最后，通过一个简单有效的融合子网来进行特征融合，使生成的图像更加接近于目标图像。
概括地来说，本文的主要工作包括以下3 个方面：
1）提出了一种双分支生成器的GAN 去雾网络，生成器中，一个分支基于U-net 架构，另一个分支基于通道注意力模块来增强网络的特征学习能力。
2）在原U-net 上，加入了用于同层级连接的SOS 模块和用于非相邻层级连接的DFF 模块来增强图像的特征恢复，同时保存特征提取时的空间信息。
3）考虑到生成器中的两个分支不同的特征表达，设计了一个简单有效的融合子网来融合这两个分支。
1.1 单幅图像去雾
近年来，图像去雾任务引起了计算机视觉界的广泛关注。研究人员提出了多种图像去雾的方法，这些方法大致可以分为基于先验统计的传统方法和基于数据驱动的深度学习方法两类。
基于先验的方法利用先验统计知识，并利用手工制作的特征进行图像去雾。He 等［2］提出的暗通道先验（DCP）假设在大部分非天空区域，至少有一个通道的数值趋近于零，从此可以估计透射率和全球大气光。Zhu 等［9］提出的颜色衰减先验（Color Attenuation Prior，CAP）基于有雾图像的亮度和饱和度之差，创建一个线性模型来估计场景深度。虽然基于先验的方法在一定条件下对去雾有良好的效果，但是当先验不成立时，这些去雾方法的效果较差。
Cai 等［3］提出的DehazeNet 是第一个基于深度学习的去雾模型。它采用卷积神经网络（Convolutional Neural Network，CNN）来估计透射率，然后利用大气散射模型生成去雾图像。Li 等［10］提出了一种一体化去雾网络（All-in-One Dehazing Network，AODNet），与DehazeNet 不同，AODNet 将透射率和大气光整合在一个公式中，并以端到端的方式直接生成清晰图像。最近，许多方法可以不使用大气散射模型来恢复无雾图像。Chen 等［4］提出了门控上下文聚合网络（Gated Context Aggregation Network，GCANet），采用平滑扩张卷积层来消除网格伪影，并通过门控子网来融合不同层级的特征。Qin 等［11］提出了特征融合注意力网络（Feature Fusion Attention Network，FFA-Net），网络中包含大量的像素注意模块和通道注意模块，在合成雾霾数据集上取得了较高的性能。Dong 等［12］提出了融合鉴别器生成对抗网络（Generative Adversarial Networks with Fusion-Discriminator，FD-GAN），融合鉴别器将训练阶段的频率信息作为额外的先验进行集成。Dong 等［5］提出的多尺度增强去雾网络（Multi-Scale Boosted Dehazing Network，MSBDN），同样也采取增强解码器的方法来增强特征的恢复，并使用了大量的密集连接块。然而，由于NTIRE（New Trends in Image Restoration and Enhancement）挑战赛［13］中引入的真实数据集规模小且雾霾分布复杂，以往大多数方法在使用此数据集时都表现不佳。其中，杨坤等［14］提出的多补丁和多尺度层级聚合网络（Multi-Patch and multi-Scale Hierarchical Aggregation Network，MPSHAN）通过级联大量的编码-解码器来融合多补丁的局部化信息和多尺度的全局化信息，在非均匀去雾数据集上表现了较高的性能。
1.2 条件生成对抗网络
生成对抗网络（GAN）由生成器和鉴别器两部分组成：生成器通过学习来生成更逼近真实数据的样本；
鉴别器通过学习对生成样本和真实样本进行真假判断。生成器和鉴别器互相博弈学习直到生成良好的输出。由于最基本的GAN 生成器输入的是随机数据，无法对生成数据进行控制，即如果有两种以上类别的训练数据，那么GAN 的生成器无法指定生成的数据。为了解决上述问题，条件生成对抗网络（Conditional Generative Adversarial Network，CGAN）［15］被 提出。许多研究人员利用CGAN 来完成各种低水平的视觉任务，如图像转换［16］、超分辨率［17］和图像去噪［18］。
本章将详细介绍双分支条件生成对抗网络的各个组成部分。本网络由生成器和鉴别器两部分组成，图1 是生成器网络，由增强U-net 子网和注意力子网两个分支构成，通过尾部简单的融合子网进行融合来生成去雾图像；
鉴别器网络是一种编码器结构，对生成图像和目标图像进行真假判断。生成器和鉴别器不断地进行对抗训练，直到损失达到稳定平衡的状态。
2.1 双分支生成器
如图1（a）所示，生成器网络由两个分支组成，每个分支都有自己的信息处理过程，从相同的输入中提取不同的特征表示：一个分支是增强的U-net 子网，它能从输入图像中提取鲁棒的特征信息，并在本文使用的数据集上起到一定的泛化效果；
另一个分支是注意力子网，能够很好地拟合小规模非均匀有雾图像这一特定的数据集，并提取更多的高频细节特征。最后通过简单的融合子网进行特征融合。
图1 生成器的结构Fig.1 Structure of generator
2.1.1 增强U-net子网
生成器的第一个分支，即增强的U-net 子网，旨在直接学习从有雾图像到无雾图像的映射。它以U-net 为基础架构，由编码器、增强解码器、特征恢复模块Gres三个部分组成。编码器由卷积层、残差组、DFF 模块组成，进行4 次下采样操作，通道数分别为16、32、64、128、256。解码器由反卷积层、SOS 增强模块、DFF 模块组成，进行4 次上采样操作，逐步恢复通道数和分辨率。特征恢复模块Gres由18 个残差组构成，每个残差组包含3 个如图1（c）所示的残差块，激活函数使用参数化的矫正线性单元（Parametric Rectified Linear Unit，PReLU），能够自适应学习在负值域下的斜率参数。如表1所示为残差块在通道数为256 时的网络结构信息，矩阵在向后传播的过程中始终保持75×100×256 的大小，参数量稍大。
表1 残差块的结构信息Tab.1 Structure information of residual block
为了从特征恢复模块Gres中逐步恢复特征，本文将SOS增强模块加入解码器中，SOS 增强模块的结构如图1（b）所示。在n层级的SOS 增强模块中，本文从上一层级的特征jn+1进行上采样，通过编码器的潜在特征in对jn+1进行加强，并通过恢复单元生成增强特征jn，如式（2）所示：
其中：↑2表示比例因子为2 的上采样算子，in+(jn+1) ↑2表示被增强的特征表示在第n层级由θn参数化的可训练恢复单元。本文使用由三层残差块组成的残差组来作为恢复单元。
原始U-net 架构在编码器的下采样过程中会损失空间信息，并且非相邻层级的特征之间缺乏足够的连接。本文使用了如图2 所示的DFF 模块，连接非相邻层级的特征，有效地修复缺失的信息。如图1（a）所示，每个层级都引入了两个DFF 模块，一个在编码器中的残差组之前，另一个在解码器中的SOS 增强模块之后。编码器中DFF 模块的输出直接连接到编码器中此模块之后的所有DFF 模块，用于特征融合，解码器亦如此。然而，由于非均匀去雾任务中的数据有限，并且增强U-net 分支的下采样和上采样过程会丢失一些恢复图像过程中的信息，很难实现更好的性能。为了在小规模数据集上获得更好的性能，本文引入了全分辨率特征传播的分支来最大限度地提取更多的信息。
图2 DFF模块结构Fig.2 Structure of DFF module
2.1.2 注意力子网
注意力子网采用的是残差中的残差（Residual In Residual，RIR）结构来构造深层网络，该网络由5 个残差通道注意力组（Residual Channel Attention Group，RCAG）和长跳跃连接所组成，每个RCAG 则包含10 个残差通道注意力块（Residual Channel Attention Block，RCAB）［19］和1 个短跳跃连接。RIR 结构允许输入图像的低频信息直接通过恒等映射向后传播，加速网络的训练，大量的通道注意力模块则专注于学习高频信息。RCAB 的结构如图1（d）所示，输入一个大小为H×W×C的特征矩阵，其中H和W分别表示高和宽，C表示通道数。经过卷积操作后保持尺寸不变，再进行全局平均池化得到一个1×1 ×C的通道值，使用1×1 的卷积核降低通道数后再恢复为原通道数，得到的通道权重系数与全局池化前的特征矩阵进行乘积，通过短跳跃连接与输入矩阵相加，最终得到了不同通道特征重新加权分配后的新特征矩阵。RCAB 的输出矩阵大小和参数量如表2 所示，由于卷积次数和每层通道数不多，参数量并不大。为了充分拟合训练的数据集，没有采用下采样和上采样操作，从头至尾输出的都是1 200×1 600 的全分辨率形式的特征矩阵。为了防止过拟合问题，增强的U-net 子网同时能够起到泛化作用，是不可或缺的一部分。
表2 RCAB的结构信息Tab.2 Structure information of RCAB
2.1.3 融合子网
使用了一个简单的融合子网来对增强U-net 子网和注意力子网两个分支进行特征融合。第一层网络使用ReflectionPad 来对输入边界进行反射填充，扩大图像的分辨率，然后使用7×7 的卷积层进行特征融合，最后通过Tanh激活函数输出去雾后的图像。
2.2 鉴别器
本实验使用了pix2pix［20］网络中的鉴别器来判断生成图像的真假性。鉴别器是输出矩阵为30×30 的PatchGAN，输出矩阵的每个单元对应于输入图像70×70 的感受野大小。PatchGAN 对每一个块感受野做真假判别，将输出矩阵的结果取平均作为最终的鉴别器输出。与用一个值衡量整幅图相比，用一个矩阵来评价整幅图，可以关注到更多的区域，实现局部图像的特征表达，有利于生成高分辨率的图像。
该网络结构如图3 所示，采用了卷积（Conv2d）、归一化（BatchNorm2d）、LeakyReLU 激活函数所组成的模块。与其他鉴别器直接输入生成图像或目标图片不同，本实验将有雾图像和输出生成图像或目标图片进行通道相加，相当于输入一张通道数为6 的图片，来形成有雾图像和无雾图像的数据对，使鉴别器学习到更多特征。鉴别器训练的过程中不断将生成图像为真的概率变小，使目标图像为真的概率变大。
图3 鉴别器的结构Fig.3 Structure of discriminator
2.3 损失函数
本实验的损失函数由多个部分组成，分别是平滑L1 损失Lsmooth⁃L1、感知损失Lper、多尺度结构相似性损失LMS⁃SSIM和对抗损失LG⁃CGAN和LD⁃CGAN。本文定义输入的有雾图像为I，生成的无雾图像为G(I)，目标图像为J。
平滑L1 损失 平滑L1 损失较L2 损失鲁棒性更强，在训练初期，输出图像与目标图像差值过大，L2 损失拥有较大的梯度值，导致训练不稳定，容易陷入局部最优解。而平滑L1损失拥有稳定的梯度，训练更加平稳。其中，在后文所提到的L1 损失均为平滑L1 损失。平滑L1 损失定义如下：
感知损失 采用了VGG 感知损失［21］，将目标图像卷积得到的高级特征与生成图像卷积得到的高级特征作比较，使得高层信息更接近，能够更好地重建细节。损失网络ϕ是在ImageNet 上预先训练的VGG-16，当对VGG 网络输入z时，对应的特征映射表示为ϕ(z)，损失函数定义为：
多尺度结构相似性损失 结构相似性（Structural SIMilarity，SSIM）用来测量两幅图像之间的相似度，对图像的亮度、对比度和结构信息进行比较，能够保留更多的高频信息。G(I)和J之间的SSIM 可定义为：
其中：l(G(I)，J)是亮度对比因子，c(G(I)，J)是对比度因子，s(G(I)，J)是结构对比因子；
α、β、γ为三项的重要程度。
由于SSIM 只是针对原始图像进行相似性的比较，为了能够在不同分辨率尺度上对图像的质量进行评价，提出了多尺度结构相似性方法［22］，可以表示为：
其中指数αM、βj、γj为每项的重要程度。M表示缩放因子，图像宽高以2M-1因子进行缩小。当M=1 时，表示原始图像大小；
当M=2 时，表示原始图像缩小一半，以此类推。
因此，MS-SSIM 损失函数可以定义为：
对抗损失 使用了标准的CGAN 的损失函数来训练生成器和鉴别器，生成器损失函数定义如下：
其中：D(G(I))表示生成图像是无雾图像的概率，生成器尝试最小化结果。另外，鉴别器的损失函数定义为：
其中：D(G(I))表示生成图像是无雾图像的概率，D(J)表示目标图像是无雾图像的概率，鉴别器尝试最小化结果。
总损失 综合以上损失函数，对于生成器，总的损失函数为最小化：
其中：λ1、λ2、λ3分别为相应损失函数的权重，根据经验［23］，本实验中分别设置为0.001、0.2、0.005。另一方面，鉴别器被训练最小化目标函数LD⁃CGAN。
3.1 数据集
本文采用了两种真实场景下的有雾数据集，即NH-HAZE［24］和NH-HAZE2［13］。这些都是极具挑战性的小规模非均匀有雾数据集，包含真实的户外场景，使用专业的雾霾设置器产生的非均匀雾霾，每张图片的分辨率为1 200 ×1 600。NH-HAZE 由55 对有雾图像和同一场景对应无雾图像组成，本实验将45 对图像用于训练，5 对用于验证，5 对用于测试；
NH-HAZE2 包含25 对训练集，5 对验证集，5 对测试集，但是由于验证集和测试集官方还没有公开，本文使用20对图像用于训练，剩下的5 对用于测试。
3.2 实验设置
在本实验中，每张原始图片的分辨率为1 200×1 600，随机裁剪大小为256×256 的图像块作为输入。由于训练数据规模比较小，为了增加训练数据，对图像进行了随机旋转（90°、180°或270°）和随机水平翻转。在训练过程中，初始学习率设置为1E-4，每训练2 000 个周期学习率以衰减率β=0.5 递减，总共训练8 000 个周期，并使用Adam 优化器（β1=0.9，β2=0.999）。鉴别器使用相同的优化器和训练策略。实验在一块NVIDIA 2080 GPU 上进行。
3.3 对比模型及评价标准
选用几种典型的去雾模型与本文模型进行对比，这些模型包括：
1）DCP［2］：根据先验统计知识，使用手工提取特征的方法进行去雾。
2）AODNet［10］：采用轻量级的卷积神经网络，只使用了5层卷积，并进行多尺度的融合。
3）GCANet［4］：以编码-解码结构为基础，中间加入多层平滑空洞卷积，尾部加入门控融合子网来融合多尺度特征。
4）MSBDN［5］：以U-net 为基础架构，对同层级的特征进行加强策略，并使用大量的密集连接块。
5）MPSHAN［14］：通过级联大量的编码器-解码器来融合多补丁的局部化信息和多尺度的全局化信息。
图像去雾性能的好坏可由评价指标峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似度SSIM 来衡量。PSNR 是基于对应像素点间的误差，SSIM 从亮度、对比度、结构三方面度量图像相似性，两个指标的数值越高表示去雾性能越好。同时，还对网络模型的参数大小和单张图像的处理时间进行了对比。
3.4 实验结果分析
3.4.1 模块结构消融实验结果分析
本文在NH-HAZE 和NH-HAZE2 两个最新的非均匀去雾数据集上进行了实验，通过定量评估来比较各方法的性能。实验结果由表3 所示，数值后面的括号中表示的是以最差的效果为基准（100%），其他方法的效果与基准的百分比。不同子网的简称表示如下：
表3 在NH-HAZE和NH-HAZE2数据集上各方法的对比Tab.3 Comparison of different methods on NH-HAZE and NH-HAZE2 datasets
1）OUN（Original U-net）：原始的U-net 子网。
2）EUN（Enhanced U-net）：增强的U-net 子网。
3）AN（Attention Net）：注意力子网。
4）EUN+AN：增强U-net 子网和注意力子网。
5）DB-CGAN：增强U-net 子网、注意力子网和融合子网，使用完整的双分支生成器的GAN，即本文方法。
由实验结果可以看出，与原始U-net 相比，增强U-net 策略在PSNR 和SSIM 两个指标上都会有一定的提升，在NH-HAZE2 数据集上PSNR 和SSIM 分别提升了约0.7 和0.03。但参数量远大于原始U-net 的原因是Gres模块包含大量的残差块，每个残差块的通道数为256，导致需要大量的卷积核，并且密集特征连接也需要大量的卷积操作；
同时，运行时间延长了33%（0.006 s）。可以看出，注意力子网的性能优越，甚至在NH-HAZE2 数据集上，两个指标均超过增强Unet 子网的性能，而且两种数据集上SSIM 指标均有所提升，因为采用了大量的残差通道注意力块结构，并且没有下采样操作，拥有强大的拟合能力，保留了更多的高频信息。但也可能在小数据集上产生过拟合，所以两个子网协同在一起，从同一输入学习到不同的信息，通过尾部简单的融合子网进行有效融合，能够达到最好的效果。
3.4.2 损失函数消融实验结果分析
首先探究了独立使用GAN 损失函数和L1 损失函数的去雾效果，如图4 所示，当单独使用GAN 对抗损失时，发现训练效果较差，在有限的数据集上只能学习到有限的纹理特征，而L1 损失训练的效果更能接近目标图像。在本实验的混合损失函数中，L1 损失函数作为主要成分来保证输入图像和输出图像之间的相似度，GAN损失用来补充一些高频细节。
图4 GAN损失函数和L1损失函数的去雾效果Fig.4 Dehazing performance of GAN loss function and L1 loss function
混合损失函数各个部分消融实验结果如表4 所示：单独使用GAN 损失，则并不能有效地雾，只能学习一些高频的纹理特征；
而单独使用L1 损失，则能基本清除雾霾，因为对于图像去雾来说，生成器的输入和输出共享了大部分信息，L1损失能够有效保证输入图像和输出图像之间的相似度。像素级的损失函数一般不能提供足够的监督信息来训练网络以恢复逼真的细节特征，在L1 损失中加入GAN 损失能够更好地修复逼真的图像［17］；
同样，在混合损失函数中加入了感知损失，使高层信息更加接近，指标PSNR 和SSIM 在数值上分别提高了0.09 和0.001；
在加入多尺度SSIM 损失函数时，SSIM 指标能够提升1%（0.008）。最后，对比了平滑L1 损失和L2 损失的性能，在输出图像和目标图像差异较大时，L1 损失在更新权重时，有更稳定的梯度，而L2 损失容易陷入局部最优解。
表4 损失函数消融实验结果对比Tab.4 Comparison of experimental results of loss function ablation
混合函数各部分的权重主要参考Fu 等［23］提出的DW-GAN 中使用的损失函数权重。在式（12）中，λ1、λ2、λ3分别为感知损失Lper、结构化损失LMS⁃SSIM、对抗损失LG⁃CGAN的权重，分别设置为0.001、0.2、0.005。如表5 所示，本实验将感知损失Lper和对抗损失LG⁃CGAN的权重都扩大为初始值的10倍。在指标PSNR 和SSIM 上并没有得到提升。我们猜测，在使用GAN 实现图像对之间转换的任务时（没有加入随机噪声），L1 损失占据主导地位，已经能够完成主要的图像去雾任务，对于高频细节的修复，所占权重并不需要太大。
表5 混合损失函数权重的实验结果Tab.5 Experimental results of weight of mixed loss function
3.4.3 各模型对比实验分析
本文方法与其他方法的比较如表6 所示，对于这两个真实数据集，本文方法在指标PSNR 和SSIM 上基本领先。在NH-HAZE2 数据集上能够达到19.33 dB 和0.791，DCP 这种手工制作特征的方法在非均匀去雾数据集上表现出比较差的性能，先验统计知识已经失效，并且此方法只能在CPU 上进行测试，处理单张图像的速度比较慢。AODNet 采用的轻量级网络，只用到极少的参数，但难以在复杂雾霾情况下提取细节特征。GCANet、MSBDN、MPSHAN 都采用编码-解码型的网络架构，并适当地增加门控融合、密集连接块、多补丁和多尺度等优化策略，在两种数据集上表现出比较好的效果。本文方法在DFF 模块和Gres模块中包含大量的卷积核，会导致参数量较大，运行时间相较其他方法长，在减少残差组的数量后，去雾效果有所降低，本文方法在去雾效果和去雾时间上达到了良好的平衡。在NH-HAZE数据集上，各种方法的性能较在NH-HAZE2 数据集上相对较低，因为NH-HAZE 和NH-HAZE2 的图像在亮度方面有很大的差异。NH-HAZE 图像的视觉效果更深，而NH-HAZE2图像的视觉效果更亮。
表6 在NH-HAZE和NH-HAZE2数据集上各种方法的定量比较Tab.6 Quantitative comparison of different methods on NH-HAZE and NH-HAZE2 datasets
视觉效果的定性比较如图5 和图6 所示。可以看出，DCP 这种手工制作先验特征的方法在非均匀去雾数据集上已经失效，输出图片含有大块的蓝色区域。AODNet 是轻量级的神经网络，网络的学习能力有限，输出结果在数据集上经常出现严重的颜色失真和大量的雾霾未被去除。虽然GCANet 和MSBDN 的表现优于上述两种方法，但它们仍然不能很好地处理模糊区域。MPSHAN 在多补丁和多尺度上进行融合，能够更加接近目标图像。在NH-HAZE 上，GCANet会产生色彩扭曲的图像，输出图片偏暗，并有少量绿色阴影；
在NH-HAZE2 上，由于此数据集图像的视觉效果更深，GCANet 产生的图片会更加昏暗。MSBDN 输出的图片在两种数据集上都更加接近于目标图片，但是一些雾霾浓度高的地方去雾效果不明显且会产生部分颜色失真。本文方法在测试上效果最好，比如在NH-HAZE2 数据集的测试上，第1、3、4 张图片的去雾效果更加明显，颜色更加接近目标图像，特别是第3 张图片中的道路，颜色失真的现象降到了最低，但是第5 张图片的道路出现了颜色过暗的现象。总体上来说，本文方法能够产生更好的效果。
图5 NH-HAZE2数据集上的定性对比Fig.5 Qualitative comparison on NH-HAZE2 dataset
图6 NH-HAZE数据集上的定性对比Fig.6 Qualitative comparison on NH-HAZE dataset
本文提出了一个双分支生成器的条件生成对抗去雾网络（DB-CGAN）。生成器中，一条分支以U-net 架构为基础，使用了增强策略，在恢复特征时避免信息损失，并采用密集特征融合的方式对非相邻层建立足够的连接。另一个分支以残差通道注意力模块为基础，避免下采样操作从而最大限度地拟合当前数据集，提取更多高频细节特征。最后两个分支通过简单的融合子网进行特征融合。在最新的小规模非均匀去雾数据集上进行了实验，相较于手工提取特征、轻量级网络、传统编码-解码型网络等方法，具有更好的去雾视觉效果。但是，本文算法的参数量和时间复杂度并不是最优，在未来的工作中，我们会尝试缩减图像分辨率后进行特征提取，来拟合一个双边网格再进行上采样操作，进而优化时间复杂度的问题，实现更高效的图像去雾算法。
猜你喜欢鉴别器子网集上一种简单子网划分方法及教学案例＊计算机时代(2023年1期)2023-01-30基于多鉴别器生成对抗网络的时间序列生成模型通信学报(2022年10期)2023-01-09Cookie-Cutter集上的Gibbs测度数学年刊A辑(中文版)(2020年2期)2020-07-25链完备偏序集上广义向量均衡问题解映射的保序性数学物理学报(2019年6期)2020-01-13分形集上的Ostrowski型不等式和Ostrowski-Grüss型不等式井冈山大学学报(自然科学版)(2019年4期)2019-09-09卫星导航信号无模糊抗多径码相关参考波形设计技术*国防科技大学学报(2019年4期)2019-07-29子网划分问题研究及应用中国新通信(2019年21期)2019-03-30子网划分的简易方法网络安全和信息化(2016年2期)2016-11-26阵列天线DOA跟踪环路鉴别器性能分析系统工程与电子技术(2016年5期)2016-11-02基于安全协议的虚拟专用子网研究河南科技(2014年16期)2014-02-27