DR-GAN是北京理工大学者和大连理工大学学于2022年4月提出的一种新的文本到图像生成模型，称为分布正则化生成对抗网络（Distribution-Regularization-for-Text-to-Image-Generation，DR-GAN）

论文地址：https://arxiv.org/abs/2204.07945
代码地址：https://github.com/Tan-H-C/DR-GAN-Distribution-Regularization-for-Text-to-Image-Generation

一、原文摘要

本文提出了一种新的文本到图像生成模型，称为分布正则化生成对抗网络（DR-GAN），用于从改进的分布学习中的文本描述生成图像。在DR-GAN中，我们引入了两个新的模块：语义分离模块（SDM）和分布规范化模块（DNM）。SDM结合了空间自关注机制和一种新的语义分离损失（SDL），以帮助生成器提取用于图像生成的关键语义信息。DNM使用变分自动编码器（VAE）对图像潜在分布进行归一化和去噪，这可以帮助鉴别器更好地区分合成图像和真实图像。DNM还采用分布对抗损失（DAL）来引导生成器与潜在空间中的归一化真实图像分布对齐。

在两个公共数据集上的大量实验表明，我们的DR-GAN在文本到图像任务中取得了具有竞争力的性能。

二、为什么提出DR-GAN？

许多最先进的T2I算法首先提取文本特征，然后使用生成对抗网络（GAN）生成相应的图像，它们的本质是将文本特征分布映射到图像分布。

基于GAN的T2I方法捕获真实图像分布有两大难点：

• 文本描述的抽象性和模糊性使得生成器很难捕获用于图像生成的关键语义信息；在多模态感知信息中，文本描述的语义通常是抽象和模糊的；图像信息通常是具体的，并且具有大量的空间结构信息。文本和图像信息以不同的模式表示，这使得难以基于特征向量或张量实现语义关联。因此，生成器很难从用于图像生成的文本描述中准确地捕获关键语义；
• 视觉信息的多样性使得图像的分布变得复杂，图像通常包含各种视觉信息、杂乱的背景和其他非关键视觉信息，图像潜在分布通常是复杂的，图像的分布很难明确建模。

因此，本研究探索了更好的分布学习策略以增强基于GAN的T2I模型：

• 图像特征包含大量非关键语义。这种不准确的语义往往导致图像分布生成无效，进而导致生成的图像往往语义不一致、结构和细节混乱等。为了缓解这一问题，DR-GAN的第一个策略是在中间特征上设计一种信息解纠缠机制，以便在执行跨模态分布学习之前更好地提取关键信息。
• 复杂的图像分布使得GAN中的鉴别器难以区分当前输入图像是从真实图像分布还是生成的图像分布采样的。因此，DR-GAN的第二个策略是设计一个有效的分布归一化机制来归一化图像的潜在分布，该机制旨在帮助鉴别器更好地学习生成的图像与真实图像之间的分布决策边界。

三、DR-GAN

3.1、框架结构

作者采用AttnGAN作为构建DR-GAN的基线模型，即一个文本编码器，三个生成器和三个鉴别器，框架结构如下：

如图所示，DRGAN有两个新的设计，语义解缠模块（SDM）和分布归一化模块（DNM）。SDM在图像生成的中间阶段从文本或图像特征中提取关键信息，以便更好地接近真实的图像分布。在DNM中，作者将变分自动编码器（VAE）引入到基于GAN的T2I方法中，以规范潜在空间中的图像分布。

3.2、语义解缠模块（SDM）

语义解缠模块(Semantic Disentangling Module, SDM)主要是用来帮助生成器抑制不相关的空间信息，突出相关的空间信息，以生成高质量的图像，其结构如下：

W表示单词特征，H表示图像特征，WAM表示词级注意机制（Word-level Attention Mechanism），ResBlock表示残差块，图像特征和单词特征首先计算单词级注意力生成上下文特征Q，然后上下文特征和图像特征分别经过一层自注意力提取关键信息，然后再将两者做concat连接。（H+、Q+表示关键信息，H-、Q-表示非关键信息，）其中:

• WAM词级注意力机制：跟AttnGAN的部分相同，即先把单词特征映射到与图像特征相同的潜在语义空间，然后计算单词子区域和图像子区域的相似度特征：$q_j={\sum }_{i=1}^T{\theta }_{j,i}{w}_i^{\prime },\text{ where }{\theta }_{j,i}=\frac{\exp \left(S_{j,i}^{\prime }\right)}{{\sum }_{k=1}^T\exp \left(S_{j,k}^{\prime }\right)}$，WAM依据此方法根据给定的单词特征W和图像特征h生成单词级上下文特征$Q_0$，其中$Q_0$是表达图像特征h的单词特征的加权组合。$Q_0$可以有效丰富图像细节的语义。

• Self Attention自注意力机制：使用的是空间自注意机制，分别表示词级上下文特征$Q_0^{‘}$和中间图像特征$H_{i-1}$的关键信息和非关键信息。而用于计算自注意力机制特征$H_{i-1}$的空间注意掩码$Mas{k}_i^H$为：${\mathrm{Mask}}_i^H=\mathrm{Sig}.\left({\mathrm{Conv}}_{1\times 1}^2\left(\mathrm{ReLU}\left({\mathrm{Conv}}_{3\times 3}^1\left(H_{i-1}\right)\right)\right)\right)$，特征$Q_i$的空间注意掩码$Mas{k}_i^Q$定义为${\mathrm{Mask}}_i^Q=\mathrm{Sig}\cdot \left({\mathrm{Conv}}_{1\times 1}^2\left(\mathrm{ReLU}\left({\mathrm{Conv}}_{3\times 3}^1\left(Q_i\right)\right)\right)\right)$

• RIRM实数图像重建模块:包含一个编码器和一个解码器。编码器以实像$I_i^{\ast }$作为输入，输出实像特征$H_i^{\ast }$。解码器取实像特征$H_i^{\ast }$，利用重构损失函数${\Vert RIRM\left(I_i^{\ast }\right)-I_i^{\ast }\Vert }_1$对实像进行重构，解码器和生成模块$G^0$组成了Siamese网络，可以为SDM提供高质量的真实图像特征。

• Semantic Disentangling Loss 语义解缠损失：为了驱动SDM更好地区分$Q_i$和$H_{i-1}$的关键信息和非关键信息。作者进一步设计了一个新的语义解缠损失(SDL)，对于图像特征和上下文特征：$\begin{array}{rl}{\mathcal{L}}_{SDL}^{H_i}=& SP\left(\Vert \mu \left(H_i^{+}\right)-\mu \left(H_i^{\ast }\right)\Vert -\Vert \mu \left(H_i^{-}\right)-\mu \left(H_i^{\ast }\right)\Vert \right)+SP\left(\Vert \sigma \left(H_i^{+}\right)-\sigma \left(H_i^{\ast }\right)\Vert -\Vert \sigma \left(H_i^{-}\right)-\sigma \left(H_i^{\ast }\right)\Vert \right)\end{array}$
  $\begin{array}{rl}{\mathcal{L}}_{SDL}^{Q_i}=& SP\left(\Vert \mu \left(Q_i^{+}\right)-\mu \left(H_i^{\ast }\right)\Vert -\Vert \mu \left(Q_i^{-}\right)-\mu \left(H_i^{\ast }\right)\Vert \right)+SP\left(\Vert \sigma \left(Q_i^{+}\right)-\sigma \left(H_i^{\ast }\right)\Vert -\Vert \sigma \left(Q_i^{-}\right)-\sigma \left(H_i^{\ast }\right)\Vert \right)\end{array}$
  其中，u表示均值、$\sigma$表示方差，SP (x) = ln(1 + $e^x$),最终的SDL损失如下：
  ${\mathcal{L}}_{SD{L}_i}={\lambda }_1{\mathcal{L}}_{SDL}^{H_i}+{\lambda }_2{\mathcal{L}}_{SDL}^{Q_i}+{\lambda }_3{\Vert RIRM\left(I_i^{\ast }\right)-I_i^{\ast }\Vert }_1$

下图展示了，在加入基于SDM驱动的关键信息选择策略，可以更好地过滤出$H_1$和$Q_2^{‘}$上的非关键结构性信息，进而使得图像特征$H_2$的结构和语义变得更加合理。因此，合成图像的结构也更合理：

3.3、分布归一化模块(DNM)

在鉴别器方面，复杂的图像分布使得鉴别器很难区分当前输入图像是从真实图像分布中采样的还是从生成的图像分布中采样的。并且生成器很难使生成的分布与真实图像分布保持一致，有必要降低分布的复杂性。而数据归一化机制可以降低数据的噪声和内部协变量移位，进一步提高模型的学习效率，是一种有效的去噪和降低复杂性的策略。

对于此，归一化模块使用变分自动编码器以帮助鉴别器更好地区分“真”图像和“假”图像。变分自动编码器(VAE)[24]作为一种生成模型，可以有效地去噪潜在分布，降低分布的复杂性。假设图像的潜在嵌入向量服从高斯分布N(µ，σ)，然后将N(µ，σ)归一化为标准正态分布N(0,1)。基于VAE图像重建的优势，归一化后的嵌入向量可以保留关键语义视觉信息。DNM的结构如下所示：

其包含两个子模块:鉴别器Di和VAE模块Ai：

• 鉴别器模块很常规，其由编码器$E^D$(·)和逻辑分类器ψ(·)组成。$E^D$(·)将图像x编码为嵌入向量v.将嵌入向量v与文本嵌入s结合，馈送给逻辑分类器ψ(·)，用于识别x是真实图像还是生成图像。
  图像中视觉信息的多样性、背景的杂乱性以及其他非关键视觉信息使得嵌入向量v的分布变得复杂，使得x的识别更加困难。

• 因此采用VAE模块对嵌入向量V的潜在分布进行归一化和去噪。除了降低图像潜在分布的复杂性外，使用VAE还可以推动编码后的图像特征向量V来记录重要的图像语义。

DNM模块将V AE和鉴别器j相结合，可以有效地降低图像嵌入V构造的分布的复杂性，丰富图像嵌入V的高级语义信息，这种归一化的嵌入有助于鉴别器更好地区分“假”图像和“真”图像。因此，生成器也可以更好地将生成的分布与真实图像分布对齐。

整个DNM主要步骤如下：

1. 给定图像x, x首先被馈送给编码器ED(·)，ED(·)输出图像潜在嵌入v
2. 逻辑分类器φ(·)给出v的均值和方差，并构建一个高斯分布:$N(\tilde{\mu }(\phi (v)),\tilde{\sigma }(\phi (v)))$，通过KL散度进一步将这个高斯分布归一化为$z^{\ast }=z\cdot \tilde{\sigma }(\phi (v)))+\tilde{\mu }(\phi (v)),z\sim N(0,1)$,
3. $z^{\ast }$和文本嵌入s进行拼接，然后输入解码器DE(·)重构图像$x^{\ast }$。
4. 重构的图像与原图像计算损失，优化模型。

VAE与GAN联合训练，基于VAE的下变分界，DNM中VAE模块的损失函数可以定义为：

$\begin{array}{rl}{\mathcal{L}}_{D_i^D}^D=& {\Vert {\hat{I}}_i-D_i^E\left({\phi }_i\left(E^D\left({\hat{I}}_i\right)\right),s\right)\Vert }_1+{\Vert I_i^{\ast }-D_i^E\left({\phi }_i\left(E^D\left(I_i^{\ast }\right)\right),s\right)\Vert }_1\\ & +KL\left(N\left({\tilde{\mu }}_i\left({\phi }_i\left(E^D\left({\hat{I}}_i\right)\right)\right),{\tilde{\sigma }}_i\left({\phi }_i\left(E^D\left({\hat{I}}_i\right)\right)\right)\right)\right)\Vert N(0,1))\\ & +KL\left(N\left({\tilde{\mu }}_i\left({\phi }_i\left(E^D\left(I_i^{\ast }\right)\right)\right),{\tilde{\sigma }}_i\left({\phi }_i\left(E^D\left(I_i^{\ast }\right)\right)\right)\right)\right)\Vert N(0,1))\end{array}$
分布一致性损失为：

$\begin{array}{rl}{\mathcal{L}}_{G_i^D}=& KL\left(N\left({\tilde{\mu }}_i\left({\phi }_i\left(E^D\left({\hat{I}}_i\right)\right)\right),{\tilde{\sigma }}_i\left({\phi }_i\left(E^D\left({\hat{I}}_i\right)\right)\right)\right)\right)\Vert N(0,1))\\ & +{\Vert I_i^{\ast }-D_i^E\left({\phi }_i\left(E^D\left({\hat{I}}_i\right)\right),s\right)\Vert }_1,\end{array}$

将两个损失函数$L_{G_i^D}$和LDDi表示为分布对抗损失(DAL)项。在鉴别器的训练阶段，LDDi有助于鉴别器更好地区分合成图像与真实图像，更好地学习生成图像与真实图像潜在分布之间的分布决策边界。在生成器的训练阶段，LGDi可以帮助生成器学习并捕获归一化潜空间中的真实图像分布。

四、损失函数

结合上述模块，在DRGAN的第i阶段，定义生成损耗$L_{Gi}$和判别损耗$L_{Di}$为：
${\mathcal{L}}_{G_i}=\underset{\text{unconditional loss }}{\underbrace{-\frac{1}{2}{\mathbb{E}}_{{\hat{I}}_i\sim P_{G_i}}\left[\log D_i\left({\hat{I}}_i\right)\right]}}-\underset{\text{conditional loss }}{\underbrace{\frac{1}{2}{\mathbb{E}}_{{\hat{I}}_i\sim P_{G_i}}\left[\log D_i\left({\hat{I}}_i,s\right)\right]}};$

$\begin{array}{rl}{\mathcal{L}}_{D_i}=& \underset{\text{unconditional loss }}{\underbrace{-\frac{1}{2}{\mathbb{E}}_{I_i^{\ast }\sim P_{{\text{data }}_i}}\left[\log D_i\left(I_i^{\ast }\right)\right]-\frac{1}{2}{\mathbb{E}}_{{\hat{I}}_i\sim P_{G_i}}[\log \left(1-D_i\left({\hat{I}}_i\right)\right]}}+\\ & \underset{\text{conditional loss }}{\underbrace{-\frac{1}{2}{\mathbb{E}}_{I_i^{\ast }\sim P_{{\text{data }}_i}}\left[\log D_i\left(I_i^{\ast },s\right)\right]-\frac{1}{2}{\mathbb{E}}_{{\hat{I}}_i\sim P_{G_i}}[\log \left(1-D_i\left({\hat{I}}_i,s\right)\right]}}\end{array}$
与之前的AttnGAN、MirrorGAN等等相同，训练无条件损失以生成符合真实图像分布的高质量图像以欺骗鉴别器，训练条件损失以生成更好地匹配文本描述的图像。

为了生成逼真的图像，生成训练阶段(LG)和辨别训练阶段(LD)的最终目标函数分别定义为:
${\mathcal{L}}_G={\sum }_{i=0}^{m-1}\left({\mathcal{L}}_{G_i}+{\lambda }_4{\mathcal{L}}_{G_i^D}+{\mathcal{L}}_{SD{L}_i}\right)+\alpha {\mathcal{L}}_{DAMSM}$

${\mathcal{L}}_D={\sum }_{i=0}^{m-1}\left({\mathcal{L}}_{D_i}+{\lambda }_5{\mathcal{L}}_{D_i^D}\right)$

五、实验

5.1、实验设置

数据集：CUB-Bird 和 MS-COCO；
评价指标：IS、FID、R-precision和人类评分；

5.2、实验结果

5.2.1、DR-GAN效果

5.2.2、泛化性研究

作者将SDM、DNM也融合到了其他多种GAN模型当中测试，实验取得较好效果：

5.2.3、消融研究

实验内容非常丰富，建议阅读原文。

六、创新点总结

作者提出了一种新的分布正则化生成对抗网络（DR-GAN）。DR-GAN包含两个新模块：语义分离模块（SDM）和分布规范化模块（DNM）

• 在SDM中，作者引入了一种空间自我关注机制，并提出了一种新的语义分离损失（SDL），以帮助生成器在捕获图像分布过程中更好地从文本和图像中提取关键信息。
• 在DNM中，作者将变分自动编码器（VAE）引入到基于GAN的T2I方法中，以规范潜在空间中的图像分布。
• 作者还提出了分布对抗损失（DAL），以将学习的分布与归一化潜在空间中的真实分布对齐。

💡 最后

我们已经建立了🏤T2I研学社群，如果你还有其他疑问或者对🎓文本生成图像很感兴趣，可以私信我加入社群。

📝 加入社群 抱团学习：中杯可乐多加冰-采苓AI研习社

🔥 限时免费订阅：文本生成图像T2I专栏

🎉 支持我：点赞👍+收藏⭐️+留言📝