DCGAN-论文阅读笔记（三）

隐空间分析

隐变量空间漫游

•

在latent space上walking，可以判断出模型是否是单纯在记住输入（如果生成图像过渡非常sharp），以及模式崩溃的方式

•

如果在latent space中walking导致生成图像的语义变化（例如添加或删除了对象），我们可以推断模型已经学习到了相关和有趣的表征

去除特定的对象

•

为了研究模型是如何对图像中的特定物体进行表征的，尝试从生成图像中把窗口进行移除

•

选出150个样本，手动标注了52个窗口的bounding box

•

在倒数第二层的conv layer features中，训练一个简单的逻辑回归模型，来判断一个feature activation是否在窗口中

•

使用这个模型，将所有值大于0的特征（总共200个），都从空间位置中移除

人脸样本上的矢量运算

•

vector(”King”) - vector(”Man”) +vector(”Woman”)的结果和向量Queen很接近

•

对单个样本进行操作的结果不是很稳定，而如果使用三个样本的平均值，结果就会好很多

总结展望

• 提出了一套更稳定的架构来训练生成对抗性网络

• 展示了对抗性网络可以很好的学习到图像的表征，并使用在监督学习和生成式的建模上

• 模式崩溃问题仍然存在

• 可以再延伸应用到其他领域，例如视频（做帧级的预测）和声频（用于语音合成的预训练特征）

• 可以对latent space进行更进一步的研究