论文阅读笔记CVPR2020 Semantic Image Manipulation Using Scene Graphs

1、基于原图（source image），模型首先生成场景图，接下来用户对场景图进行修改，通过修改场景图来完成图像的语义编辑，最后模型根据修改的场景图生成新的图片。

 2、不需要image对，目标就是通过给定用户一张图结构，用户通过更改节点关系，模型根据新的图结构与原图进行修改获得新图片。

 3、给定一个图像，使用各自的场景图来操作它。

4、贡献：不需要完全监督，也就是说，不需要有场景更改的图像对。可以看作是半自动的，因为用户不需要手动编辑图像，而是通过图的节点和边间接地与它交互。通过这种方式，就有可能对图像中的视觉实体以及它们在空间和语义上相互作用的方式进行修改。最显著的是，用一个模型实现了各种类型的编辑，包括对象之间的语义关系变化。生成的图像保留了原始内容，但允许用户根据需要灵活地更改和/或整合新的或修改过的内容

5、方法：输入一个image i，先生成场景图g，然后根据用户修改的g和原始内容i，生成新的image i'。

6、分为三个互相联系的部分，第一步是场景图生成，将图像内容编码为空间语义场景图，使其易于用户操作。其次，用户通过直接作用于场景图的节点和边来修改对象类别、位置或关系，从而对场景图进行操作。第三步，由修改后的图生成输出图像。

7、场景图预测方法使用的是F-Net

8、把object定义为一个三元组

9、作者在 CLVER 和 Visual Genome 两个数据集上进行了试验。CLVER 数据集是利用模拟器生成的合成数据集，

可以得到图片的修改操作和修改前后的信息，便于对模型进行定量的分析。Visual Genome 数据集则可测评该模型在无限制的真实场景中的效果。

10、

（1）在测试阶段，模型首先利用比较成熟的技术，为输入的图片生成场景图，表示图片中出现的对象和它们之间的关系。

接下来，用户对场景图进行修改。最后，模型根据用户的修改操作进行图片生成。

 11、training

（1）使用了一个辅助分类loss确保鉴别器能够将生成的object分类到他们正确的标签。

（引用：Conditional image synthesis with auxiliary classifier gans）

（2）