论文理解Diversified Arbitrary Style Transfer via Deep Feature Perturbation
论文 理解 Deep Style Feature via transfer
2023-09-11 14:22:51 时间
1、提出了一种利用正交随机噪声矩阵对WCT的过程进行修改的方法,从而能够让风格迁移更具有多样性
方法
-
核心思想是在加入正交噪声矩阵丰富多样性的基础上,保证WCT过程中style纹理,也就是Gram矩阵不变。也就是说即使用正交噪声矩阵扰动前后feature map和原先不同了,但是Gram Matrix(style 纹理)不变。
Gram Matrix计算: -
这个噪声扰动的方法能够保证style图的Gram Matrix和扰动后的图的Gram Matrix完全相同,即上面的计算结果为0. -
原始的WCT计算公式如下:
-
加入扰动正交噪声矩阵Z:
证明加入扰动正交噪声矩阵Z之后还是和style图一样的style纹理(相同的Gram Matrix)
实验以及消融分析
-
作者发现只直接采用扰动后的结果进行输出,会对内容结构有很大的破坏,风格化的结果并不好,所以加入了两个权重平衡这个影响(分别为diversity 超参数 和 stylization 超参数),但是对于colosed-form方法影响很小(WCT以及MST影响都很大),推测可能是由于其考虑了内容架构的损失也最优。
-
多层级的扰动,结果会糟糕;单层级的扰动而言,扰动的层级越低,最后结果越糟糕,质量越低。所以多层级的扰动没有必要
-
扰动噪声矩阵的采样的分布类型(正态或者均匀分布)以及其相关参数对结果影响不大,但是采用随机噪声矩阵而不采用正交噪声矩阵对结果影响很大,随机噪声的话结果很差,会淹没内容架构。
-
扰动矩阵Z可以放在多个位置,放在中间时计算量最小,因为其对应的矩阵维度最小。
-
过大的diversity超参数会让内容架构很大程度破坏,这时就需要较小的stylization超参数来均衡了,才能保证一个不错的风格化结果。
-
通过正交噪声矩阵的插入确实能够增加风格化的多样性
相关文章
- 推荐一个免费的论文查询,检索和查重网站
- 跟我读论文丨Multi-Model Text Recognition Network
- 跟我读论文丨ACL2021 NER BERT化隐马尔可夫模型用于多源弱监督命名实体识别
- 解读顶会CIKM‘21 Historical Inertia论文
- 计算机毕设 SSM Vue 大学生兼职发布管理系统(含源码+论文)
- 论文解读(NWR)《Graph Auto-Encoder via Neighborhood Wasserstein Reconstruction》
- 论文解读(SUBLIME)《Towards Unsupervised Deep Graph Structure Learning》
- 论文解读(ClusterSCL)《ClusterSCL: Cluster-Aware Supervised Contrastive Learning on Graphs》
- 论文解读(MPNN)Neural Message Passing for Quantum Chemistry
- 最早的attention论文学习-通过联合学习进行对齐和翻译的神经机器翻译
- 论文投稿指南——中文核心期刊推荐(中国文学作品)
- 论文投稿指南——中文核心期刊推荐(社会学)
- 免费从Springer Link数据库中下载论文
- 《论文阅读》对话阅读理解——增强多方多轮对话中对话感知
- 1.1、基于增量式生成遮挡与对抗抑制的行人再识别(论文阅读与理解)
- 目标检测论文解读复现之十五:基于YOLOv5的光学遥感图像舰船 目标检测算法
- 论文写作技巧