Unsupervised Generative Attentionnal Networks with Adapter Layer-In（U-GAN-IT）

从字面我们可以理解为无监督生成对抗网络和适配层的结合

论文实现：

论文实现了无监督图像的翻译问题，当两个图像之间两个图像、纹理差别较大时的图像风格（style）转换。
论文实现了相同的网络结构和超参数同时需要同时保持shape的图像翻译I（类似风格迁移但是图像本身形状这些原始shape不变），以及需要改变shape的图像翻译任务(个人观点，跨domain)

图1：风格迁移（horse2zebra）

图2跨domain的图像翻译（cat2dog）

创新：

在于这篇论文新增加了一个新的注意模块(attention)：辅助分类器和一个可以自主学习的规范化函数（自适应的归一化方式）AdaLIN，使得该模型具有更优越性。

attention：增强判别器的鉴别能力，更好的区分原始图像和生成图像
自适应的归一化AdaLIN：增强鲁棒性

得到了在固定网络结构和超参数下保持形状（如horse2zebra）和改变形状（如cat2dog）的图像转换的预期结果。需要针对特定数据集调整网络结构或超参数设置。在这项工作中，我们提出了一种新的无监督图像到图像的翻译方法，它以端到端的方式结合了一个新的注意模块和一个新的可学习的规范化函数。我们的模型根据辅助分类器获得的注意图，通过区分源域和目标域，引导翻译关注更重要的区域而忽略次要区域。这些注意映射被嵌入到生成器和鉴别器中，以集中在语义上重要的区域，从而便于形状转换。而在生成器中的注意图将焦点诱导到专门区分这两个域的区域，而鉴别器中的注意映射通过聚焦目标域中真实图像和假图像的差异来帮助微调。除了注意机制外，我们还发现，对于形状和纹理变化量不同的数据集，归一化函数的选择对转换结果的质量有显著影响。受批处理实例规范化（BIN）（Nam&Kim（2018））的启发，我们提出了自适应层实例规范化（AdaLIN），该方法通过自适应选择实例规范化（IN）和层规范化（LN）之间的比例，在训练过程中从数据集学习参数。AdaLIN函数帮助我们的注意力引导模型灵活地控制形状和纹理的变化量。不需要改变模型的整体形状，也不需要改变模型的整体形状。实验结果表明，与现有的模型相比，本文提出的方法在风格转换和物体变形方面都具有优势。拟议工作的主要贡献可概括如下：