香港地址生成器(免费虚拟香港手机号码)

选自arXiv

作者:大卫·鲍尔、朱俊彦等

机器心脏编译

参与:熊猫w。

生成网络(GAN)现在可以合成逼真的图像，但麻省理工学院、IBM和香港中文大学的一项研究表明，GAN在合成图像时会遗漏一些目标分布的细节。如果未来的GAN设计人员能够充分考虑这一遗漏，他们应该能够创建更高质量的图像发生器。研究人员发表了相关论文、代码和数据。

论文:https://arxiv.org/abs/1910.11626v1

项目:https://ganseeing.csail.mit.edu

生成网络(GAN)在合成真实感图像方面表现出色，但我们不禁要问:怎么才能知道GAN生成不了什么？模式丢失或模式崩溃被认为是GAN面临的最大问题之一。此时，目标分布的某些部分会被GAN忽略。然而，目前的分析工具对GAN中的这种现象提供的洞察非常少。麻省理工学院的这项研究在分布级别和实例级别可视化了模式崩溃。首先，作者部署了一个语义分割网络，将生成的图像与训练集中分割目标的分布进行比较。统计差异可以揭示GAN忽略的目标类别。图1a示出了在church GAN模型中，与训练分布相比，诸如人、汽车和栅栏的目标类别在生成的分布中具有更少的像素。

图1:看GAN不能生成什么:(a)作者对比了LSUN church训练集中目标分割的分布和生成结果的分布:生成器丢弃了人、车、栅栏等目标。(b)真实图像与其重建图像之间的比较，其中不能生成人和栅栏的实例。每组图片中，左上角是真实照片，右上角是生成的重建图像，下面两个是各自的分割图。然后，根据识别出的省略目标类别，作者直接将“干”的省略形象化。具体来说，作者比较了每张照片与甘推断的相似图像的具体差异。为了做到这一点，作者放宽了反推问题的限制，解决了反推一层GAN(而不是整个发生器)这个容易解决的问题。在实验中，作者应用该框架分析了最近在不同场景数据集上训练的几个GANs。作者惊讶地发现，丢失的目标类别没有被扭曲、渲染得很差或渲染成噪声。相反，它们实际上根本没有被渲染，就好像这个对象不是场景的一部分。图1b给出了一个例子。你可以看到，更大的肖像被完全跳过了，栅栏的平行线也被完全忽略了。因此，GAN可能会忽略太难处理的类别，同时可以获得平均视觉质量更高的输出。有关相关规范、数据和其他信息，请参见ganseeing.csail.mit.edu。

方法利用场景图像的层次结构，分析模式崩溃GAN在定量分布层次上的系统误差。每个场景可以自然地分解成对象，从而可以通过估计构成对象的统计数据的偏差来估计与真实场景分布的偏差。比如卧室的甘也要渲染一些窗帘。如果窗帘的统计和实拍照片的统计有偏差，那么我们知道可以通过检查窗帘来看出甘的具体缺陷。为了实现这一想法，作者使用了提出的统一感知解析网络对所有图像进行分割，该网络会用336个目标类别中的一个来标记图像的每个像素。对于每个图像样本，作者收集了每个目标类别的总像素面积，并收集了所有分割目标类别的均值和协方差统计。作者在大量生成的图像和训练图像上对这些统计数据进行了采样。作者将目标分割的所有统计量称为“生成的图像分割统计量”。
图2显示了两个网络的平均统计数据。在每个图中，将每个世代目标类别的平均分割频率与真实分布进行比较。

图2:使用生成的图像分割统计来理解在LSUN bedroom数据集上训练的两个模型的不同行为。因为大部分类别不会出现在大部分图片上，所以作者把它们按降序分类，然后把重点放在最常见的。这种比较可以揭示当前许多最佳模型之间的许多具体差异。分析中使用的两个模型都是在相同的图像分布(LSUN卧室集)上训练的，但是WGAN-GP和真实分布之间的差距比StyleGAN和真实分布之间的差距大得多。也可以使用单个数值来总结分割的统计差异。为此，作者定义了弗雷歇分割距离(FSD)，它类似于常用的弗雷歇关联距离(FID)度量，但FSD可以解释为:

其中_ t是训练图像样本上每个目标类别的平均像素数，σ _ t是这些像素数的协方差。同样，_ g和σ _ g反映了生成模型的分割统计量。在实验中，作者比较了10000个生成样本和10000幅自然图像的统计量。生成图像分割统计测量整体分布:例如，它们可以揭示生成器忽略特定目标类别的情况。但是，它们不排除应该生成某个目标但没有生成的特定图像。为了获得进一步的见解，我们需要一种方法来可视化每幅图像中生成器的省略。

针对上述问题，作者比较了图像对(x，x’)，其中x是真实图像(包括GAN生成器G遗漏的特定目标类别)，x’是GAN模型层能够生成的所有图像在空之间的投影。

定义一个可解决的逆推问题

在理想情况下，由生成器G完美合成的图像可以被发现，并与真实图像x保持近距离。用数学语言来说，目标是找到

，其中

，L是图像特征之间的距离度量空。遗憾的是，由于G中的层数较多，以前的方法无法解决生成器的这种完全向后的问题。因此，作者转向解决这个完全反问题的一个可解子问题。作者生成器G被分解成多个层:

其中g_1，...，g_n是生成器的几个早期层，G_f是G的所有后期层的组合，任何能被G生成的图像都可以被G _ F生成，也就是说，如果用range(G)来表示G能输出的所有图像的集合，那么就有range (g) range (g _ f)。即G不能生成任何G_f不能生成的图像。因此，任何能在值域(G_f)中确定的省略也是值域(G)中的省略。因此，对于层反演，作者通过简单地反演G_f的后面的层来实现省略的可视化:

根据作者的说法，虽然最终的搜索是为了中间表示R，但是从估计的Z开始可以提供很多帮助:拥有Z的初始估计可以帮助搜索更好的R值，这些值更有可能由Z生成，因此，解决这个反推问题的过程分为两步:首先，构造一个近似反推整个G的神经网络E，计算一个估计结果z_0 = E(x)。然后，求解优化问题以确定中间表示。

其可以生成重建图像。

，以非常接近地恢复X。图3显示了这种层反转方法。

图3:层反演方法概述。先训练一个倒G的网络E；这可以用来获得隐含z0 = E(x)的初始估计及其中间表示。

。然后，用r_0初始化对r*的搜索，以得到接近目标X的重构X′。

逐层网络逆推

通过在更小的问题上预先训练每一层，更容易训练深度网络。因此，为了学习反推神经网络E，作者选择了逐层执行的方法。对于g_i ∈ {g_1的每一层，...，g_n，G_f}，训练一个小网络e_i来近似推回g_i，也就是说定义了r _ i = g _ i (r _ i1)，目标是学习一个网络e_i，使其能近似计算r _ {i1} ≈ e _ i (r _ i)。作者也希望网络e_i的预测能很好地保持层g_i的输出，所以需要r_i ≈ g_i(e_i(r_i))。作者通过最小化左右反推损失来训练e_i:

为了将训练集中在生成器所获得的表示的流形上，作者对Z进行了采样，并使用层g_i计算了R _ {i1}和r_i的样本，所以R _ {i1} = G _ {i1} (… G _ 1 (z) …)。这里|||| _ 1代表L1损失，作者将λ_R设为0.01，以强调R _ {i1}的重构。一旦所有的层都被反转，就可以为整个G:

可以通过联合微调这个网络E*来进一步优化结果，该网络E *被设置为在整体上反转G。作者将微调后的结果标记为e。结果图2和图5显示了在LSUM bedroom集合上训练的WGAN-GP、StyleGAN和Progressive GAN生成的图像分割统计数据。

图5:省略卧室发电机的可视化；这里测试了基于lSUM卧室套件的渐进式GAN。直方图显示，对于许多不同的分割目标类别，StyleGAN可以比渐进式GAN更好地匹配这些目标的真实分布，而WGAN-GP最差。表1用Frechet分割距离总结了这些差异，这证明了更好的模型的整体分割统计更好地匹配真实分布。

表FSD汇总的生成图像分割统计。
图4测量了在10，000个图像的有限样本集上生成图像分割统计的灵敏度。

[44]

图4:生成图像分割统计的灵敏度测试结果。
图1和图5显示了使用新提出的方法对教堂和卧室数据集生成的分割统计数据进行分析的结果。这些直方图表明生成器将部分跳过困难的子任务。图6的前三列比较了新的反推方法和以前的反推方法。图6的最后三列将完整的新方法(F)与两种消融实验版本进行了比较。

图6:在LSUN church图像上比较反向渐进GAN的生成器的几种方法

作者应用上述反推工具来测试各种生成器在训练集之外合成图像的能力。图7使用在LSUN卧室集合上训练的渐进GAN，其示出了应用方法(F)来反转和重建不同场景的自然照片的定性结果。

图7:反转层7:渐进式GAN卧室图像生成器。

图8示出了由在LSUN church数据集上训练的渐进GAN获得的类似定性结果。

图8:8教会外发生器反层:递进甘。