当前位置
主页 > 产品中心 > 产品四类 >
生成反抗网络(GAN)的数学原理全解
2021-12-31 12:54
本文摘要:模式塌缩:这是指生成器开始重复发生相同的输出(或一小组输出)的现象。如果判别器陷入局部最小值那么下一个生成器迭代就很容易找到判别器最合理的输出。判别器永远无法学会走出陷阱。 论文中有大量公式和证明会看的让人很头大而且差别的命题和差别的定理交织泛起为了读者能够淘汰阅读障碍我从中挑选了一些自认为比力重要的定理和命题而且给它们重新举行了排序整理。 综上命题和定理可以将其归纳为如下的 GAN 算法框架为了表达清晰重新整理了一下该算法框架。

华体会体育app官方下载

模式塌缩:这是指生成器开始重复发生相同的输出(或一小组输出)的现象。如果判别器陷入局部最小值那么下一个生成器迭代就很容易找到判别器最合理的输出。判别器永远无法学会走出陷阱。

论文中有大量公式和证明会看的让人很头大而且差别的命题和差别的定理交织泛起为了读者能够淘汰阅读障碍我从中挑选了一些自认为比力重要的定理和命题而且给它们重新举行了排序整理。

综上命题和定理可以将其归纳为如下的 GAN 算法框架为了表达清晰重新整理了一下该算法框架。

相反对于给定的判别器  优化 使得生成的样本 将试图“愚弄”判别器 以分配高值。设 其漫衍为 可以用 和 重写 为:

生成器是低维向量到高维向量是一个反卷积历程反卷积又名转置卷积和微步卷积卷积和反卷积两者的区别在于 padding 的方式差别看看下面这张图片就可以明确了:

引言

其中如果 时会有。

GAN 的原论文中的证明会有一些不严谨的地方而且在算法中为了训练效率更高也有许多简化其实这也是这个领域的一个常见现象在北大的深度学习的数学原理的暑期课上老师就提到过 深度学习中数学严谨证明占 6 成

DCGAN 另有一个重要的创新之处在于将矢量加法引入到图像生成中如下图所示:

其中 and 对于 来说险些到处存在。

GAN配景先容

和 JS 散度公式如下(JS 散度是革新了 KL 散度的距离差池称性):

华体会体育

消失梯度:这种情况经常发生特别是当判别器太好时这会阻碍生辰器的革新。使用最佳的判别器时由于梯度的消失训练可能失败因此无法提供足够的信息给生成器革新。

上面这个目的函数的形式就是 Wasserstein GAN 的目的函数。

模式塌缩:这是指生成器开始重复发生相同的输出(或一小组输出)的现象。如果判别器陷入局部最小值那么下一个生成器迭代就很容易找到判别器最合理的输出。

判别器永远无法学会走出陷阱。

其中   所以进一步可以化简为:

收敛失败:由于许多因素(已知和未知)GANs 经常无法收敛。

华体会体育app

详细的反抗学习可以通过判别函数 和生成函数 之间的目的函数的极大极小值来实现。

生成器 G 未来自于 漫衍随机样本 转化为生成样本。判别器 试图将它们与来自漫衍 的训练真实样本区离开来而 G 试图使生成的样本在漫衍上与训练样底细似。

GAN的数学公式

学校|北京邮电大学博士生

需要注意的是判别器是从高维向量到低维向量是卷积历程如下图所示:

其中公式中 表现关于下标中指定漫衍的期望值。

GAN 解决的极小极大值的形貌如下所示:

其中  的取值规模为 (sup表现上确界)。

联系方式

电话:015-542075575

传真:0538-248579040

邮箱:admin@88tools.com

地址:新疆维吾尔自治区和田地区民丰县工李大楼113号