Adaptive Discriminator Augmentation(ADA)

  • 避免手动调整增强强度, 根据过拟合程度动态控制它
  • 量化过拟合的标准方法：使用一个单独的验证集，并观察其相对于训练集的行为
  • 在N个连续的小批次上的平均值表示为$E[·]$

$$r_v = \frac{E[D_{train}]-E[D_{validation}]}{E[D_{train}]-E[D_{generated}]}$$

$$r_t = E[\mathsf{sign}(D_{train})]$$

对于$r_v$和$r_t$来说，值为0时是没有过拟合，值为1时是完全过拟合。

  • 调整增强概率p以使选定的指标($r_v$或$r_t$)匹配适当的目标值。

  • $r_v$表示验证集的输出相对于训练集和生成图像的输出。由于它假定存在一个单独的验证集，我们主要将其作为一种比较方法。

  • $r_t$估计获得正鉴别器输出的训练集的部分。我们发现这对于选定的目标值和其他超参数来说，远不如直接查看$E[D_{train}]$那么敏感。

将p初始化为零，并根据选定的过拟合指标每四个小批次调整一次它的值。如果$r_t$表征过拟合太多/太少，我们通过增加/减少固定量来进行调整，保证$r_t$的值近似在0.6。