Wasserstein-distance

定义

$$W(P_{r},P_{g}) = \mathop{\mathbf{inf}} \limits_{ \gamma \in \Pi (P_{r},P_{g})} E_{(x,y)\in \gamma}[\Vert x-y \Vert]$$

通过定理可转化为：

$$W(P_{r},P_{g}) =\frac{1}{K} \mathop{\mathbf{sup}} \limits_{ \Vert f \Vert_{L}\leq K} E_{x\in P_{r}}[f(x)] - E_{x\in P_{g}}[f(x)]$$

这里的$f(x)$就是生成对抗神经网络的判别器$D$，约束为满足Lipschitz条件，即：

$$\vert f(x_{1}) - f(x_{2}) \vert \leq K \vert x_{1} - x_{2} \vert $$

为了满足这个条件，在判别器的损失函数中增加项：

$$\lambda(\Vert \nabla_{\hat x}D_{w}(\hat x) \Vert_{2}-1) $$