理解 infoGAN 论文中的数学符号

数据挖掘 统计数据 描述性统计 互信息
2022-03-07 02:31:59

我正在阅读这篇关于infoGAN infoGAN_paper_link中互信息的论文,并且已经有了运行它的代码。我几乎发现它的代码很好而且很花哨,除了我有点不理解成本函数中的一些代码。因此,我查看了这篇论文以剖析它以便更好地理解,并遇到了一些我不理解的数学符号(下图)。我试图弄清楚的符号的用法是期望下标中的“〜”,“'”和“||” 使用符号。

这就是我认为符号的含义。

  • 期望下标中的“~”:“~”左边的变量可以是来自“~”右边的任何连续值
  • P(c'|x) 中“c”旁边的“'”:我不知道。我认为这些是衍生物的符号,但这对这个等式没有意义,所以它不是那个。
  • “||”:我不确定。我只知道规范中使用了这些符号,但这里显然不是这种情况。

论文中的公式截图 论文截图

我试图弄清楚的实际代码是 PyTorch 中的。它是成本中的变分下限(互信息项)(不是上面屏幕截图中的公式)。但是,在进行变分下限公式的公式计算之前,我首先遇到了屏幕截图中的公式。

mutual_information_lower_bound = lambda c_true, mean, logvar: Normal(mean,logvar.exp()).log_prob(c_true).mean()

谢谢您的帮助!

1个回答
  • 符号DKL(PQ)几乎是 Kullback-Leibler 散度的标准。关于数学 SE有一个有趣的讨论,讨论了用于分歧的相当不寻常的符号的原因。

  • 一般来说,xG(z,c)方法 ”x是一个随机变量,根据G(z,c)”。在下标中,作者的意思是对随机变量取期望x,假设x有那个分布。

  • 如果您有一个变量,例如a,调用相关变量并不罕见a(通常发音为“a prime”)。在这种情况下c只是一个随机变量,根据P(cx), 名字c可能是为了提醒您该变量以某种方式连接到c. 在导数显然不正确的情况下,这可能就是质数符号的含义。