我想知道是否有任何人知道以非标准化密度进行信息论的方法。

具体来说，我有两个对数似然，所以我可以写：$\phi(x), \psi(x)$

$p(x) = \frac{\exp(\phi(x))}{Z(\phi)}, q(x) = \frac{\exp(\psi(x))}{Z(\psi)}$。

我想测量这些密度之间的差异，这与不需要我知道相似（可能在精神上） ，因为我无法对它们进行分析整合，而且蒙特卡洛太贵了。$KL(p || q)$$Z(\phi) ,Z(\psi)$

我知道这有点模糊，任何指针将不胜感激。

$\textbf{edit:}$让我强调一下，我不一定要寻找一种廉价的方法来计算 KL 散度，而是一种廉价的方法来估计非标准化概率之间的差异。