机器算法验证 - “信息”相关性 - 吾爱随笔录 - 问答

“信息”相关性

机器算法验证相关性熵信息论互信息双变量

2022-03-24 12:18:25

（让和是随机变量，足以让我的问题有意义。） $X$ $Y$

Correlation

$\text{Correlation}$

ρ (X, Y) = \frac{cov (X, Y)}{\sqrt{var (X)} \sqrt{var (Y)}}

$\rho(X, Y) = \dfrac{\text{cov}(X, Y)}{\sqrt{\text{var}(X)}\sqrt{\text{var}(Y)}}$

如果我们将信息论和经典统计进行类比，熵类似于方差，互信息类似于协方差。带着这个想法，我应该能够建立某种“信息”相关性，。 $\rho_I$

ρ_{I} (X, Y) = \frac{MI (X, Y)}{\sqrt{MI (X, X)} \sqrt{MI (Y, Y)}} = \frac{MI (X, Y)}{\sqrt{H (X)} \sqrt{H (Y)}}

$\rho_I(X, Y) = \dfrac{\text{MI}(X, Y)}{\sqrt{\text{MI}(X, X)}\sqrt{\text{MI}(Y, Y)}} = \dfrac{\text{MI}(X, Y)}{\sqrt{\text{H}(X)}\sqrt{\text{H}(Y)}}$

这有意义吗？有没有文献探讨过这个想法？我正在做一个项目，可以方便地说中的一些熵由解释（类似于对方差的通常解释）。更好的是，我想说包含中包含的“信息”的一部分。 $Y$ $X$ $R^2$ $X$ $Y$

2个回答

从相关信息系数的角度来看，我将提供您给出的公式的背景。称为归一化互信息。

不幸的是，很多东西都被称为归一化互信息。您所展示的内容使用和的几何平均值作为分母。其他常见的选择是算术平均值、最小值和最大值。任何广义均值都可以。分母的另一个选择是联合熵。 $H(X)$ $H(Y)$ $H(X, Y)$

因此，给出用于标准化互信息的公式很重要。

话虽如此，归一化互信息存在很大问题。它受到所谓的有限尺寸效应的影响；基线不断上升，当其中一个变量没有传达任何信息时，您可以获得较高的 NMI。最好使用期望（而不是最小值）为 0 的机会调整变量（“调整后的互信息”）。

回答您的问题“是否有任何文献探讨过这个想法？”。Linfoot (1957) 引入了相关的信息系数，： $\mathit{(IC)}$

I C = \sqrt{1 - e^{- 2 \cdot I (X; Y)}}

$IC=\sqrt{1-e^{-2\cdot{I(X;Y)}}}$

其中是互信息。 $\mathit{I(X;Y)}$

虽然它似乎不是文献中常用的统计数据，但可能会满足您的要求。（注意：是的度量，而不是）。 $\mathit{IC}$ ${r}$ ${r^2}$

参考：Linfoot, EH (1957)。相关性的信息量度。信息与控制，1, 85-89。

其它你可能感兴趣的问题

上一篇分类回归任务异常混淆下一篇是随机变量函数的概率不变量的值