数据挖掘 - 什么是分布方面的不对称度量？ - 吾爱随笔录

数据挖掘统计数据可能性分配数学

2022-02-16 03:56:06

我试图理解 KL-Divergence，并且正在浏览它的维基百科文章。它说以下

D_{K L} ⟨ P (X) ‖ P (Y) ⟩,

$D_{KL} \langle P(X) \Vert P(Y) \rangle,$

与信息的变化相比，它是一种分布方面的不对称度量，因此不符合传播的统计度量标准——它也不满足三角不等式。

分布方式不对称测量的含义是什么？有对称的度量吗？一个数量应该遵循哪些规则才能成为价差的统计指标？

1个回答

分布方式不对称测量的含义是什么？

（前向）KL 散度是分布不对称的，因为如果将其计算为

D_{K L} ⟨ P (X) ‖ P (Y) ⟩

$D_{KL} \langle P(X) \Vert P(Y) \rangle$ 其中

P (X)

$P(X)$ 和

P (Y)

$P(Y)$ 是两个不同的概率分布，后者是参考分布，然后是

D_{K L} ⟨ P (Y) ‖ P (X) ⟩ \neq D_{K L} ⟨ P (X) ‖ P (Y) ⟩ .

$D_{KL} \langle P(Y)\Vert P(X)\rangle \neq D_{KL}\langle P(X)\Vert P(Y)\rangle.$ 换句话说，反向KL-散度不等于正向KLD。如果前向 KLD是对称的，那么上述将是一个等式，而不是一个不等式。

有对称的度量吗？

例如，分布对称度量将是互信息：

I (X; Y) = H (X) + H (Y) - H (X, Y) = D_{K L} ⟨ P (X, Y) | | P (X) \cdot P (Y) ⟩,

$I(X;Y) = H(X)+H(Y)-H(X,Y) = D_{KL} \langle P(X,Y) || P(X) \cdot P(Y) \rangle,$ 其中是变量概率分布的熵，因为。互信息是 KLD 的一个特例，其中联合分布是根据边际分布的乘积来衡量的。

H (X)

$H(X)$

X

$X$

I (Y; X) = I (X; Y)

$I(Y;X) = I(X;Y)$

一个数量应该遵循哪些规则才能成为价差的统计指标？

距离度量应该满足的三个公理是：

由于互信息不服从不等式三角形，因此它不符合作为距离度量的完整标准。相反，信息的变化 确实满足上述所有要求，并且是一个真正的度量标准：

V I (X; Y) = H (X, Y) - I (X; Y)

$VI(X;Y) = H(X,Y) - I(X;Y)$ 其中是联合熵。

H (X, Y)

$H(X,Y)$

其它你可能感兴趣的问题