给定互信息的定义

$$I(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) },$$

它源于对总和的重新排列

$$I(Y; X) = \sum_{x \in X} \sum_{y \in Y} p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) }.$$

因此$I(X; Y) = I(Y; X)$.

---

编辑

"$I(X;Y)$测量不确定性的平均减少$X$那是因为知道$Y$"

如果你解释$H(X) - H(X|Y)$在哪里$H(X)$是边际熵$X$和$H(X|Y)$的条件熵$X$给定$Y$随着不确定性的减少，则等于$H(Y) - H(Y|X)$和$I(X; Y)$（参见维基百科）。

$I(A;B) = I (B;A) = H(A)-H(A|B)\\I(A;B) = I (B;A) = H(B)-H(B|A)$

把它想象成一个维恩图，其中的交点是互信息。请记住，如果 A 依赖于 B，那么 B 也依赖于 A。一个人拥有另一个人的信息与另一个人拥有的信息相同。