只有当您在概率分布上定义香农熵时，它才有意义。您正在使用概率分布，其中每个像素都独立于像素强度的直方图进行采样。显然，真实图片并非来自这样的分布。如果他们这样做了，他们都会看起来像白噪声。

另请注意，单个元素没有熵。只有分布有熵。因此，如果您有两张图像，比较它们的熵是没有意义的。只有比较您从中采样图像的随机分布的熵才有意义。

将香农的原始信息熵应用于信号和图像，而不是原始的（一维）文本文件，存在很大的混淆。

最近出现了一种方法来协调不同的应用程序。Shannon 最初的目标是找到文本字符串的最小冗余表示。熵公式与热力学熵的吉布斯公式一致。不幸的是，巧合意味着这两个概念之间存在 50 多年的混淆。

对于图像和信号处理，我们几乎总是对压缩和最小冗余感兴趣，而不是热力学或统计物理学。

回到这个问题，可以估计图像的熵。熵通常以每像素位数 (bpp) 的形式给出。随机噪声 256 灰度级图像具有接近 8 bpp 的熵。测量文件的熵是相当不同的，因为压缩是通过减小文件大小来实现的。但是我们可以说文件大小是 S，它所代表的图像有 NxM 像素，因此它的平均熵是 S/(NxM)。但是，可以使用霍夫曼编码将文件进一步压缩为大小 S'，因此其对应的平均图像熵为 S'/(NxM)。

如果您想了解更多关于图像的香农信息熵的信息，请查看 arXiv 预印本：

https://arxiv.org/abs/1609.01117