关于最小足够统计量的基本直觉

机器算法验证 数理统计 直觉 充分统计
2022-04-18 04:27:27

正如维基百科所述:

如果可以将充分统计量表示为任何其他充分统计量的函数,则该充分统计量是最小充分的。换句话说,当且仅当 是最小充分的,并且如果充分,则存在一个函数 f 使得 . 的所有可能信息S(X)S(X)T(X)S(X)=f(T(X))θ

我很难理解“最小”的全部含义

我不明白的是,如果我们有第三个足够的统计量,我们称之为 ,会发生什么:U(X)

U(X)=g(S(X))=f(g(T(X)))

在这种情况下,都是最小的吗?我问这个是因为最小让我认为它必须是“最小的”,所以只能有一个(组)最小的统计数据。U(X)S(X)

如果 f 或 g 是可逆的,我没有错 那么三个充分统计量都是最小的,但在这种情况下它们都属于同一组。在 f 和 g可逆的情况下,三个统计量:在捕获信息方面具有不同的效率U(X),S(X),T(X)

1个回答

让样本空间为那么一个足够的统计量可以被看作是对的一个分区进行索引,也就是说, iff (当且仅当)属于该分区的同一元素。然后,最小足够的统计量给出了数据的最大减少。也就是说,如果是最小充分的,那么如果我们取对应于的分区,取该分区的两个不同元素,并通过用它们的并集替换这两个元素来创建一个新的分区,那么得到的统计量就不再充分了。所以,任何其他充分的统计数据,比如XTXT(x)=T(y)x,yTTS, 这不是最小的, 将有一个分区对应于 T 的分区的细化也就是说, T 的分区的每个元素都是分区的元素的并集(如果你使这变得更容易理解我的文字中的一幅画!)。因此,当您知道的值时,您就知道该样本点属于的分区的哪个元素——因为该分区更粗糙。这就是当它说TTSSSTT是所有其他充分统计量的函数——每一个其他充分统计量都比提供更多关于样本的信息(或相同信息) 。T

定义: \mathcal{X} 的一个分区子集的集合, 使得除非分区的两个元素相同,即XXαXα=X
XαXβ=α=β