机器算法验证 - 证明高斯分布的最大似然估计量是全局最大值 - 吾爱随笔录

证明高斯分布的最大似然估计量是全局最大值

机器算法验证自习正态分布最大似然

2022-03-21 20:51:02

我正在研究 Casella-Berger，我在第 322 页，其中解释了如何找到具有参数的高斯分布的 MLE $\mu$ 和 $\sigma^2$ ，两者都未知。它找到了 MLE，到目前为止一切都清楚了，它们是 $\hat{\mu} = \bar{x}$ 和 $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i-\bar{x})^2$ .

现在，它说很难通过分析证明这些确实是全局最大值，并且它使用了这个事实：

如果 $\theta \ne \bar{x}$ 然后 $\sum (x_i-\theta)^2 > \sum (x_i-\bar{x})^2$ .

它没有对此给出任何解释。有什么我看不到的明显的东西吗？

2个回答

您可以使用平方和参数来查看这一点。

\sum_{i} (x_{i} - θ)^{2} = \sum_{i} (x_{i} - \bar{x} + \bar{x} - θ)^{2} = \sum_{i} (x_{i} - \bar{x})^{2} + n (\bar{x} - θ)^{2} + 2 (\bar{x} - θ) \sum_{i} (x_{i} - \bar{x})

$\sum_i (x_i-\theta)^2 = \sum_i (x_i - \bar{x}+\bar{x}-\theta)^2 = \sum_i (x_i-\bar{x})^2+n(\bar{x}-\theta)^2+\\\color{red}{2(\bar{x}-\theta)\sum_i(x_i-\bar{x})}$

现在， $\bar{x}$ 被定义为使得交叉项变为零，因为 $\sum_i x_i = \sum_i \bar{x}$ .

因此，我们剩下：

\sum_{i} (x_{i} - θ)^{2} = \sum_{i} (x_{i} - \bar{x})^{2} + n (\bar{x} - θ)^{2}

$\sum_i (x_i - \theta)^2 = \sum_i (x_i-\bar{x})^2+n(\bar{x}-\theta)^2$

这是与估计器相关的平方误差的方差/偏差分解 $\theta$ . 因为 RHS 上的两项都是正的，只有偏置项取决于 $\theta$ ，我们有：

\sum_{i} (x_{i} - θ)^{2} > \sum_{i} (x_{i} - \bar{x})^{2}

$\sum_i (x_i - \theta)^2 > \sum_i (x_i - \bar{x})^2$

$\theta\mapsto \sum (x_i-\theta)^2$ 是二次函数 $\theta$ 向上打开。它有一个唯一的最小值，它的导数是 $0$ ，也就是说当 $2\sum (x_i-\theta)=0$ IE $\theta = \hat x$ .

其它你可能感兴趣的问题

上一篇MLE、MAP 和朴素贝叶斯分类器的直观示例下一篇使用 Brier 评分和对数评分规则的不同结果