机器算法验证 - 样本方差的标准误 - 吾爱随笔录

样本方差的标准误

机器算法验证方差样本无偏估计器估计者

2022-04-15 07:37:54

我们知道方差的无偏估计是：

{\hat{σ}}_{u n b i a s e d}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$\hat{\sigma}^2_{unbiased} = \frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})^2$

我想知道，它是否有最小的标准误差？

有偏（但一致）估计量：有更低的标准误？

{\hat{σ}}_{b i a s e d}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$\hat{\sigma}^2_{biased} = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2$

我知道方差的有偏估计量是最大似然估计量 (MLE)，并且 MLE 估计量在表现良好的估计量集中具有最小可能的方差。根据这个结果，我在这里得出的结论是即使它是有偏的，它的标准误差也低于无偏估计量。 $\sigma^2_{biased}$

1个回答

查看的方差，我们有因为，所以所以最大似然估计器 (MLE) 确实具有较小的标准误差。 $\hat{\sigma}_{biased}^2$

\begin{array}{rcl} V a r ({\hat{σ}}_{b i a s e d}^{2}) & = & V a r (\frac{n - 1}{n} {\hat{σ}}_{u n b i a s e d}^{2}) \\ = & {(\frac{n - 1}{n})}^{2} V a r ({\hat{σ}}_{u n b i a s e d}^{2}) . \end{array}

$\begin{eqnarray*} \mathrm{Var}(\hat{\sigma}_{biased}^2) &=& \mathrm{Var} \left( \dfrac{n-1}{n} \hat{\sigma}_{unbiased}^2 \right) \\ &=& \left( \dfrac{n-1}{n} \right)^2 \mathrm{Var}(\hat{\sigma}_{unbiased}^2). \end{eqnarray*}$

(n - 1) / n < 1

$(n-1)/n < 1$

V a r ({\hat{σ}}_{b i a s e d}^{2}) < V a r ({\hat{σ}}_{u n b i a s e d}^{2})

$\mathrm{Var}(\hat{\sigma}_{biased}^2) < \mathrm{Var}(\hat{\sigma}_{unbiased}^2)$

s d ({\hat{σ}}_{b i a s e d}^{2}) < s d ({\hat{σ}}_{u n b i a s e d}^{2}) .

$\mathrm{sd}(\hat{\sigma}_{biased}^2) < \mathrm{sd}(\hat{\sigma}_{unbiased}^2).$

其它你可能感兴趣的问题

上一篇最高主成分与最显着的随机森林变量下一篇为什么生成对抗网络被归类为无监督