机器算法验证 - OLS 回归中的条件方差 - 吾爱随笔录

OLS 回归中的条件方差

机器算法验证回归方差

2022-03-26 20:55:15

考虑线性回归模型：其中是单回归量。在条件均值独立性假设下，任何特定观察的条件均值是：然而，条件方差是我感到困惑的地方。一方面，我们可以取原方程两边的方差并得到：

y_{i t} = x_{i t} β + ϵ_{i t}

$y_{it}=x_{it}\beta+\epsilon_{it}$

x

$x$

E [y_{i t} | x_{i t}] = x_{i t} β

$E[y_{it}|x_{it}]=x_{it}\beta$

v a r (y_{i t}) = β^{2} v a r (x_{i t}) + v a r (ϵ_{i t}) + 2 c o v (x_{i t} β, ϵ_{i t}) = β^{2} σ_{x}^{2} + σ_{ϵ}^{2} + 0

$var(y_{it})=\beta^{2}var(x_{it})+var(\epsilon_{it})+2cov(x_{it}\beta,\epsilon_{it})=\beta^{2}\sigma_{x}^{2}+\sigma_{\epsilon}^{2}+0$

另一方面，考虑以下方差公式：

E {[y_{i t} - E {y_{i t}}]}^{2} = E [ϵ_{i t}^{2}] = σ_{ϵ}^{2}

$E\left[y_{it}-E\{y_{it}\}\right]^2 =E[\epsilon_{it}^{2}]=\sigma_{\epsilon}^{2}$

哪一个是正确的？

2个回答

您的问题“OLS 回归中的条件方差”的标题提供了一个线索。第一个表达式

Var (y_{i t}) = β^{2} σ_{x}^{2} + σ_{ϵ}^{2}

$\text{Var}(y_{it})=\beta^{2}\sigma_{x}^{2}+\sigma_{\epsilon}^{2}$

给出无条件方差（不是“条件化”并保留在表达式中），而第二个 $x$

E {[y_{i t} - E {y_{i t}}]}^{2} = σ_{ϵ}^{2}

$\text{E}\left[y_{it}-\text{E}\{y_{it}\}\right]^2 =\sigma_{\epsilon}^{2}$

给出条件方差（以为条件）. $x$

但是，如果您不将预测变量视为固定的，那么您的最终方程式就不可能是正确的。为了

y_{i} = β x_{i} + ϵ_{i}

$y_i = \beta x_i + \epsilon_i$

回想起来

E (Y) = E [E (Y | X)]

$E\left(Y \right) = E\left[ E \left(Y|X \right) \right]$

我们有

E (y_{i}) = E (E (β x_{i} + ϵ_{i} | x_{i})) = β μ_{x}

$E(y_i) =E\left( E\left(\beta x_i + \epsilon_i|x_i \right) \right) = \beta \mu_x$

所以

\begin{aligned} V a r (y_{i}) = E (y_{i}^{2}) - {(E (y_{i}))}^{2} & = E {(β x_{i} + ϵ_{i})}^{2} - β^{2} μ_{x}^{2} \\ = β^{2} E (x_{i}^{2}) + E (ϵ_{i}^{2}) + 2 E (β x_{i} ϵ_{i}) - β^{2} μ_{x}^{2} \\ = β^{2} (σ_{x}^{2} + μ_{x}^{2}) + σ^{2} - β^{2} μ_{x}^{2} \\ = β^{2} σ_{x}^{2} + σ^{2} \end{aligned}

$\begin{align} Var(y_i) = E\left(y_i ^2\right) - \left(E(y_i) \right)^2 &= E \left(\beta x_i + \epsilon_i \right)^2 - \beta^2 \mu_x^2 \\ &= \beta^2 E\left(x_i^2 \right) + E(\epsilon^2_i) + 2 E\left( \beta x_i \epsilon_i \right) - \beta^2 \mu_x^2 \\ & = \beta^2 \left(\sigma_x^2 + \mu^2_x \right) + \sigma^2 -\beta^2 \mu_x^2 \\ & = \beta^2 \sigma^2_x + \sigma^2 \end{align}$

假设 $x_i$ 是独立同居。这当然与您在第三个等式中获得的相似。

其它你可能感兴趣的问题

上一篇边际正态性和联合正态性下一篇协方差矩阵和方差-协方差矩阵有什么区别？