线性回归中的协方差矩阵

数据挖掘 机器学习 回归 线性回归
2022-02-17 13:13:29

我已阅读有关线性回归和解释 OLS 结果的信息,即系数、t 值、p 值。但无法在线性回归中找到任何与协方差矩阵相关的材料

我正在阅读线性回归中的假设,遇到了异方差一词并正在研究其后果。因此,在通过 Stack Exchange 上关于异方差后果的答案之一时,我遇到了协方差矩阵一词。这是该StackExchange的链接

什么是协方差矩阵,应该如何解释它?

1个回答

OLS 假设之一是零条件均值假设,它表明,因此误差平均为 0。E[u|X]=0

中没有(自)相关所以协方差矩阵(有时也称为方差-协方差矩阵)是:E[uu|X]=σI

σI=σ[100010001]=Ω.

重要的是矩阵中的所有元素(从左上角到右下角的对角线元素除外)都为零,这意味着“残差之间没有相关性”。还有一个常数方差等于σ

如果,你面临异方差,你需要“建模”,例如通过“可行的广义最小二乘法”(FGLS)。ΩσIΩ

假设您有一个线性模型 这里是一个描述条件方差的方差函数的例子。为了获得对的一致估计,首先需要获得对的一致估计。这可以通过使用 OLS 来获得来完成。y=Xβ+uE(u2)=exp(Zγ)exp(Zγ)γuβ^u^

基于此,可以运行辅助线性回归来获得的估计值。这些估计可用于计算 的FGLS 估计由 OLS 获得,其权重为,称为可行加权最小二乘法logu^2=Zγ+vγ^ω^=(exp(Zγ^))1/2βω^

参见戴维森/麦金农:“计量经济学理论和方法”,第 2 章。7.4.