估计线性判别分析中的协方差矩阵

机器算法验证 机器学习 参考 判别分析 数理统计 统计学习
2022-04-17 22:19:00

我试图从“统计学习要素”中的第 109 页推导出方程(下图) 在此处输入图像描述

老实说,我不确定协方差如何Σ估计(图像中的第三个要点)。有人可以告诉我以及如何Σ^是派生的(特别是我不确定如何NK出现在分母中)?谢谢

更新:我仍然不明白为什么NK(在哪里K是参数的数量)显示在分母中,但我怀疑它与使协方差矩阵估计无偏有关。这类似于1Ni(xix¯)2是有偏见的,而s2=1N1i(xix¯)2不是。如果我错了,请纠正我。

1个回答

你说的对。共享方差-协方差矩阵的方程来自Pooled Variance

共享协方差矩阵Σ被视为单个协方差矩阵的加权平均值,加权为ni1

所以Σ=(n11)Σ1+(n21)Σ2+....+(nk1)Σk(n11)+(n21)+...+(nk1)