机器算法验证 - 为什么 Spearman 的等级相关范围从 -1 到 1 - 吾爱随笔录

机器算法验证数理统计相关性斯皮尔曼罗排名

2022-03-27 07:43:39

ρ = 1 - \frac{6 \sum d_{i}^{2}}{n (n^{2} - 1)}

$\rho = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)}$

$\rho$ = Spearman 等级相关系数 = 每个观察的两个等级之间的差异 = 观察数
$d_i$
$n$

鉴于上述 Spearman 等级相关性，可以清楚地看到最大值为 1，因为最小的将为零。我试图通过以完全相反的顺序排列两个等级来弄清楚为什么它是-1。 $d_i$

我在下面附上我的计算，其中红色矩形代表四行的特定情况，我以完全相反的顺序排列了两个等级。紫色矩形是实际的计算结果，它确实是-1。我尝试在绿色矩形中进行概括，但该公式如何导致 2？

2个回答

有关定义，请参见维基百科。请注意，Spearman 相关性只是通常的 Pearson 相关性，但使用数据的等级而不是数据本身计算。

所以它总是在区间中的原因与 Pearson 相关的证明相同。通过使用 Cauchy-Schwartz 不等式。 $[-1,1]$

正如您所注意到的，总和包括或。为简单起见，我将研究存在偶数行的情况，即当为偶数时。 $1^2+3^2+5^2+\cdots+(m-1)^2$ $\sum_1^{m/2} (2r-1)^2$ $m$

您可以通过将括号扩展为来扩展总和，并使用标准公式计算总和：和

\sum_{1}^{m / 2} (2 r - 1)^{2} = 4 \sum r^{2} - 4 \sum r + \sum 1

$\sum_1^{m/2} (2r-1)^2 = 4\sum r^2-4\sum r +\sum 1$

\sum_{1}^{n} r^{2} = \frac{1}{6} n (n + 1) (2 n + 1)

$\sum_1^n r^2 = \frac16 n(n+1)(2n+1)$

\sum_{1}^{n} r = \frac{1}{2} n (n + 1)

$\sum_1^n r =\frac12 n(n+1)$

这给出了

\frac{4}{6} (m / 2) ((m / 2) + 1) (m + 1) - \frac{4}{2} m / 2 (m / 2 + 1) + m / 2 = \frac{1}{6} (m^{3} - m) .

$\frac46 (m/2)((m/2)+1)(m+1) - \frac42 m/2(m/2+1) + m/2= \frac16 (m^3-m).$

我们现在可以将其代入您的表达式：

\frac{6 \cdot (2 \sum_{1}^{m / 2} (2 r - 1)^{2})}{m^{3} - m}

$\frac{6\cdot(2\sum_1^{m/2} (2r-1)^2)}{m^3-m}$

= \frac{6 \cdot (2 \cdot \frac{1}{6} (m^{3} - m)}{m^{3} - m}

$=\frac{6\cdot(2\cdot \frac16 (m^3-m)}{m^3-m}$

= \frac{2 (m^{3} - m)}{m^{3} - m}

$=\frac{2 (m^3 -m)}{m^3-m}$

= 2

$=2$

所以斯皮尔曼等级系数是-1

所以在这种情况下，可以直接计算该值。您可能不熟悉标准公式。通常它们通过归纳来证明，但在数学 StackExchange 上提供了视觉证明：https ://math.stackexchange.com/questions/122546/gaussian-proof-for-the-sum-of-squares

其它你可能感兴趣的问题