如何构造用于计算 Krippendorff 的 alpha 的重合矩阵?

数据挖掘 统计数据 标签
2022-02-24 19:43:26

我正在查看两份文档,以帮助我了解如何构建巧合矩阵,以便更好地理解 Krippendorff 的 alpha。我正在使用这两个:

  1. https://repository.upenn.edu/cgi/viewcontent.cgi?article=1043&context=asc_papers

  2. https://en.wikipedia.org/wiki/Krippendorff%27s_alpha

在我看来,两者之间存在差异。可能没有,但我正在寻找一些帮助来确定我的理解是否错误,或者是否确实存在差异。

在链接 1 中,我正在查看 B 部分(“名义数据,2 个观察者,无缺失数据”),其中显示了重合矩阵。在链接 2 中,我正在查看“巧合矩阵”部分。

考虑链接 1 中的可靠性矩阵:

为了计算重合矩阵的元素,我们在链接2中有如下定义:

ovv=u=1NiimI(viu=v)I(viu=v)mu1=ovv,

在哪里u是可靠性矩阵的水平元素(列),mu是列中实际存在的标签数u.

这看起来很简单。对于元素oaa(或者o11) 我们本应该:

oaa=I(a=a)I(b=a)21+I(a=a)I(a=a)21+I(b=a)I(b=a)21+I(b=a)I(b=a)21

+I(d=a)I(b=a)21+I(c=a)I(c=a)21+...

等等。显然,只有一个求和元素是非零的,即第二个元素。因此

oaa=1.

使用相同的公式/逻辑,我们得出

obb=2.

但是如果我们看一下链接 1,它的重合矩阵元素的值会增加一倍,我不明白为什么。我什至不明白链接对为什么它会为巧合矩阵获取这些值的解释。

有人可以帮忙吗?

1个回答

维基百科文章中的公式似乎仅限于两个编码员。查看 u 中 m 个编码器的值的总和,i 我喜欢 j,因此 u 中的每个值都将与 u 中的另一个值匹配。实际上,这个总和会将 i 的值与 j 的值配对,并将 j 中的值与 i 配对。因此,o sub aa 将是 2 而不是 1。而 o sub bb 将是 4,而不是 2。

但是,我看不出维基百科的公式如何为两个以上的编码器产生巧合矩阵,因为这需要两个总和,将 m valors 中的每一个与 m-1 个其他值中的每一个配对。