我正在查看两份文档,以帮助我了解如何构建巧合矩阵,以便更好地理解 Krippendorff 的 alpha。我正在使用这两个:
https://repository.upenn.edu/cgi/viewcontent.cgi?article=1043&context=asc_papers
https://en.wikipedia.org/wiki/Krippendorff%27s_alpha
在我看来,两者之间存在差异。可能没有,但我正在寻找一些帮助来确定我的理解是否错误,或者是否确实存在差异。
在链接 1 中,我正在查看 B 部分(“名义数据,2 个观察者,无缺失数据”),其中显示了重合矩阵。在链接 2 中,我正在查看“巧合矩阵”部分。
考虑链接 1 中的可靠性矩阵:

为了计算重合矩阵的元素,我们在链接2中有如下定义:
ovv′=∑u=1N∑mi≠i′I(viu=v)I(vi′u=v′)mu−1=ov′v,
在哪里u是可靠性矩阵的水平元素(列),mu是列中实际存在的标签数u.
这看起来很简单。对于元素oaa(或者o11) 我们本应该:
oaa=I(a=a)I(b=a)2−1+I(a=a)I(a=a)2−1+I(b=a)I(b=a)2−1+I(b=a)I(b=a)2−1
+I(d=a)I(b=a)2−1+I(c=a)I(c=a)2−1+...
等等。显然,只有一个求和元素是非零的,即第二个元素。因此oaa=1.
使用相同的公式/逻辑,我们得出obb=2.
但是如果我们看一下链接 1,它的重合矩阵元素的值会增加一倍,我不明白为什么。我什至不明白链接对为什么它会为巧合矩阵获取这些值的解释。
有人可以帮忙吗?