我知道我会在两年后回答这个问题，但我希望一些未来的读者可能会发现这个答案有帮助。

Cohen 的检验数据是否更有可能落在分类表的对角线中，而 Fisher 的精确检验评估两个分类变量之间的关联。$\kappa$

在某些情况下，Cohen 的可能会收敛到 Fisher 精确检验。一个简单的案例将回答您的问题，即 Fisher 检验不适合评估者协议。$\kappa$

想象一个矩阵$2 \times 2$

$\begin{matrix} 10 & 20 \\ 20 & 10\end{matrix}$.

很明显，非对角线上的两个变量之间存在关联，但评估者的同意只是偶然。换句话说，评估者系统地不同意。从矩阵中，我们应该预期 Fisher 检验是显着的，而 Cohen 检验是显着的。$\kappa$不该是。进行分析证实了预期，$p = 0.01938$和$\kappa = -0.333$,$z =-4743$和$p = 0.999$.

我们还可以举另一个例子，其中两个结果与以下矩阵不同：

$\begin{matrix} 20 & 10 & 10 \\ 20 & 20 & 20 \\ 20 & 20 & 20 \end{matrix}$,

这使$p = 0.4991$和$\kappa = 0.0697$,$z =1.722$和$p = 0.043$. 因此，评估者可能会同意，但分类变量之间没有关系。

不过，我没有更正式的数学解释来说明它们应该如何收敛。

最后，鉴于科恩的实际知识状态$\kappa$在方法论文献中（例如参见this），您可能希望避免使用它作为一致性的衡量标准。系数有很多问题。我相信，对评估者的仔细培训和对每个类别的强烈一致（而不是整体一致）是要走的路。