通常的可靠性指数（Cronbach$\alpha$, 科恩$\kappa$等）只量化单一误差源的影响。为了$\alpha$相关的误差来源是特定于项目的差异，因为$\kappa$和其他评估者间争论的度量，它是评估者特定的错误。在任何测量情况下，都有其他错误来源可能对您的目的很重要，也可能无关紧要。

泛化理论提供了一个系统的框架来处理这些错误的多种来源。在概括性理论中，一项研究有许多“方面”，如项目、时间或评分者。它们的影响首先在“G 研究”中量化，这些估计可用于调整测量。这有许多实际应用，但就您的问题而言，重要的是只能量化与研究中不同方面相关的误差，并且您必须将其设计为包括您关心或担心的所有方面。

例如，如果您只有一个测量点，您不知道随着时间的推移测量的稳定性如何，如果您只有一个评估者，您不可能知道评估者之间会有多少不同。这么说，这听起来很明显，但谈论“估计可靠性”往往会掩盖这一基本点。

实际上，这意味着在您的情况下，您无法检查您的结果是否会推广到其他评估者，或者不同的人是否会以相同的方式对内容进行分类（实际上一个评估者可能就足够了，但您无法检查与您的数据）。如果您担心评分者之间的协议（通常是这种情况），那么您确实需要至少部分内容有另一个评分者代码。但是，您可以使用单个评估者量化其他错误来源（例如时间稳定性、不同的编码方案或软件等），并将其称为“可靠性评估”，但这仍然不会告诉您评估者之间的协议或消除潜在问题评估者特定的错误。