Cohen's Kappa 系数是一种用于评估评分者间信度的统计指标,它克服了简单百分比一致性的局限性,通过考虑偶然一致性提供更稳健的评估。

Cohen's Kappa 适用于评估两个评分者(可以是个人、专家小组或自动化系统)在将 N 个项目分类到 K 个互斥类别时的一致性程度。

对于名义类别,可以使用 Cohen 在 1960 年提出的未加权 Kappa 系数。而对于有序类别,则需要考虑类别之间潜在的顺序关系,例如,类别 2 比类别 1 更严重,类别 3 比类别 2 更严重,以此类推。