两位审校员给模型结果打分不一致，怎样算一致率并找出争议样本

先按样本ID对齐两位人工审校员的独立标签，再分别计算观察一致率、由边际分布得到的期望一致率以及Cohen kappa。附件六条合成标注的一致率为2/3，期望一致率为1/2，kappa为1/3，争议样本是3和6。

保留两份原始评分

两位审校员应使用相同标签定义，却各自独立填写。不要先开会统一意见，再用统一后的表计算一致性。CSV通过id连接而不是按行号拼接，因为排序不同会把本来相同的评分错配。某人漏评时，先列出缺失项；本文选择整组停止，要求补齐双人评分。实际项目也可以预先规定完整案例的统计政策，但要报告被排除数量。

从交叉频数算起

样例两人各有三条yes和三条no，因此按边际比例计算的期望一致率为0.5×0.5+0.5×0.5。实际四条相同，所以观察一致率为4/6。再代入kappa=(观察一致率−期望一致率)/(1−期望一致率)，得到约0.333333。cross-counts.csv列出每种标签组合的计数，读者可以不相信最终数字，先手工数一遍原始两表。

把争议交回复审

disagreements.html只列意见不同的id和双方标签，便于第三人查原题、答案与评分说明。争议可能来自模型输出含糊，也可能是规则没覆盖特殊情况；复审后可增加规则示例，再重新独立标注一组材料检查改进。不要直接把一个审校员改成另一个人的标签来“提高一致率”，也不要由kappa倒推出某人错了多少题；这里没有独立真值。

类别分布会影响解释

当几乎所有样本都在同一类别时，观察一致率可能很高而kappa不高；双方全填同一常量标签时，期望一致率等于一，公式分母为零，应报告未定义而不是硬填一。失败边界故意删掉一位审校员的第6条评分，程序会指出ID不齐。本文计算两名人工标注者的一致性，不是模型预测对真值的准确率。若标签有等级顺序，是否采用加权kappa是另一个需提前说明的选择，不能随结果好坏事后更换指标。

争议复审最好留下原始标签、裁定标签与理由三份记录，不能覆盖原始两列。这样后续评分规则变化时，可以区分模型输出本身的变化和人工标注政策的变化，也能追查某个类别为什么持续出现歧义。

下载与复现

下载完整样例包，解压到一个新文件夹；也可查看全部文件清单和主脚本。使用Python 3.10或更新版本，在解压目录运行。此脚本只使用标准库，无需安装额外包。

python -B run.py
python -B run.py --negative

先查看主要结果，再修改输入重跑；已有输入会保留，结果写回同目录。边界命令可能故意非零退出，也可能输出明确的不适用状态，按正文说明判断，不把所有非零退出都当成安装故障。

依据与延伸阅读

资料核对日期为2026年10月24日。一手资料1：Cohen kappa基于观察一致和按边际标签频率得到的期望一致，不是真值正确率。

继续阅读：用模型当评委时，怎样处理空标签、未知等级和解析失败；让模型比较两份答案时，怎样把 A/B 换序做成可核对的盲评材料；让分类模型低把握时交给人工，怎样选择覆盖率与错误率的折中点。