让模型比较两份答案时，怎样把 A/B 换序做成可核对的盲评材料

为每个候选固定身份，再把同一对答案按AB和BA各展示一次；评委给出的left或right必须映回候选ID，才能检查换序后是否仍支持同一答案。本地样例只重放合成选票，没有调用模型裁判，也不证明哪个候选实际更好。

盲评材料与映射表分开

公开给评委的材料只含问题、左右两份内容和ballot编号，去掉模型名及生成先后顺序。另一张映射表保存left、right分别对应c1还是c2，不能让展示位置取代稳定身份。附件为四个问题各生成两个顺序，共八张票。真实评审时，两轮任务安排还应防止评委直接记住上一轮选择；换序是诊断的一部分，不会自动消除所有偏差。

合法标签也可能揭示位置问题

第一题AB投left、BA投right，映回后都是c1，记作一致。第二题两轮都投left，映回结果分别是c1与c2，记作翻转。两张票的字符串完全相同并不是一致，恰好可能暴露总选第一位置的问题。还原表同时保留原始票与稳定候选，让任何汇总都能够追回具体材料，避免只看胜率丢失顺序因素。

平票和缺票保留独立状态

第三题两轮都是tie，第四题两轮都缺票。附件将它们分别写成tie与missing，不填成任一候选获胜。缺一轮也不足以判断换序一致性，应重新补评或从成对一致率的分母中按已声明规则排除。若做总体统计，需要同时展示有完整双票的题数，不能把缺失问题直接隐藏。未知标签则由失败命令触发明确错误，防止随意映射成默认选项。

一致之后还要看判断依据

总选同一个候选只能说明这对材料上展示顺序没有改变选择，不能证明评判正确。两份答案都错、两轮都误读题意，仍可能高度一致。实际任务应准备人工评分细则与必要的参考证据，记录理由，再对冲突题集中复查。answer-key.json属于管理材料，正式盲评时要与评委端分离；本文下载包把它公开用于学习还原过程，不能直接当成已经隔离身份的生产评审系统。

正式执行时，把盲评材料交给评委，映射表仅给汇总人员。若答案长度差异本身影响判断，也应记录而不擅自截断内容；否则顺序实验同时改变了答案信息量，最后观察到的翻转就很难归因于左右位置。

下载与复现

下载完整样例包，解压到一个新文件夹；也可查看全部文件清单和主脚本。使用Python 3.10或更新版本，在解压目录运行。此脚本只使用标准库，无需安装额外包。

python -B run.py
python -B run.py --negative

先查看主要结果，再修改输入重跑；已有输入会保留，结果写回同目录。边界命令可能故意非零退出，也可能输出明确的不适用状态，按正文说明判断，不把所有非零退出都当成安装故障。

依据与延伸阅读

资料核对日期为2026年10月24日。一手资料1：成对比较可受位置偏差影响，应设计评估并结合人工判断；本地换序材料是工程示范。

继续阅读：用模型当评委时，怎样处理空标签、未知等级和解析失败；两位审校员给模型结果打分不一致，怎样算一致率并找出争议样本；模型测试 20 题过了 18 题，怎样给通过率补上样本不确定性。