换模型前后通过率一样，怎样找出“旧版能过、新版失败”的具体样本

旧版六成通过，新版也是六成，不能据此说效果没变。旧版能做对的题可能在新版失败，另一些旧失败题则进步，刚好抵消。验收需要配对到同一 case_id，列出四种转移，才能看见具体哪些能力退步。

配对前先验证身份

本文合成五个固定用例。旧版通过甲、乙、丙，新版通过乙、丙、丁，因此通过总数同为三。转移表应有通过到通过二项、通过到失败一项、失败到通过一项、失败到失败一项。退步清单是甲，进步清单是丁；它们不能在业务层面自动互相抵消。

列表顺序可以不同，匹配只用 case_id。ID 重复、缺少一版结果或出现陌生 ID，先独立报告，不能默认缺结果就是失败。否则一次运行中断会被错误记成模型能力退化，导致后续分析和统计都偏离事实。

转移表比两个百分比更可查

附件保存两版原始状态、业务标签和配对表，检查器从 ID 映射生成四格计数，并验证四格总数等于完整配对数量。删除新版一项的反例应产生缺失记录，而不是进入失败到失败。重复项也不能选最后一条，必须先解决身份冲突。

业务标签可以帮助查看退步集中在哪些场景，例如证据提取或工具选择。但标签分组仍要保留支持数，不因某组只有一条失败就夸大为普遍结论。本文样本仅用于说明关系计算，没有运行任何真实模型版本，也没有宣称具有统计显著性。

总分稳定也要审查退步成本

如果甲是付款前确认，丁只是措辞更流畅，虽然数值抵消，风险明显不同。项目应事先定义关键用例和接受条件，避免看到新版总体分数相同就直接替换。遇到退步，应打开该题输入、工具轨迹和参考判定核查，先排除评委漂移和样本变更。

失败反例是只比较两个总通过数，或先按得分排序再逐行配对。后者会把不同题拼在一起，生成没有意义的转移。输入、判分规则和用例身份都应固定；若它们同时发生变化，应分开做实验，不把全部差异归因于模型。

对于有随机性的系统，还需要每题多次运行与不确定性分析，不能从单次结果推导稳定性。本文纯离线配对只解决“具体哪一题变了”这一层。最终交付总分、四格计数、进退步 ID 和缺失清单，让审查者能够从汇总回到原始证据，而不是停留在一句“通过率持平”。

配套文件与依据

本文的合成输入和参考结果可下载独立样本 a036.json，离线检查器 a036.py与样本放在同一目录后运行。检查器不调用模型接口。 使用 Python 3.12 或兼容版本，将上述文件下载到同一目录，执行 python a036.py。

一手资料1；一手资料2。资料核对日期：2026-10-24。