让分类模型低把握时交给人工，怎样选择覆盖率与错误率的折中点

把模型已有的数值置信度与人工真值放在同一张开发集表中，逐档计算保留覆盖率及保留样本错误率，再按业务允许的人工量和错误风险选择阈值。模型口头说“很有把握”不能直接转成这个数值字段。

先确定哪些预测可被转人工

附件六条分类结果保留id、pred、confidence和truth。这里confidence是给预测标签的数值分数，输入约定来自既有分类系统，不声称任何聊天模型都提供校准概率。主动转人工与接口失败要分开：低分记录仍有可解释的预测，而超时或缺字段没有足够信息进入同一条覆盖曲线。人工真值也需先审定，否则所谓错误率可能只是标注分歧。

扫描阈值而不丢掉分母

阈值0.5保留全部六条，其中两条错误，覆盖率100%、错误率约33.33%。阈值0.7保留四条，其中一条错误，覆盖率约66.67%、错误率25%。阈值0.9只保留两条，恰好都对，覆盖率约33.33%、观察错误率0%。这三个点说明提高阈值可能减少自动处理量，但不保证任何新数据上风险都单调下降。

选择条件写在开发阶段

例如本地示范条件可以是“开发集保留错误率不超过25%，且覆盖至少一半”，于是选择0.7；它只是演示规则，不是通用生产阈值。manual-review.csv逐档列出被转人工的id，读者能数清各档需要处理多少条。曲线应同时展示覆盖与风险，而不是只展示剩余两条全部正确，造成系统已经整体可靠的错觉。

零覆盖不能写零风险

边界命令使用高于全部分数的阈值，保留数量为零，错误率输出空值。没有预测进入自动处理不能证明零错误。真实使用时，在开发集定阈值后应冻结选择，用独立测试集做最后核验，不能反复查看测试结果挑最好一档。数据分布或标注规则变化后，需要重新评估。此包的所有概率、标签与真值均为合成记录，没有调用真实分类模型，也不能据六条示例推断实际人工成本。

真正部署转人工策略还要确认人工队列是否能及时处理、低分记录是否允许延迟，以及系统失败记录走哪条路径。曲线中的覆盖率只是样本比例，不能直接乘以某个臆测日流量推算节省人数；成本估算需要实际任务量和处理时间。

下载与复现

下载完整样例包，解压到一个新文件夹；也可查看全部文件清单和主脚本。使用Python 3.10或更新版本，在解压目录运行。此脚本只使用标准库，无需安装额外包。

python -B run.py
python -B run.py --negative

先查看主要结果，再修改输入重跑；已有输入会保留，结果写回同目录。边界命令可能故意非零退出，也可能输出明确的不适用状态，按正文说明判断，不把所有非零退出都当成安装故障。

依据与延伸阅读

资料核对日期为2026年10月24日。一手资料1：分类评价指标要有明确预测与真值及分母；本文coverage与risk是本地选择策略。

相关参考2：评估应使用适当测试数据；不在同一测试集反复挑最佳阈值。

继续阅读：分类模型说事件有九成概率，怎样用可靠性图检查这九成是否兑现；模型测试 20 题过了 18 题，怎样给通过率补上样本不确定性。