同一道题换了空格又进入测试集,怎样用规范化摘要检查评测集泄漏
同一道题换几个空格进入测试集,会让评测看起来更好,却没有增加独立信息。精确字节摘要抓不住这种受控变体,可以增加一层明确受限的规范化摘要;但不能借机删除数字和否定词,把不同题合并成一道。
规范化规则必须可解释
本文只对自然语言题干做 NFC 归一,并把连续空白折叠成一个普通空格,再去掉首尾空白。它不删除内部所有空格,不改标点、不折叠数字,也不处理代码题。代码缩进与字符串空白可能是题意的一部分,不能使用同一策略。
每条样本同时保存原文 UTF-8 摘要和规范化摘要。原文摘要用于定位具体输入,规范化摘要用于分组。不同原文落入同组时,交付候选清单供人工复核,不能只留下一个被覆盖的代表项。摘要碰撞虽极罕见,分组时仍可核对规范化文本本身。
按组切分,检查集合交集
附件把“计算 2 + 2”和带多余空白的变体放入同组,把“计算 2 - 2”保留为另一组。若前两项分别进入 few-shot 与测试,规范化摘要交集非空,应判泄漏。修复不是随机重抽某一条,而是把整组固定到同一用途,再重新核对所有集合。
训练、few-shot 和测试三方都要检查,不能只查训练与测试。提示里的示例也可能让测试题失去独立性。本文用小型合成列表演示分组与交集,没有训练模型,也没有把计算出的零交集称为真实数据集零泄漏。
精确归组抓不住近义改写
“求二加二”与“计算 2 + 2”语义相近,却可能有不同摘要。本方法只能发现规则覆盖的表面变体,不能证明语义去重完成。更复杂的近似候选可由独立方法筛出,再人工核查;不要为了多抓几条就激进删除否定、单位和实体名。
失败反例是把所有数字去掉再做摘要,二加二与二减二甚至不同金额题都可能混组。另一个是去掉“不”,把相反问题合并。附件保留不同运算符和否定语义的对照,检查它们没有被受限规则吞掉。
规范化政策应有版本,旧分组在政策变更后重新生成,不原地修改历史报告。评测发布时同时说明检查的集合、规则和人工未决候选,避免用一串哈希掩盖实际边界。本文交付的是可重复的数据切分审计,不是模型记忆检测器,也不推导模型是否见过某道题。
配套文件与依据
本文的合成输入和参考结果可下载独立样本 a038.json,离线检查器 a038.py与样本放在同一目录后运行。检查器不调用模型接口。 使用 Python 3.12 或兼容版本,将上述文件下载到同一目录,执行 python a038.py。
留言讨论
评论发布后会被人工复核,违规内容将被删除。
如果发表没有反应,可以前往联系我们告诉我们。