端侧 AI · 测试
本地 AI 结果差异不能只看文字变化
按必要属性、来源和失败状态比较版本化输出。
主查询：本地 AI 结果差异 · 核验：2026-09-16 · 事实卡：BENCHMARK-01, COVE-MODEL-02
先给结论
差异比较必须按"必要属性、来源、失败状态"逐项核对版本化输出，而不能从文字表面变化推测行为变化。本地模型在权重、采样参数或加载路径上的任何调整，都会让"看起来差不多"的回答对应到实质不同的属性，因此核对外推必须以同源记录为限，不能用一段话反推另一段话的意图、风格或正确性，否则结论就会落在没有记录的字段上，属于无证据外推。
需要先收集的证据
至少把下面三项与同一个 artifact、运行时和任务绑定：
- 成对结果 fixture
- 配置 identity
- 属性级复核记录
若缺一项，就把它写成未知，不要用模型参数、芯片宣传或网上截图代替。
实施流程
要把这种核对落到可复现层面，需同时记录三组成对材料：同一提示在两套版本下的成对结果 fixture、对应配置 identity（模型标识、权重版本、采样参数、运行环境等可追溯信息）、以及一份属性级复核记录，逐条标注"一致 / 不一致 / 新增 / 缺失"。三者缺一不可：少了 fixture 就无法重放，少了配置 identity 就无法解释差异，少了复核记录就只能回到肉眼对比，结论也就失去支撑。
- 先写发布决策
- 固定设备与软件
- 固定 artifact 与后端
- 版本化 fixture
- 保存有序原始记录
- 结论限定到测试配置
最容易写错的地方
- 文字变化就算回归
- 比较不同配置
由此可固化为两条错误模式：其一，把"文字表述变了"直接判作回归或改进，不区分属性变化与表达改写；其二，拿不同配置的输出相互比较，再据此判断某一版本"更稳定"或"更准"。这两类结论都超出了已有记录覆盖的范围，应将其限制在已逐属性记录的范围之内，依据复核表判定一致或不一致，而非基于印象发布结论。
最小复现记录
| 层 | 必须记录 |
|---|---|
| 设备 | 型号、芯片、系统、RAM 档位 |
| 软件 | App 版本与 git commit |
| 模型 | 家族、变种、revision、格式、长度、hash、量化 |
| 运行时 | 版本、请求后端、实际后端证据 |
| 任务 | fixture、输入 hash、prompt hash、输出规则 |
| 结果 | 完成、失败、取消、回退与恢复 |
发布检查单
- 目标查询已在开头直接回答。
- 所有数字都能回到事实卡或原始记录。
- artifact、runtime、设备与任务没有混淆。
- 失败、取消、清理与回退都被测试。
- 隐私和网络边界单独说明。
- 结论只适用于记录中的配置。