端侧 AI · 测试
本地 AI 请求重放怎样用于回归测试
使用脱敏 fixture 和固定 artifact、prompt、parser、runtime identity。
主查询：本地 AI 请求重放 · 核验：2026-09-16 · 事实卡：PRIVACY-01, BENCHMARK-01
先给结论
本地 AI 请求重放用于回归测试时，必须使用脱敏的 fixture 以及固定的 artifact、prompt、parser、runtime identity，并仅依据这些既有对象来判断回归结果，不得基于这些材料向外做出任何推断。脱敏后的 fixture 用于屏蔽原始用户数据，固定的 artifact、prompt、parser 与 runtime identity 则保证请求在结构与运行环境上保持一致，从而避免因内容差异或环境波动导致结论偏移。
需要先收集的证据
至少把下面三项与同一个 artifact、运行时和任务绑定：
- fixture revision
- 配置 manifest
- 有序输出与失败记录
若缺一项，就把它写成未知，不要用模型参数、芯片宣传或网上截图代替。
实施流程
测试过程中需要记录并对比三项关键内容：fixture revision、配置 manifest，以及有序输出与失败记录。fixture revision 标识所用样本的版本，配置 manifest 描述运行时的参数集合，有序输出与失败记录则呈现每次请求的应答序列及出错信息。三者共同构成回归判断的依据，缺一则无法完成对比。
- 先写发布决策
- 固定设备与软件
- 固定 artifact 与后端
- 版本化 fixture
- 保存有序原始记录
- 结论限定到测试配置
最容易写错的地方
- 重放用户私密内容
- 一次改变多个变量
常见的错误模式包括直接重放用户的私密内容，以及在一次测试中同时改变多个变量，前者会突破脱敏边界，后者会污染回归结论。依据事实卡 PRIVACY-01 与 BENCHMARK-01 的限定，发布结论只能基于已记录的 fixture revision、配置 manifest 与有序输出、失败记录，不得在此之外扩展任何新的判定。
最小复现记录
| 层 | 必须记录 |
|---|---|
| 设备 | 型号、芯片、系统、RAM 档位 |
| 软件 | App 版本与 git commit |
| 模型 | 家族、变种、revision、格式、长度、hash、量化 |
| 运行时 | 版本、请求后端、实际后端证据 |
| 任务 | fixture、输入 hash、prompt hash、输出规则 |
| 结果 | 完成、失败、取消、回退与恢复 |
发布检查单
- 目标查询已在开头直接回答。
- 所有数字都能回到事实卡或原始记录。
- artifact、runtime、设备与任务没有混淆。
- 失败、取消、清理与回退都被测试。
- 隐私和网络边界单独说明。
- 结论只适用于记录中的配置。