线上 Prompt 改了一句话，怎样追溯结果变化来自哪一版

线上 Prompt 改一句话后，要追溯结果变化，应保存提示正文、输入样本、配置与输出的一整份运行清单。只记提交号或“新版提示词”不够，因为提示可能来自数据库、模板变量和工具描述。本文管理应用提示变更证据，不介绍模型版本锁定。

Prompt 版本不是文件名

为实际发送的提示计算内容摘要，记录模板版本和变量展开结果。系统提示、用户输入、工具描述和输出合同都可能影响结果，不能只保存聊天窗口里看得见的一句话。敏感输入先用批准的脱敏方式保存，或保存摘要和可重放的合成夹具。

{
  "run_id":"demo-run-002",
  "prompt_version":"p2",
  "prompt_digest":"实际计算后填写",
  "case_set":"refund-demo-v1",
  "case_id":"C03",
  "config_file":"config-public.json",
  "input_file":"inputs/C03.json",
  "raw_output":"runs/demo-run-002/C03.raw.json",
  "parsed_output":"runs/demo-run-002/C03.parsed.json",
  "checks":"runs/demo-run-002/C03.checks.json"
}

这些是应用归档字段，不是平台请求参数。清单中的文件必须真实存在；不能只列路径而不保存产物。固定样本与配置摘要可以在运行前检查，防止误把新输入和旧提示组合到同一比较中。

一次改动做一条有理由的记录

例如从“回答简短”改成“缺少订单号时先询问”，记录想改善的失败样本与预期变化。补一条反例：已有订单号时不应继续反问。若只是改语气，也要检查关键动作没有因此省略，但不要把所有自然语言措辞差异都算回归。

旧版和新版在同一固定样本集上运行，输出目录分开。每条样本保留原始响应、解析结果和业务断言，人工评语写到具体事实或动作。真实工具调用使用隔离替身或明确授权的测试环境，不能为了回归重复执行真实退款等副作用。

从运行编号追到完整证据

线上结果应能找到运行编号或提示摘要，再回连实际提示、输入与配置。若提示正文已变而版本号没变，摘要仍能揭示差异；若版本号变了但正文一样，也应记录为元数据变化而非内容变化。模板变量如当前日期也需要冻结或记录，否则同一模板每天会产生不同输入。

比较报告至少列受影响案例、旧结果、新结果、预期、通过状态和差异原因。旧输出不能直接当真值，仍需人工或确定性判据。把无法判断的输出列待核，不让另一个未经验证的模型裁判自动盖章。

发布与回退保存同一套材料

上线前确定关键失败阻断条件，发布时记录生效时间和配置版本。回退应恢复提示正文、相关工具描述和解析合同，不只是把标签改回p1。若同时修改代码和Prompt，报告要说明无法单独归因，必要时再做分离对照。

OpenAI 文档提供提示管理与评估入口，但本文的文件归档也适用于不使用平台提示对象的应用。没有进行付费调用，示例清单用于设计本地追溯链，实际运行后才能填入结果。

常见问题

把Prompt放Git就够吗？ 还需保存实际展开变量、输入和运行配置，Git文件不一定等于实际发送内容。

输出不一样就是提示改坏了吗？ 不一定，先核对样本、配置、时间与业务判据。

可以只保存摘要不留正文吗？ 摘要能辨认内容，不能重建内容；需有受控存储保留可回查版本。

继续处理相关问题

相关入口：OpenAI API 接入基础。

官方依据与核对日期

核对日：2026-10-23。OpenAI 提示管理：官方介绍提示设计和管理入口；本文文件清单是应用层追溯方案；OpenAI Evals：使用测试数据和标准评估变化。文中的流程、阈值和合成数据属于工程示例，不能代替当前账号、文件或运行环境的验收。