端侧 AI · 运行时
端侧 AI 请求队列如何做背压
限制排队工作，让拒绝、取消和恢复状态可见。
主查询：端侧 AI 队列背压 · 核验：2026-09-16 · 事实卡：MEMORY-01, BENCHMARK-01
先给结论
侧 AI 队列的背压把目标集中在限制排队工作上，让拒绝、取消与恢复这些状态在客户端层面就被清晰看到，不能据此对外推断系统其他部分的运行方式，也不能推导出端侧之外的行为或限制。
需要先收集的证据
至少把下面三项与同一个 artifact、运行时和任务绑定：
- 队列所有权策略
- 过载 fixture
- 拒绝与恢复结果
若缺一项，就把它写成未知，不要用模型参数、芯片宣传或网上截图代替。
实施流程
证据组织要围绕队列所有权策略、过载 fixture，以及拒绝与恢复的结果三处展开，逐项记录并相互对比，所有结论都必须只来自这些已有记录，不能补充额外证据，也不能新增未在此处的工具或机制。
- 选择运行时生态
- 确认支持的模型格式
- 封装应用接口
- 验证实际执行后端
- 测试取消与释放
- 保留回滚路径
最容易写错的地方
- 无限接受任务
- 隐藏被拒绝请求
错误模式集中在无限接受任务与隐藏被拒绝请求这两条上，发布结论只限于已经记录的现场观察，不外推端侧以外的容量、性能数字、设备兼容、API 行为或产品状态，事实卡边界由 MEMORY-01 与 BENCHMARK-01 划定。
最小复现记录
| 层 | 必须记录 |
|---|---|
| 设备 | 型号、芯片、系统、RAM 档位 |
| 软件 | App 版本与 git commit |
| 模型 | 家族、变种、revision、格式、长度、hash、量化 |
| 运行时 | 版本、请求后端、实际后端证据 |
| 任务 | fixture、输入 hash、prompt hash、输出规则 |
| 结果 | 完成、失败、取消、回退与恢复 |
发布检查单
- 目标查询已在开头直接回答。
- 所有数字都能回到事实卡或原始记录。
- artifact、runtime、设备与任务没有混淆。
- 失败、取消、清理与回退都被测试。
- 隐私和网络边界单独说明。
- 结论只适用于记录中的配置。