端侧 AI 是什么：模型为什么开始从云端回到设备

端侧 AI（On-device AI），最核心的判断只有一个：用户输入进入模型、模型算出结果的那一步，是否发生在用户手里的设备上。如果照片、语音或文字先被上传到远端服务器，哪怕手机界面写着“AI 功能”，它仍然是云端 AI；如果模型权重和推理运行时都在手机、电脑、汽车或工业设备里，断网后仍能完成任务，才属于端侧 AI。

这个定义看似简单，实际把三个常被混用的词分开了：

说法	通常指什么	边界在哪里
端侧 AI	在最终用户设备上推理	手机、电脑、可穿戴设备、车机
本地 AI	在自己控制的机器上推理	可能是手机，也可能是办公室工作站或家中服务器
边缘 AI	在靠近数据产生位置的节点推理	工业网关、摄像头、机器人、边缘服务器

所以，“本地 AI”比“端侧 AI”更宽；“边缘 AI”又不一定发生在用户手里的终端。三者共享的方向是减少对远端数据中心的依赖，但不能把它们当成同义词。

为什么现在端侧 AI 突然变得重要

以前的限制很直接：模型太大，手机内存装不下；推理太慢，CPU 算不动；功耗太高，跑几次就发热。现在变化来自三个方向。

第一，小模型的能力提高了。很多端侧任务并不需要一个覆盖所有知识的云端大模型。分类、摘要、短文本改写、翻译、OCR 后处理、函数调用和固定业务流程，更看重响应稳定与任务贴合。

第二，运行时开始真正利用移动硬件。Google 把 TensorFlow Lite 演进成 LiteRT，并为生成式模型提供 LiteRT-LM；Android、iOS、桌面和 Web 的硬件执行路径逐渐完善。官方资料可从 LiteRT 端侧 AI 框架说明 和 Gemma 移动部署文档 开始看。

第三，产品开始从“聊天框”转向任务。近期端侧模型强调函数调用、视觉、音频和 Agent，不只是离线问答。Google 对 Gemma 4 的定位已经明确覆盖多步规划、设备内动作与多模态处理，见 Gemma 4 端侧 Agent 说明。

端侧 AI 真正带来的四个优势

1. 数据边界更清楚

输入不必为了推理离开设备，照片、录音、健康记录和公司文档可以少经过一层外部系统。但“本地运行”不自动等于“完全隐私”：应用仍可能联网做统计、同步、模型下载或崩溃上报。因此，判断隐私不能只看宣传语，还要看网络请求和数据流。Cove 公布了自己的端侧 AI 模型与离线应用入口，后续也会把模型版本和网络边界持续写清。

2. 断网仍能完成任务

飞机、地下空间、海外漫游、工厂内网和应急场景都不适合把每一步交给云端。端侧推理把“能否工作”从网络状态中解耦出来。这种价值在离线翻译、现场识别和本地语音整理里，比普通聊天更容易被感知。

3. 延迟更可预测

云端响应包含网络往返、排队和服务端推理；端侧响应主要受设备算力、内存带宽、模型大小和温控影响。端侧不一定永远更快，但抖动通常更可控，也不会因为服务端拥堵突然不可用。

4. 边际调用成本更低

模型部署到设备后，重复调用不再逐次产生云 API 账单。代价是开发者要承担模型分发、设备兼容、性能调优和升级管理，成本从“每次请求”转成了“工程复杂度”。

端侧 AI 不能替代什么

端侧模型仍受 RAM、存储、功耗和散热限制。长上下文、复杂推理、大规模检索、多人协作和持续更新的知识，云端往往更合适。真正可落地的方案通常不是“全部本地”或“全部上云”二选一，而是先把高频、敏感、实时、离线必须可用的部分放到设备，把重推理和大规模知识留给云端。

可以用四个问题判断一个任务是否值得端侧化：

1. 数据是否敏感到不应离开设备？
2. 网络不可用时任务是否仍必须完成？
3. 用户是否在意稳定的即时响应？
4. 任务是否足够明确，能由较小模型完成？

前三个问题越多回答“是”，第四个问题越明确，端侧 AI 越值得做。

从哪里继续

想动手部署，可继续看本地 AI 部署怎么选；准备做 Android 应用，则看 LiteRT-LM Android 接入路线；想先比较模型规格和设备要求，可打开 Cove 端侧 AI 模型中心。

---

本文依据 Google AI Edge、Gemma 官方移动部署资料与公开运行时文档整理，最后核验于 2026-09-16。端侧模型与硬件支持变化很快，具体兼容性以运行时和模型的当前官方文档为准。