开源 AI 工具盘点：可本地部署的有哪些，怎么选
一句话选型结论：在意数据隐私、想离线跑、要深度改源码，就走开源本地部署路线——文本和编程选本地大模型框架，作图选开源绘画引擎，把多个能力串成自动化流程则用开源工作流编排。 本文盘点这三类可本地部署的开源 AI 工具，给出对比表、逐款简评和按需求的选型建议，帮你判断到底要不要自己部署、部署哪一类。
开源 + 本地部署的核心价值就两点：数据不出本机（隐私与合规） 和 可以改、可以定制（不被厂商绑死）。代价是你要自己折腾环境、自己承担算力。先看它适不适合你，再决定装哪些。
选型对比表
| 类别 | 解决什么 | 典型代表 | 部署门槛 | 最适合谁 |
|---|---|---|---|---|
| 本地大模型框架 | 在自己机器上跑对话/编程模型 | Ollama、llama.cpp、vLLM | 低到中 | 要离线、要数据不外传的人 |
| 开源大模型本体 | 模型权重本身 | DeepSeek、GLM、Qwen 等开源权重 | 看参数量 | 想自托管、做微调的团队 |
| 开源绘画引擎 | 文生图、图生图、可控出图 | Stable Diffusion 系 | 中（吃显卡） | 要批量出图、要可控/定制风格 |
| 开源工作流编排 | 把多个 AI 能力串成自动化流程 | 节点式工作流工具 | 中 | 要把多步任务自动化的人 |
具体显存占用、出图速度、模型排名等易变信息以官方文档和你的实测为准，下文不给精确数字。
逐款简评
本地大模型框架（跑模型的”发动机”）
Ollama：定位是”本地模型一键管家”。装好之后 ollama pull 拉模型、ollama run 直接进对话，命令行两步就能用；想接自己的程序，本地会起一个 HTTP 服务，照着 OpenAI 兼容接口调就行，不用改太多代码。它还支持写 Modelfile 定制系统提示词和参数，相当于给模型套一层自己的”人设”。短板是面向单机、并发与生产级吞吐不是它强项，同时挂多个大模型对话，响应会明显变慢。适合谁：想在自己笔记本/工作站离线跑模型、不想碰复杂配置的人。
llama.cpp：定位是”极致轻量的推理内核”。强项是 CPU/低显存也能跑、量化做得好、可塞进各种设备，Ollama 底层用的推理引擎也是它。选模型时留意量化档位：Q4_K_M 体积小、速度快，效果打点折扣，胜在能塞进消费级显卡甚至纯 CPU；Q5_K_M、Q8_0 精度更接近原模型，但显存/内存占用也水涨船高。经验值是先拿 Q4_K_M 跑通，觉得回答质量不够再换更高精度档位，别一上来就死磕满血版本。短板是偏底层，要自己折腾参数。适合谁：硬件有限、想榨干设备、愿意动手调的人。
vLLM：定位是”生产级高吞吐推理服务”。核心技术是 PagedAttention，能把显存利用率压到很高，同一张卡撑更多并发请求，这也是它和 Ollama 最大的区别——Ollama 优化的是”一个人用得爽”，vLLM 优化的是”很多人同时用不崩”。部署起来是跑一个常驻推理服务，暴露 OpenAI 兼容接口，适合往后端塞。短板是对显卡（通常要企业级或至少较大显存的消费卡）和运维要求更高，不是个人尝鲜的选择。适合谁：要给多人或线上服务自托管模型 API 的团队。
开源大模型本体（装进发动机的”燃料”）
国产里 DeepSeek 提供开源权重，可下载自托管，中文与编程能力口碑不错；GLM、Qwen 等也都有开源版本可本地部署。怎么理解：框架是发动机，模型权重是燃料——用 Ollama 等框架去加载这些开源权重，就构成一套完全本地的 AI。参数越大效果通常越好，但对显存要求也越高，按你的硬件挑量化版本，具体能力以官方与实测为准。
想纯免费、不必本地部署的更多选择，可参考免费 AI 工具大全（规划中）。
开源绘画引擎（本地出图）
Stable Diffusion：定位是”最主流的开源文生图引擎”。强项是完全本地、生态最大、可控性最强——配合各类模型、LoRA、ControlNet 能精确控制构图、风格、人物一致性，还能离线批量出图、商用更自由。上手一般走两条路：图形化界面（装插件、调参数直观，适合新手先跑起来）或节点式工作流（把出图流程拆成一个个节点自由编排，复杂效果和批量脚本化更方便，但学习曲线更陡）。想要角色/风格稳定复现，得自己训一个 LoRA，思路是拿几十到上百张目标图片配上标注词做小规模微调，训练时长和效果高度依赖显卡和数据质量，别指望几张图就能训出稳定风格。短板是吃显卡、上手有学习曲线（提示词 + 各种插件）。适合谁：要批量出图、要定制风格、在意数据不上传第三方的设计/内容团队。画质与模型排名以你的实测为准，不同底模差异很大。
开源工作流编排（把能力串起来）
节点式开源工作流工具，定位是”AI 自动化的流水线”。这类工具里，偏通用自动化的走可视化拖拽节点路线，什么都能接（本地模型、数据库、第三方 API、定时任务），灵活度最高但要自己搭出业务逻辑；偏”对话应用搭建”的工具则把重心放在知识库问答、Agent 编排上，做一个内部客服机器人或文档问答系统会更省事，但通用自动化能力不如前者。选型思路很简单：要做的是”一条任意流程的自动化流水线”，选通用编排；要做的是”一个能聊天、能查资料的 AI 应用”，选偏对话/知识库方向的工具。举个真实场景：把”本地大模型 + 本地知识库检索 + 企业内部文档”串起来做一个内部问答机器人，全程数据不出内网，这正是这类工具最常见的落地方式。短板是要懂一点流程设计，复杂流程调试有成本，节点一多排查起来也费时间。适合谁：要把多步重复任务（如批量处理、内容生成管线）自动化、又不想把数据交给云端的人。
按需求怎么选
只想本地跑个对话/写代码模型：直接上 Ollama，门槛最低；硬件吃紧用 llama.cpp；要给团队做服务用 vLLM。模型选 DeepSeek/GLM/Qwen 的开源权重，按显存挑量化版本。想了解本地模型怎么配进编程工具，看本地模型做 AI 编程（规划中）。
要本地批量出图、要可控：选 Stable Diffusion 系，没有更省心的开源替代，缺点是得配张像样的显卡。
要把多个 AI 步骤自动化、数据还得留在内网：上开源工作流编排工具，把本地模型和各步骤串起来。
一句话判断要不要自部署：如果你不在意数据上云、也不需要深度定制，那云端现成服务更省事；只有当”数据必须留在本地”或”要改源码/微调”成立时，开源本地部署才真正划算——别为了开源而开源。
常见问题
开源 AI 工具一定免费吗？ 工具本身（代码/框架）通常免费开源，但算力不免费：本地部署要你自己出显卡、电费和运维时间。所谓”省钱”是省了 API 调用费，换成了硬件与人力成本，规模小不一定更便宜。
没有好显卡能本地部署吗？ 能跑文本，难跑画图。小参数量化模型用 llama.cpp 在 CPU 或低显存上也能动，体验打折但可用；而 Stable Diffusion 这类绘画引擎基本要独立显卡，CPU 出图会非常慢。先按手头硬件定预期。
本地部署和直接用云端 API 比，优势到底在哪？ 三点：数据不出本机（隐私/合规）、可离线、可深度定制改造。劣势是要自己搭环境、自担算力、模型能力受本地硬件上限制约。在意隐私和定制选本地，图省事和顶配能力选云端。
开源模型效果比闭源差很多吗？ 不能一概而论。开源权重这两年进步很快，主流开源模型在很多任务上已经够用，尤其中文与编程场景。但最顶尖的综合能力通常仍由头部闭源模型保持，具体差距以你的实测任务为准，别只看排行榜。
部署开源大模型需要会编程吗？ 用 Ollama 这类封装好的框架，跟着文档敲几条命令就能跑，不算编程；但要做微调、改流程、上生产，就需要一定工程能力了。入门可以零基础，进阶要补技术。
量化版本会不会把模型变笨？ 会有损失，但不是等比例的。Q4_K_M 这类中等量化档位在大多数日常问答、写代码场景下差距不明显，你很难靠肉眼分辨；差距主要体现在长上下文推理、复杂逻辑题这类”烧脑”任务上。实操建议是先用量化版本跑你的真实任务，觉得答案质量拖后腿再往上加精度，不要凭感觉一步到位上满血版本，白白占用显存。
踩坑提醒：本地部署最容易被低估的不是学习曲线，而是硬件和电费的持续成本——显卡长时间满载出图或跑推理，功耗和噪音都不小；另外模型/插件生态更新快，半年不维护环境很容易和最新版本脱节，装之前先想清楚谁来长期维护这套本地环境。
👉 想挑具体工具，去 AI 工具库 查更多工具的详细评测；想把本地模型真正用进开发，逛 AI 编程教程大全 把基本功打扎实。