本地跑AI还是买API？算清这笔账再决定

想在自己电脑上跑大模型，还是直接调云端 API？这道题选错的代价不小：要么白买一块显卡闲置吃灰，要么每月多付一笔本可以省下的钱。下面用可复算的方法，帮你十分钟得出结论。

先回答三个问题，方向就定了

第一，数据能不能离开你的设备？ 病历、合同、未公开代码、客户名单这类内容一旦上传第三方，风险不可控，基本只能本地。反过来，公开资料的摘要、翻译、改写，放云端毫无心理负担。

第二，每月调用量有多大？ 用「日请求数 × 每次平均 token 数 × 30」估算。低于几百万 token/月，云端几乎总是更划算。

第三，任务难度在哪一档？ 分类打标、格式转换、短文本摘要，7B~14B 的小模型够用；复杂推理、超长文档分析、多模态理解，本地往往力不从心。

显存是硬门槛，先看能装下多大

量化后的粗略估算（仅供筛选，实际受上下文长度影响）：

• 7B 模型：FP16 约需 14GB 显存，Q4 量化约 5GB，普通独显可跑

• 14B 模型：Q4 约 9GB，12GB 显存或 16GB 统一内存起步

• 32B 模型：Q4 约 20GB，需要 24GB 显卡

• 70B 及以上：Q4 就要 40GB+，通常得双卡或大内存 Mac

工具链上，Ollama、llama.cpp 适合个人起步，vLLM 适合多人并发。量化格式优先 GGUF 的 Q4_K_M 一档，是速度与质量的常见平衡点。

成本账：两边都折算成「每月多少钱」

本地方程 = 硬件投入 ÷ 使用月数 + 电费 + 你的时间成本。

举例（按假设值算，请替换成你的实际数字）：主机一万元、用 36 个月，摊销约 280 元/月；满载 450W、每天跑 4 小时，约 1.8 度电，按 0.6 元/度，一个月 30 元上下。合计约 310 元/月，还没算你装驱动、修依赖、调参数的工时。

云端方程 = 输入单价 × 输入量 + 输出单价 × 输出量。

同类任务下，不少模型的月开销能压到几十元以内，具体以各家官方报价为准。真正的分水岭是调用量：用量翻十倍，云端账单也翻十倍，而本地只是电费多一点。

云端真正的优势，不在便宜

免运维、模型月月更新、上下文窗口长、原生支持图片和语音——这些是自建很难追上的。本地跑一个半年前的模型，和调用刚发布的新版本，效果差距可能比你想的大。

云端的代价则是：单价随用量线性上涨、数据经手第三方、有限流与网络依赖。

折中方案：本地打底，云端兜底

大多数个人和小团队的合理选择是混合路由：

1. 用 Ollama 在本地常驻一个小模型，承接隐私敏感和低难度任务；

1. 在应用层加一个路由判断，按任务类型或敏感级别分发；

1. 对重复问题加缓存，避免同一请求反复付费；

1. 云端只留给复杂推理、长文档和多模态。

这样既守住数据底线，又把大头开销压下来。

一张决策清单

• 数据敏感 + 低频 → 本地 14B 量化模型足够

• 数据敏感 + 高频高难 → 私有化部署，必要时走合规通道

• 数据不敏感 + 任意频率 → 直接云端，别折腾硬件

• 想省钱又怕宕机 → 混合路由 + 缓存

最后一条建议：别凭感觉下单。挑一周真实业务数据，同一批任务分别在本地和云端跑一遍，比较准确率、延迟和实际花费。三个数字摆出来，选择自然就清楚了。