本地跑大模型还是买API？中小企业选型5步

调用量每月几千次的公司，选本地部署还是买 API，一年总成本可能差好几倍——但真正决定成败的往往不是钱，而是你有没有人能长期维护它。下面这套 5 步选型法，可以直接照着算。

一、成本要拆三笔，别只比单价

很多人对比时只盯着「API 每百万 token 多少钱」和「显卡多少钱」，这是最容易算错的地方。完整成本至少三笔：

• 硬件与折旧：整机或显卡按 3 年摊销，还要预留换代预算；

• 电费与散热：推理机器常年不关机，办公室或机房的电费要算进去；

• 人力：模型拉取、量化调参、显存溢出排查、版本升级、失败重试与监控，这些是持续支出。

API 侧同样要拆：按量费用之外，还有并发限流带来的排队成本、数据合规审查成本。只比单价，两边都会算错。

二、本地更划算的四种情况

1. 调用量高频且稳定。每天固定跑批处理（合同要素抽取、工单分类、知识库问答）时，本地单位成本会随规模迅速摊薄。

1. 数据不能出内网。客户名单、财务凭证、病历、诉讼材料，一旦上云就要走合规流程，这笔隐性成本很高。

1. 需要离线或弱网。工厂车间、门店收银、外勤现场，网络不稳时本地是唯一选择。

1. 已有闲置算力。工作站本来就是为别的用途采购的，边际成本接近零。

三、API 更划算的三种情况

1. 调用量波动大、总量低。每月几百次，或集中在月末几天，买卡就是浪费。

1. 任务难度高。复杂推理、多模态识别、超长文档理解，开源小模型仍容易掉链子，用 API 一次通过，比本地反复调优更省。

1. 没有专职维护的人。这条最容易被忽略：模型不是装完就完事，没人跟就会烂在那里。

四、多数团队的答案：混合路由

不要二选一。搭一个统一网关，按规则分流：

• 敏感数据 + 高频任务 → 本地模型；

• 难题、低频、需要强能力的任务 → 云端 API；

• 上云前先本地脱敏（去掉姓名、手机号、账号），再送出去。

网关统一记录每次调用的 token 数、耗时、失败率。这样每个月的复盘都用真实数据，而不是凭感觉。

五、5 步选型清单

1. 统计近 3 个月的真实调用量、平均输入/输出长度、峰值时段；

1. 准备 30 条真实任务做对照测试，本地与 API 各跑一遍，只比通过率，不比「看起来像不像」；

1. 算本地 3 年总拥有成本，把人力折算成工时计入；

1. 给数据分级，明确哪些绝对不能出内网；

1. 设 90 天复评点——模型能力和价格都在变，别让一次决策管三年。

六、三个最常见的坑

• 只算显卡不算人。调优、升级、排障的时间成本，常常超过硬件本身。

• 忽略上下文长度。处理长文档时显存需求会陡增，同一个模型短问答很顺畅，长文档直接爆显存。

• 上了本地就不再测质量。开源模型在指令遵循、输出格式稳定性上仍会波动，必须准备一套固定评测集，每月跑一次。

一句话结论：调用量稳定、数据敏感、有人维护，选本地；调用量波动、要最强能力、没有运维，选 API；两边都想要，就用混合路由，让网关替你做决定。