法务财务必备：本地AI守住敏感文件

把合同、病历、财务报表丢进云端AI，很多公司是明令禁止的；但2026年的本地模型，已经能把其中相当一部分活接过来——前提是你清楚哪些该本地干、哪些别硬上。

本地AI突然「能用」的三个前提

不是厂商吹出来的，是三件事同时到位了：

• 小模型质量过关：7B~30B 级别的开源模型，在摘要、字段抽取、改写、分类这些任务上已经到了「能用」的水平，不需要旗舰参数。

• 硬件够用：Apple Silicon 统一内存、带 NPU 的 Windows 笔记本、24GB 以上显存的台式机，在办公场景里不再罕见。

• 工具门槛塌了：Ollama、LM Studio、llama.cpp 把部署从「配环境」变成「点一下」，模型拉下来就能对话、能开API。

按内存选模型：一份经验对照

Q4 量化下的粗略参考（量化等级越低、上下文开得越长，内存吃得越狠）：

| 可用内存 | 可用规模 | 能干的活 |

|—|—|—|

| 8GB | 3B~4B | 文本分类、关键词抽取、单句改写 |

| 16GB | 7B~8B | 日常摘要、翻译、结构化输出 |

| 24~32GB | 14B~32B | 复杂指令、中等长度文档处理 |

| 64GB+ | 70B 级 | 长上下文、多轮复杂推理 |

一个高频误区：把上下文长度拉到 32K 以上，KV Cache 会悄悄吃掉几个 GB，模型直接变慢甚至爆内存。宁可分段处理，也别硬撑长上下文。

本地干最划算的三类活

1. 脱敏与前置处理。把合同里的甲方乙方、身份证号、银行账号替换成占位符，再决定要不要把脱敏后的版本送云端。这一步本地跑，性价比最高。

1. 批量结构化。把扫描件、PDF 里的金额、日期、责任人抽成表格字段。任务重复、判断简单、量大，正是小模型的舒适区。

1. 内部资料问答与改写。制度文件、会议转写稿的摘要和口语化改写，敏感度中等，放本地最省心。

三类别硬上

1. 跨几十份文档的对比推理。本地上下文和显存都撑不住，硬塞进去，模型会从「不确定」滑向「编一个像样的答案」。

1. 依赖实时外部事实的问题。最新法规、汇率、竞品动态，本地模型的知识停在训练截止日，这类问题必须联网。

1. 大型代码库重构、长链路 Agent 任务。本地跑得慢、失败率高，重试成本比省下的隐私收益更大。

混合路由：画数据边界，别画能力边界

真正该做的不是「本地 or 云端」二选一，而是先判断数据敏感度，再决定跑在哪：

• 敏感原件 → 只在本地做脱敏和抽取；

• 脱敏后的片段 → 可以送云端做强推理；

• 通用问题 → 云端更划算，不必为隐私牺牲质量。

把这条规则写成一句话贴在团队文档里，比买任何工具都管用。

本地≠绝对安全，三个容易漏的坑

• 对话记录默认落盘。多数客户端的聊天历史存在本地文件里，同步网盘、备份工具一跑，等于又上传了一次。用完记得清理会话与缓存目录。

• 剪贴板与输入法。把内容复制来复制去，反而送给了带云同步的第三方输入法，这条链路经常被忽略。

• 公司设备缺统一策略。模型缓存在哪、日志保留多久、离职时怎么清，没有约定就是隐患。

本地AI的价值不是取代云端，而是给你一个「数据不出去」的选项。先把脱敏和批量抽取挪到本地，你会立刻感受到：合规焦虑消失后，AI 才算真正能用起来。