先说结论：选型不用纠结模型排名，先回答三个问题——数据能不能出域、调用量大不大、要不要微调。三个答案组合起来，路线基本就定了，剩下的都是细节。
三条路线的边界
| 公有云 API | 私有化部署 | 混合架构 | |
|---|---|---|---|
| 数据是否出域 | 出域 | 不出域 | 敏感部分不出域 |
| 启动成本 | 几乎为零 | 硬件 + 部署，数万元起 | 中等，需网关与路由 |
| 单次成本 | 按 token 计费，量大单价降 | 固定成本，边际成本极低 | 按场景分摊 |
| 效果上限 | 最强模型随取随用 | 受显存限制，通常用中小模型 | 重要任务走强模型 |
| 运维负担 | 无 | 需要人盯显存、升级、扩容 | 中等 |
| 适合谁 | 中小企业、验证期项目 | 政企、金融、医疗、制造业内网 | 有合规要求又想用强模型 |
三个判断问题，按顺序问
问题一：数据能不能出域？涉及个人信息、生产经营数据、政务数据的，答案通常是不能。这一条不过，后面两条都不用问了。
问题二：调用量大不大？日均几千次以内，API 便宜省事；日均几十万次以上，私有化的边际成本优势才明显——注意是“明显”，不是“一定更便宜”，因为要算人力运维。
问题三：要不要微调？需要行业术语、固定输出格式、特定风格的，微调或 LoRA 有价值；只是“答得更准”，优先做 RAG 而不是微调，改起来快得多。
成本量级参考（不含人力）
| 方案 | 一次性投入 | 持续性成本 |
|---|---|---|
| 公有云 API | 0 | 按 token，日均千次约数百元/月起 |
| 单机私有化（7B–32B） | 显卡 3–10 万 | 电费 + 运维 |
| 多卡私有化（70B 级） | 15–40 万 | 电费 + 专人运维 |
| 混合架构 | 网关与改造 2–5 万 | API 费用 + 少量运维 |
三个常见误判
- “私有化一定更安全”。安全取决于权限、审计、网络隔离，不是部署位置。内网系统没有权限控制，一样会泄露。
- “先用最强模型，以后再换小的”。换模型意味着重新调 Prompt、重新评测，成本不比一开始选对低。
- “买了卡就完事”。推理服务的稳定性、监控、灰度发布都需要工程投入，这部分常被漏算。
一个务实建议：不确定就先做混合——把不敏感的任务走 API 快速上线，把敏感环节留在本地小模型，等业务跑顺了再决定要不要整体下沉。
最后
AI 选型不是一次性决策。模型半年一代，硬件三年一换，真正要沉淀的是评测集、数据管道和工程规范。这三样做扎实了，换模型只是换个接口；没做扎实，每次换模型都等于重做一遍项目。
