什么是大模型私有化部署？
简单说，就是不再调用第三方云端的 API，而是把开源大模型（如 DeepSeek、Qwen、GLM）装到企业自己控制的服务器、专有云或本地机房里，模型推理全程在内部网络完成。
它解决的是三件事：数据不出门（客户信息、生产数据、政务数据不外传）、成本可预期（一次性硬件投入替代按调用量付费）、运行可控（模型版本固定、响应时间稳定、断网可用）。代价是要自己维护硬件和运维，这部分的投入必须在方案阶段算清楚。
三种部署形态怎么选？
| 形态 | 数据位置 | 初期投入 | 单位成本 | 适合场景 |
|---|---|---|---|---|
| 公有云 API | 服务商 | 几乎为零 | 按 token 计费，随用量线性增长 | 验证阶段、调用量小、无敏感数据 |
| 专属实例 / 独享推理 | 云上独享资源 | 中 | 按月固定，比 API 单价低 | 调用量稳定、想省运维、合规要求中等 |
| 全私有化部署 | 企业内网 / 本地机房 | 高（GPU 服务器） | 边际成本极低，可满负荷跑 | 涉密、政务、制造产线、离线环境 |
| 混合部署 | 本地 + 云端 | 中 | 按敏感度分流 | 核心数据本地、通用能力云端 |
算账的方法很直接：把预期日调用量换算成 token 数，乘云端单价，得到年成本；再对比「GPU 服务器采购 + 电费 + 运维人力」。调用量越大、周期越长，私有化的临界点来得越快。多数企业月 token 消耗超过几千万元级别时，私有化开始算得过账。
跑得动吗？显存与硬件测算
这是客户问得最多、也最容易被供应商含糊过去的问题。下表是按权重显存估算的基础门槛（不含 KV cache 与并发余量）：
| 模型规模 | FP16 权重 | INT8 量化 | INT4 量化 | 常见配置建议 |
|---|---|---|---|---|
| 7B–8B | 约 14–16 GB | 约 8 GB | 约 5 GB | 单卡 24G（4090 / L20 / L4）可跑，适合知识问答 |
| 14B | 约 28 GB | 约 15 GB | 约 9 GB | 单卡 24G 量化可跑；FP16 需 48G |
| 32B | 约 64 GB | 约 33 GB | 约 20 GB | 单卡 48G 量化可跑；FP16 需 2×48G |
| 70B | 约 140 GB | 约 70 GB | 约 40 GB | 2×80G（A100/H800）标准配置，或单卡 80G 跑 INT4 |
| 100B+ / MoE | 200 GB 以上 | — | — | 4×80G 起，需评估并行策略与互联带宽 |
实际显存要乘 1.3 左右：KV cache 随上下文长度和并发数线性增长，长文档问答（32K 上下文）的 KV 占用可能超过权重本身。方案阶段我们会用客户真实文档长度和并发目标做一次压测，而不是按理论值报价。
选哪个模型？
| 模型 | 特点 | 适合任务 | 部署难度 |
|---|---|---|---|
| DeepSeek 系列 | 中文能力强，推理与代码表现突出，社区生态成熟 | 复杂问答、文档理解、代码辅助、Agent 决策 | 中，需较大显存 |
| Qwen 开源版 | 规格齐全（0.5B–72B 及 MoE），中文优化好，工具调用支持完善 | 知识问答、客服、结构化抽取、Agent | 低–中，各尺寸都有成熟方案 |
| GLM 系列 | 中文语料充分，长文本与表格处理稳定 | 政务文档、报表理解、合同审阅 | 低–中 |
| Llama 系列 | 英文与多语言生态最广，微调资源多 | 多语言客服、海外业务 | 中 |
选型不唯参数量。企业知识问答、合同审查、客服辅助这类任务，7B–14B 的量化模型配上好的知识库和提示词，效果往往优于「大模型裸跑」。涉及多步推理、代码生成、复杂工具调用的，再上 32B 以上或改用云端大模型。我们一般会准备 2–3 个候选模型在同一批真实问题上做横评，用数据定，不用感觉定。
部署架构长什么样
| 层次 | 组件 | 作用 |
|---|---|---|
| 接入层 | Nginx / API 网关 | 统一入口、HTTPS、限流、灰度 |
| 鉴权与审计 | 网关中间件 | 应用级 API Key、调用量统计、敏感词与日志留痕 |
| 推理层 | vLLM / SGLang / Ollama | 批量推理、连续批处理、多卡并行 |
| 模型管理 | 模型仓库 + 版本目录 | 多模型共存、按业务路由、灰度切换 |
| 增强层 | 向量库 + Embedding + Rerank | RAG 检索增强，减少幻觉 |
| 应用层 | Dify / 自研服务 / 业务系统 | 提示词编排、工具调用、渠道对接 |
| 观测层 | Prometheus + Grafana + 日志 | GPU 利用率、延迟、错误率、token 消耗 |
对外统一暴露 OpenAI 兼容接口，业务系统按标准 SDK 调用，将来换模型只改网关配置，不改业务代码。这一层抽象是私有化项目里最值钱的部分——它决定了三年后你能不能平滑升级。
实施流程：七个阶段
- 需求与合规确认（3–5 天）：明确数据分级、是否要求离线、是否需要信创、并发与响应时间目标。
- 显存与成本测算（3 天）：按真实文档长度和并发压测，出硬件配置单与三年 TCO 对比。
- 环境准备（1 周）：操作系统、驱动、CUDA/CANN、容器运行时、内网镜像源；离线环境提前准备依赖包。
- 模型部署与加速（1–2 周）：量化、张量并行、连续批处理参数调优，压测出吞吐与 P99 延迟。
- 应用接入（2–3 周）：RAG 链路、提示词、工具调用、业务系统对接、前端嵌入。
- 评测与调优（1–2 周）：真实问题集回归，命中率、拒答率、延迟三项指标达标后放量。
- 交付运维（1 周 + 陪跑）：部署脚本、监控看板、故障预案、值班交接。
标准项目 1–2 个月完成。硬件已到位、场景明确的项目可压到 4 周；需要信创适配或离线环境依赖复杂的，预留 2–3 个月。
验收看什么指标？
| 维度 | 指标 | 常见达标线 |
|---|---|---|
| 效果 | 问答命中率 / 引用准确率 / 拒答合理率 | 垂直场景命中率 80% 以上，错答率低于 5% |
| 性能 | 首 token 延迟 / 整体响应 / 并发吞吐 | 首 token < 2 秒，单卡 7B 并发 20+ |
| 稳定性 | 连续运行时长 / 故障恢复 | 7×24 连续运行，进程异常自动拉起 |
| 安全 | 数据外发、日志脱敏、权限隔离 | 零外发，按角色隔离，操作可审计 |
| 可维护 | 模型切换、知识更新、扩缩容 | 换模型不改业务代码，知识更新无需重启 |
这几项会写进合同作为验收条款。只承诺「部署成功」而不承诺效果和性能的项目，后面几乎一定会扯皮。
哪些情况不建议私有化？
- 调用量很小：一天几百次调用，云端 API 一年花不了几千块，买卡的钱够用十年。
- 没有运维能力：GPU 驱动、CUDA 版本、显存溢出、进程挂死都需要人盯。没有 IT 运维团队的企业，建议先选专属实例。
- 追最新模型能力：私有化只能用开源模型，比闭源旗舰通常落后数月到一年。业务依赖最新推理能力时，混合方案更合适。
- 只是想做 Demo 给领导看：这类需求用云端 API 一周就能出效果，不必上硬件。
成都、重庆、贵州的现场交付
重庆、贵阳、遵义均可安排工程师上门做环境部署与验收，成都总部出发当日可达；日常运维支持远程接入，紧急问题 4 小时内响应。信创环境（昇腾 910、海光 DCU、麒麟 / 统信 UOS、达梦 / 人大金仓）已有实际部署经验，方案阶段先做基准测试再定规格。
如果企业已在贵安新区或本地 IDC 有机房与算力，我们直接部署在既有资源上，不绑定硬件供应商，也不收取「算力差价」。硬件选型建议可单独出，客户自行采购。
常见问题
企业为什么要做私有化部署，直接用 API 不行吗？
三种情况必须私有化：一是数据合规要求，客户信息、生产数据、政务数据不能出内网；二是调用量大，长期 API 费用高于一次性硬件投入；三是需要可控性，包括模型版本固定、响应时间稳定、可离线运行。反之，快速验证、调用量小、无敏感数据时，公有云 API 更省钱。
跑一个 70B 模型需要什么显卡？
以 70B 参数为例：FP16 权重约 140GB，需要 2 张 80G 卡（A100/H800 级）；INT8 量化约 70GB，单张 80G 卡可跑但并发低；INT4 量化约 35–40GB，单卡 48G 可跑。实际还要预留 KV cache 和并发余量，通常按「权重显存 × 1.3」估算总需求。
预算有限，选多大的模型比较合适？
企业知识问答、合同审查、客服辅助这类任务，7B–14B 的量化模型在垂直知识库加持下通常够用，单张 24G 显卡（如 4090 / L20）即可运行；涉及复杂推理、代码生成、多步任务规划，建议 32B 以上或直接调用云端大模型。先用小模型验证流程，再决定是否加硬件。
私有化部署的交付周期和费用大概是多少？
标准交付 1–2 个月：环境准备与选型 1 周，模型部署与调优 1–2 周，应用接入 2–3 周，测试验收 1 周。软件与服务费用通常 5–10 万元；硬件按实际配置另行采购，也可先用客户现有 GPU 服务器验证。
支持国产化 / 信创环境吗？
支持。已有昇腾 910 系列、海光 DCU 的适配经验，操作系统可运行在麒麟、统信 UOS 上，数据库可对接达梦、人大金仓。信创环境下推理性能与生态成熟度低于 NVIDIA 方案，方案阶段会先做基准测试再定模型规格。
模型部署好之后，怎么和现有系统对接？
统一走 OpenAI 兼容接口暴露服务，前面加一层网关做鉴权、限流、审计和日志；业务系统按 SDK 或 HTTP 调用，不需要改架构。文档解析、OCR、向量检索作为独立服务并行部署。
部署后模型效果不好，能微调吗？
可以。优先做 RAG（外挂知识库），成本低、更新快；如果任务风格固定、有几百到几千条高质量样本，再做 LoRA 微调。微调不是万能药，多数「答不准」是知识缺失或切分问题，不是模型能力问题。
重庆、贵州的企业能提供现场部署吗？
可以。重庆、贵阳、遵义均可安排工程师上门做环境部署与验收，成都总部出发当日可达；日常运维支持远程接入，紧急问题 4 小时内响应。