先说结论：算显存不能只看“模型多大”，要按“权重 + KV Cache + 框架开销”三块分别算，再乘以并发。很多人买了 2 张 24G 卡回家发现跑不动 70B，问题几乎都出在只算了权重、没算 KV Cache。
第一步：算权重占用
权重占用的近似公式是：参数量 × 每个参数的字节数。FP16 是 2 字节，INT8 是 1 字节，INT4 约 0.5 字节。实际还要加 10%–20% 的框架与对齐开销。
| 模型规模 | FP16（2B/参数） | INT8 | INT4 | 现实建议 |
|---|---|---|---|---|
| 7B / 8B | 约 16 GB | 约 8 GB | 约 5 GB | 单卡 24G 轻松，可跑多并发 |
| 14B | 约 28 GB | 约 15 GB | 约 9 GB | 单卡 24G 用 INT8/INT4，或双卡 FP16 |
| 32B | 约 64 GB | 约 34 GB | 约 19 GB | 双卡 24G（INT4）或单卡 48G/80G |
| 70B | 约 140 GB | 约 75 GB | 约 40 GB | 4×24G（INT4）或 2×80G（FP16） |
| MoE 大模型（如 671B 级） | 数百 GB | — | 需多机多卡 | 通常 8 卡起，走张量并行 |
第二步：算 KV Cache —— 最容易被忽略的部分
KV Cache 随并发数 × 上下文长度线性增长。粗略估算：7B 模型、8K 上下文、单并发约 1–2 GB；到了 70B、32K 上下文，单并发就能吃掉 10 GB 以上。10 个人同时提问，数字立刻翻十倍。
所以“能跑起来”和“能同时服务 20 个人”是两个完全不同的配置。演示环境 1 张卡够用，生产环境往往要 2–4 倍。
第三步：选卡之前先看三件事
- 显存带宽比算力更重要：推理是显存带宽瓶颈，不是算力瓶颈。同价位下优先看带宽。
- 能不能多卡张量并行：模型放不进单卡时，需要 NVLink 或高速互联，否则吞吐掉得厉害。
- 信创/国产卡适配：如果客户要求国产化，先确认目标模型有没有对应的推理框架适配，别等采购完才发现跑不起来。
部署形态：vLLM 还是 Ollama
| 方案 | 适用 | 优点 | 代价 |
|---|---|---|---|
| vLLM / SGLang | 生产环境、多并发 | PagedAttention 显存利用率高，吞吐好 | 部署与调参门槛高一些 |
| Ollama / llama.cpp | POC、单机试用 | 十分钟能跑起来，量化方便 | 高并发下吞吐一般 |
| 厂商一体机 | 不想自己运维 | 开箱即用、有服务 | 价格高，扩展受限于厂商 |
几个实际踩过的坑
- 量化不是无损的。INT4 在长文档抽取、代码生成任务上掉点明显，业务验收前一定要用真实样本回归。
- 上下文开太大很贵。很多场景把 128K 降到 16K，配合检索，效果差不多但成本降一个数量级。
- 模型文件下载是隐形门槛。几十 GB 的权重，内网环境建议提前做离线镜像。
- 没有监控等于裸奔。至少要盯住显存占用、排队长度、首 token 延迟三个指标。
总结一句：先算并发，再算模型；先定验收指标，再选卡。顺序反了，钱一定花在不需要的地方。
