显存与内存对号表：你的机器能跑多大的模型
硬性规则只有一条：模型必须完整装进内存或显存才能运行，且看的是"空闲量"而不是总量。官方文档给的经验公式：模型文件 6GB，就准备至少 6GB 空闲内存/显存，再留 10%~50% 缓冲给生成开销。
官方显存对号表
| 参数量 | 量化 | 文件体积 | 显存需求 | 典型显卡 |
|---|---|---|---|---|
| 3B | Q4 | 约 2~6GB | 约 6~10GB | RTX 2060 SUPER / RTX 3050（8GB） |
| 3B | Q8 | 约 6~10GB | 约 8~14GB | RTX 3060 / RTX 4070（12GB） |
| 7B | Q4 | 约 4~8GB | 约 6~10GB | RTX 3060 / RTX 4070（12GB） |
| 7B | Q8 | 约 8~16GB | 约 10~18GB | RTX 3090（24GB）/ RTX 4080（16GB） |
| 13B | Q4 | 约 10~12GB | 约 12~14GB | RTX 4070 Ti（12GB+）/ RTX 4090 |
| 13B | Q8 | 约 18~22GB | 约 20~24GB | RTX 3090 / A6000 / 多卡 |
| 30B | Q4 | 约 24~30GB | 约 26~36GB | RTX A5000（24GB+）/ 多卡 |
| 30B | Q8 | 约 40~50GB | 约 44~60GB | A100 / H100 / 多卡 |
具体型号支持以官方 GPU 兼容列表为准，功能可能随版本变化，以官方最新版为准。
没有独显怎么办
纯核显 / CPU 机器靠内存硬扛：7B_Q4 需要 6~10GB 空闲内存，速度会明显慢于显卡，但能跑。此时上下文长度这类吃内存的设置要保守，见上下文长度与记忆。
别忽视存储介质
机械硬盘用户要注意：内存吃紧时系统会把不活跃数据挪到页面文件，HDD 慢速读写会直接拖垮体验。换 SSD / M.2 能显著缓解卡顿——它替代不了足够的内存，但能让你在内存临界状态下不至于崩盘。
不想算就用试水法
表格看晕了没关系，官方给的办法是从小模型开跑、逐级加大：2.7B_Q2 → 7B_Q4 → 13B_Q4，卡了就退，见下载第一个模型。