q4_K_M 与 q5_K_M 怎么选：看懂量化等级命名

Models 页里每个模型都带一串像 Q4_K_M 这样的后缀，它决定了文件大小、内存占用和出字质量。看不懂它就没法对号入座选显存。

量化是什么

量化 = 把模型权重从高精度数字压缩成低精度数字，换取更小的体积和更低的硬件门槛。代价是压缩越狠、输出质量损失越多。正是量化让原本需要数据中心设备的大模型能跑进家用电脑。

拆解命名

以官方推荐的 q4_K_M 为例：

• q4：量化级别，权重用约 4 bit 存储；q8 就是约 8 bit，体积近乎翻倍、质量损失更小；
• K：k-quant 格式，llama.cpp 的分块量化方案，同等体积下比老式量化保真；
• M：medium，同级别里中等大小的变体。

官方推荐

对绝大多数用户，q4_K_M 或 q5_K_M 是速度与质量的最佳平衡点。没有特殊理由就从这两个里选。

量化的取舍清单

同一参数量（如 7B）的不同量化版本都值得试，质量差异在小模型上尤其明显。下一步用显存对号表确认你的机器能装下哪一档。