GPU 加速怎么生效：自动检测、CPU 回退与混合占用

应用内嵌的 Ollama 会自动检测并配置你的 Nvidia、AMD、Intel 显卡或 Apple 芯片，不需要手动开任何开关。它的分配逻辑决定了你看到的性能表现。

分配规则

• 显存够：模型整体进显存，全部计算走 GPU——这是理想状态，出字速度最快；
• 显存不够：工作负载回退到 CPU，性能明显下降；
• 混合占用：实际观察中存在模型"一半在 CPU、一半在 GPU"的情况（官方文档举例 48% CPU / 52% GPU），这是显存吃紧时的自适应拆分，速度介于两者之间。

怎么判断自己处在哪种状态

• 聊天时出字飞快、显卡占用率高 → 模型全在显存里；
• 出字速度尚可、CPU 占用率明显 → 发生了部分回退，考虑换更小的量化（见量化等级）；
• 出字极慢、内存吃满 → 全面回退到 CPU + 页面文件，必须降模型档位（见显存对号表）。

GPU 加速的另一面

聊天变快是有代价的：GPU 同时要伺候画面渲染。有用户反馈开着应用时其他程序画面发糊、掉帧——官方解释这正是 GPU 加速抢占资源的正常表现，重负载聊天时尽量别同时跑大型游戏或其他吃显存的程序。

提速三板斧

1. 模型档位对齐硬件：别用 8GB 显卡硬跑 13B；
2. 确认显卡在支持列表：极老的显卡不在 Ollama 支持范围，只能 CPU；
3. 降量化换速度：Q4 换 Q3/Q2 级别，速度立竿见影，质量自己权衡。

本地跑不动的备选方案是云端模型，见云端模型分层表。