下载第一个本地模型:试水法与存放路径
本地聊天的前提是机器里有一个模型。Models 页集中了所有 Ollama 兼容的开源模型,点下载图标即可拉取,全程在应用内完成。
下载步骤
- 左栏进入 Models 页,浏览兼容模型列表。
- 认准目标模型后点条目旁的下载图标。
- 下载期间不要离开 Models 页、不要关应用——官方文档明确提醒,中途关闭可能导致下载异常。
- 完成后回到角色聊天,在设置面板的 LLM 下拉里选它。
第一天下多大的模型:官方试水法
拿不准自己机器的斤两,就按官方文档给的三级试水法来:
- 先装一个 2.7B_Q2 或 7B_Q4,开聊观察出字速度;
- 流畅就升一级,试 13B_Q4 或 7B_Q8;
- 卡顿甚至跑不动,就降一级,找到这台机器的甜点位。
这个方法不用背显存表,实测出真知。想先算一算再下,就翻量化等级怎么选和显存对号表。
模型放在哪、能不能挪
- Models 页顶部有一个放大镜图标,点开直达模型下载目录;
- 紧挨着的位置可以更改模型下载路径——系统盘紧张的用户建议第一步就把模型目录改到数据盘。
- 模型不会自动更新:下载一次长期有效,作者重新上传新版才需要手动重新下载。
下载失败的快速自救
网络被其他大流量应用占用(挂机下载、视频会议)是首要原因;其次依次尝试重启应用、换一个模型、用 Models 页顶部的 Download Model 功能直接按名称拉取。完整的排障路径见模型下载失败处理。
模型到手后,了解离线使用与本地端口能帮你理解它为什么"要联网权限却不传数据"。