回复长度上限与 MLock:两个影响稳定的开关
参数区里还有两个常被忽略的开关,它们不改变文风,但直接决定回复会不会被腰斩和应用会不会崩。
Max Response Tokens:单条回复的天花板
- 调大:回复更完整、更详细;代价是生成更慢、内存开销更大;
- 调小:出字快、省资源;但长剧情会被硬生生截断。
典型症状与处方:
MLock:内存锁
MLock(Memory Lock)控制模型占用的内存是否锁定:
- 开启:内存分配固定,运行更稳——适合内存充裕的机器;
- 关闭:系统动态调度,性能可能波动;
- 内存不足时开着反而危险:官方明确提醒,RAM 不够还开 MLock 可能直接把应用顶崩。
| 你的情况 | 建议 |
|---|---|
| 内存宽裕、追求稳定 | 开 |
| 内存贴着模型下限跑 | 关,让系统自己腾挪 |
| 聊着聊着闪退 | 先关 MLock 再排查 |
两个开关的联动
回复上限、MLock 和上下文长度三者在内存账本上是连坐的:上限越大、上下文越长,内存峰值越高。配置低的老机器这三项全保守,见上下文长度与记忆与显存对号表。