Qwen3.8-27B-UD-Q6_K_M.gguf版本用了1个多月了,上下拉到512K,目前是使用最稳定的。另外现在考虑要不要换成Q提升一下速度 这两天又尝试了其他各种上榜的量化版本,吹得多快跑分多高,上下文一多就会变傻直接循环 1 个帖子 - 1 位参与者 阅读完整话题


  • 情报分类:技术学习与提效
  • 分类依据:讨论本地大模型GGUF量化选择与长上下文稳定性
  • 信息来源:服务器 / LINUX DO - 最新话题
  • 发布时间:2026/9/24 17:18:11