由加州理工（Caltech）团队创立的 AI 实验室 PrismML 发布了名为 Ternary Bonsai 2 27B 的三值量化模型。 该模型基于阿里的 Qwen3.8 27B，通过三值量化（权重仅为 -1, 0, +1）配合 FP16 分组缩放，将模型体积从全精度的约 54GB 压缩至 5.9GB，平均有效位宽为 1.76-bit。 模型在数学（保留99.5%）、代码（保留99.3%）和指令遵循（反超基座）方面表现极佳，几乎无损。 劣势在需要长程推理和复杂工具调用的 Agent 任务中，性能保留率约为 75%（例如 SWE-bench 和 Terminal-Bench 得分有明显下降）。因此，它非常适合本地代码补全、短链路任务，但在处理复杂长链条任务时能力会有折损。 模型权重下载位置 Hugging Face： prism-ml/Ternary-Bonsai-2-27B-gguf 魔搭 ModelScope： prism-ml/Ternary-Bonsai-2-27B-gguf 官方博客： https://prismml.com/news/bonsai-2-27b Apache 2.0（可商用） 有没有佬部署试过？ 我这两天在外面，等回去试试我的8G小卡能不能跑起来。 9 个帖子 - 7 位参与者 阅读完整话题

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/9/21 08:48:57