本人最近突然有点想折腾，但又有点懒，而且我爸一直想尝试AI，但又担心隐私问题。于是让 GPT 帮我上网搜了一下，看看我的 5070Ti 电脑上有哪些能跑且效果不错的 AI 模型。 于是GPT就给我找到了我现在部署的这一款，Bonsai 2 27B。 省流（虽然我也不知道为啥省流） 5070Ti 16GB 纯显卡推理，192k上下文+缓存，42-78tok/s，带视觉。 1. 成绩 鹈鹕测试 ：耗时8m35s。画面整体偏简陋，但结构完整。鹈鹕脚粘在了踏板上，且没用翅膀骑车。 糖果题测试 ：得分 0/5。5轮测试均回答错误答案29。 截图复刻网页 ：耗时58m27s。网页图片复刻较好，布局有待改善。有原网页的感觉。 实际业务测试 ：听得懂人话，能明确需求，但代码能力较差，可通过更多轮迭代，产出正确结果。 2. 个人观点 虽然成绩看起来都不是特别完美，尤其是糖果题得了零分，但我们需要考虑到这个模型是本地小模型，而非云端的大模型。他支持192k长上下文，还有不错的吐字速度，在这种特殊环境下能达到这些效果，让我非常惊艳。 小模型现在也能听得懂人话，并且真能干活，刻板印象是时候改一改了。 综合来看，当手边有一块16G显卡，且自己确实有相关需求时，部署这个模型绝对是一个很不错的选择。 模型介绍 Bonsai 2 27B，由美国 AI 初创公司 PrismML 魔改量化自 Qwen 3.8 27B。 官方通过一种名叫三元量化的技术，将模型权重从原本54多个G压缩到了5.9个G。在最高推理情况下，该技术保留了原模型98.2%的性能（跑分）。 当然，代价是不能用 ollama 或 llama.cpp 来部署这个模型，必须使用他们公司魔改后的 llama.cpp 来部署。 部署踩坑 说真的，我刚开始觉得这玩意就是个跑分狗。当然试试也没错。于是，我就让GPT帮我部署这个模型。 全程均由 GPT 部署的模型运行，我未观察其工作过程，故此处不提供完整的部署说明。简要说一下模型运行参数配置。 该模型最高支持256K上下文，但若想在5070Ti 16G上运行，建议最高上下文设为192K，并配合Q8_0等级的缓存量化（注意不是模型本体量化，q8_0等级缓存量化几乎不损失精度），同时实现质量、体验和资源消耗的平衡。如果是原精度，即FP16缓存，128K上下文情况下显存将只剩下约 68 MB，任何其他软件碰一下显存，模型就没了，只有调低上下文。 但是在应用Q8_0缓存时，有一个坑，想部署的佬友务必注意。 注意：该魔改 llama 存在 Bug，在应用 Q8_0 量化时，需要 应用官方项目中的 PR #353 对项目进行修复 ，否则，当上下文达到10K左右时，思维链就会输出无限的斜杠“/”。后续如果官方合并了这个修复那么就不再需要这么做了，但建议在部署时，自己或让AI先排查一下。 模型部署情况 全文包括markdown都是纯手敲的，没用AI生成，求放过。。。 电脑配置 ：9800x3d + 5070Ti 16G + 32G DDR5（未超频） 模型配置 ：Bonsai 2 27B 模型，纯显卡推理， 192K 上下文，Q8_0 缓存量化 ，单并发。支持视觉、工具调用。 内存占用情况 ：电脑整机内存占用17G-22G。 其中 llama-server 占用 4G-8G（有波动） 部署用 Oh My Pi 占200MB 测试用 OpenCode 占300MB 显存占用情况 ：理论仅运行推理服务，占用15GB，余量758MB 如果不附加视觉模块，仅纯文本推理，显存占用能降低0.7G左右。 如果把上下文长度降到128k，实测显存余量能到3G。 整机功耗情况 ：米家插座后台显示，推理时实时功耗在 420w - 450w 之间。 模型性能情况 ： 10K 提示 Prefill：1860 tok/s 10K 上下文生成速度：78 tok/s 99K 上下文生成速度：42 tok/s 推理层级支持情况 ： none / low / medium / xhigh 实测结果展示 以下测试内容均由 OpenCode 环境运行，推理层级为xhigh。 我素材不是很多，如果有佬友有兴趣，也可以和我说说测啥题。 1、鹈鹕测试 鹈鹕测试已经是老生常谈的事了，此处不再赘述，直接上图。 提示词 使用纯 SVG 认真绘制一张，鹈鹕骑着自行车兜风的动图。把SVG放桌面。 成品SVG 耗时8m35s，49.3k token，68.9tok/s 小插曲 千问系模型特有的雷霆思维链，跑两轮都把32768输出预算用完了（7min，平均76tok/s），直接导致任务中断，因此针对鹈鹕测试任务，我把输出长度调成了65535。 除非我手动修改提示词，否则他好像一直执着于用嘴叼着自行车把手。为了保证测试原汁原味，我没额外引导他。 总结 这个模型的鹈鹕效果只能说能看。画面没崩，结构有，但对比顶尖模型尚有较大差距。腿部绘制出错，整体偏简陋。 2、糖果题 单轮问答参考意义不大，本测试让GLM 5.3 Flash作为考官，跑脚本批量测试糖果题正确率。 题目 认真思考题目，不要轻易给出结论。 在一个黑色的袋子里放有三种口味的糖果，每种糖果有两种不同的形状（圆形和五角星形，不同的形状靠手感可以分辨）。现已知不同口味的糖和不同形状的数量统计如下表。参赛者需要在活动前决定摸出的糖果数目，那么，最少取出多少个糖果才能保证手中同时拥有不同形状的苹果味和桃子味的糖？（同时手中有圆形苹果味匹配五角星桃子味糖果，或者有圆形桃子味匹配五角星苹果味糖果都满足要求） 苹果味 桃子味 西瓜味 圆形 7 9 8 五角星形 7 6 4 测试结果 GLM 5.3 Flash运行批量测试脚本，其汇报结果如下： 耗时14m43s，单路请求跑5次测试。 得分0/5，结果很遗憾，这个模型回答的全是29，糖果题没有一次做对。我在 OpenCode 中多次手动引导他完成这道题，结果仍然是错的，他得不出 21 这个正确答案。 小插曲：GLM 5.3 Flash一次作对，还不错啊。我都没和他说正确答案。 3、网页前端复刻 模型支持视觉，因此我截图让AI通过视觉复刻MC百科。 提示词 使用视觉读取这张图片./mcmod-screenshot.png，然后1:1复刻这个网站的外观，成为单页静态html。 请注意使用视觉认真核对网页是否正确复刻。对于图标、页面图片，请使用SVG尽可能复刻外观，同时需复刻轮播图的效果，内容可自由生成示例。 确认外观一致后上传网页相关静态文件到我的cdn，保持文件名test_mcmod.html/css/js等静态文件一致。 请参考./CDNAPI.md文件以了解我的文件CDN应如何调用。 原图 AI复刻结果截图 耗时58m27s，128k上下文，两轮压缩，47.3tok/s 总结 AI使用 SVG 对网页图片进行还原，比较认真，实际效果也能看出来，但对网页布局的把控没那么精细，与原网页的网格布局存在差异。 4、实际业务测试 说明 本任务涉及本人真实工作和公司业务数据，提示词、核算数据源和真实产物均包含敏感数据，因此暂不对外展示。 这个计算任务对人类而言偏简单，当正确理解了业务逻辑与数据含义之后，制表比较熟悉的人能很快做出这张表。 但 AI 需要在我提供的提示词中正确理解出数据含义，并从体量庞大，且格式错乱的公司数据源中，筛选出必要的数据，按照我的提示词指令进行处理。 我的提示词编写了大约1800个字，内容包含背景说明、数据含义解释，产出数据要求和表格格式要求。在启动时，同时引用了 grill-me 的 skill 来引导 AI 询问我，并正确理解我的需求。 以下是该表的最终截图。 产物展示 耗时18min+30min，中途grill-me了一次。128k上下文下压缩两轮。 我让他对所有敏感数据均进行了处理，现在这个版本是完全去敏版，相关数据系随机生成，非原始成果。 我通过提示词定义了表格格式，包含字体、框架、颜色、字号、排序方法等多项参数，它全部完美执行。他认真阅读了我超长指令中的每一处细节，并向我询问了指令中未提及的模糊事项， 最终核算出的结果与我手动核算的数据完全一致 。 不过，AI处理表格，在执行Python脚本核算数据时，反复出错并一直修改脚本，导致浪费了大量时间。AI本身的代码能力似乎较差。 结论：能够应用于简单的真实业务中，处理一些不是特别复杂的任务。但不推荐用于编码。 总结 成绩并不完美，上升空间还很大。但考虑部署环境，它绝对是本地模型中一个非常不错的选择。 听说 Qwen 4 27B 马上就要发布了，让我们期待一下 Bonsai 这个模型的第三代魔改量化吧！ 佬友们如果有想让我测试的题目或情景，欢迎提出。因本人时间有限，目前仅测试了这些题目。 2 个帖子 - 2 位参与者 阅读完整话题

  • 情报分类：硬件与数码
  • 分类依据：内容涉及硬件、数码产品或通信卡
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/13 23:47:30