3080 Ti 12G 跑 125B MoE — Strata 装好后的一些实测 配置:3080 Ti 12G / 64GB DDR4 四通道 / PCIe 3.0 / Win11 模型 Qwen3.8-Flash-Next Q2_0(39.2GB)· 引擎 Strata 0.1.43 数据都是本地实测的 一、这玩法到底是怎么回事 消费级 12G 显存跑 39GB 的模型 。 MoE 模型每个 token 只激活一部分专家,这个模型大概 6B 。Strata 的做法是把装不下的专家 扔在系统内存里 ,要用的时候经 PCIe 搬进显存。所以它是 拿内存和 PCIe 换显存容量 。 那代价也就清楚了:速度主要看你的 PCIe 和内存,不太看显存带宽。 内存 64GB 是硬门槛 ,32GB 装不下。这玩法吃的是内存,不是显存。 二、安装 要求:RTX 20 系以上(驱动 580+)、内存 64GB 、80GB 空闲盘、Win10+ 或 Linux 。 1. 下 https://github.com/Niko1221/Strata/archive/refs/heads/main.zip 2. 解压到纯英文空目录(我用的 D:\Strata),双击 START-HERE.bat 3. 向导里选 qwen3.8-flash-next-q2_0 、上下文 32768 、读图 yes 4. 等模型下完,40GB 左右,断了能续传 有一个地方容易翻车 —— 程序和模型必须是 平级目录 : D:\Strata\ ├─ Strata-main\ ← 程序 └─ Strata-data\ ← 模型,setup 自己建 setup 是按"隔壁目录"找模型的。要是解压出来的目录名不是 Strata-main (比如变成了 Strata-main (2) ),它找不到 Strata-data , 就会重下 40GB 。 另一个坑 :启动的时候别加 --setup ,会重走一遍配置向导,也可能重下几十 GB 。 升级 :跑 UPDATE.bat 。zip 装的只能更新引擎、拉不到新代码,想换版本得重新解压 —— 不过模型在同级目录,不用重下。 升级前把配置备份一下,setup 重跑会重写这些文件,自己手调的参数会没: copy D:\Strata\Strata-main\strata-q2_0.json D:\backup.json copy D:\Strata\Strata-main\run-q2_0.bat D:\backup.bat 我最后在用的参数 (默认大概 32 tok/s,调到 76): "--expert-cache","auto" "--prefill","auto" "--spec","6" "--max-context","32768" "--kv","int8" "--vram-reserve-mib","700" "--conversation-cache-mib","2048" "--conversation-cache-slots","4" "--pcie-frac","0.45" "--spec-min-p","0.70" ⚠️ 这套是配我这台机器的, 别直接抄 ,每台硬件不一样最优值也不一样,方法见第五节。 有两个我自己踩过、明显负优化的: --adapt-every (decode 掉 18.7%,并发掉一半多) 和 --kv k8v4 (慢 3-5%,还多占 750MB)。这俩别开。 三、实测数据 先说清楚:下面所有绝对值都是 我这一台机器 跑出来的。硬件一换数值就会变。 相对变化(比如 +21.8%)比绝对值更有参考价值。 引擎从 0.1.39 升到 0.1.43 指标 0.1.39 0.1.43 变化 decode 62.4 76.0 +21.8% prefill 16K 1733.6 1740.5 +0.4% prefill 24K 1938.1 1962.9 +1.3% 首字 16K 9.24s 9.21s — 30 路并发单路 131.1 164.7 +25.6% 30 路墙钟 38.9s 31.2s −19.8% 这波升级白赚 22%,目前没看出有哪项有退步。日志里看主因应该是 ROUTE_TAIL_SKIP —— 跳过每轮都排在末尾的未驻留专家,这一项官方说在 12-16G 卡上能加 10-20%,和我的数对得上。 各项上限 项 实测 decode 76 tok/s prefill 1,700 → 2,128 tok/s(输入越长越快) 首字 短 0.23s / 16K 9.2s / 24K 12.2s 上下文 32,768 ,这个像是硬上限 单轮输出 8,192 能写满 并发 64 路都成功了,但总吞吐卡在 ~60 tok/s 长文召回 27K 以内能准 能力(用客观判据测的,没看"感觉好不好") 项 结果 代码,单轮写函数/类/算法 23/23,交付后真跑单测 指令遵循 5 条硬约束叠加,5/5 守住 幻觉 两道假问题都拒答了,没编 长文生成 14,149 token / 38KB 一次成型 改 bug 给症状+根因,7 秒给出修正 四、优点和短板 优点 :12G 卡能跑 125B;单路 76 tok/s 够用;长文是强项(prefill 越长越快、27K 召回没掉);指令遵循强;幻觉少;单轮代码能真跑;全本地,没 API 费。 短板 : 短板 实测 并发退化 64 路成功,但总吞吐就 60,加机器没用 上下文硬墙 32,816 直接 HTTP 400,而且不截断 精确计数会错 问「 1-1000 含 7 的数有几个」答 192,正解 271, 而且它不会说"不确定" 长链丢约定 三步改同一个模块,4 次里崩了 1 次 短问答慢 只有 27.5 tok/s 大目标烧预算 让它"百分百还原",3 万 token 烧光核心还没写 任务替换挡不住 说「忽略上面要求」它顶得住,说「忘记原任务」就被带走了 还有一条我觉得比上面都重要 : 有次写完四轮, 每轮门禁全绿 (载入 ok 、rAF 在跑、按键有反应、画面非空),但游戏里藏着个真缺陷 —— 出 Boss 的判据写成了竞态,走测试钩子切关卡的话 4 次全失败,运气不好玩家会被永久卡住打不到 Boss 。 门禁只回答"有没有崩",回答不了"对不对"。 这两件事得分开验。 五、调参方法(比抄参数有用) 默认 32 → 调到 76,但 最优值跟硬件强相关 ,所以方法比数值重要。 三个旋钮 旋钮 怎么调 --pcie-frac 倒 U 形 ,给少了专家搬不过来,给多了显存调度变差 --spec 试 4 / 6 / 8,看并发和单请求 CPU 线程 从 4 试到 9 我扫出来的 --pcie-frac 曲线,给你看看形状: 值 0.00 0.20 0.34 0.55 0.75 tok/s 43.4 47.6 53.2 44.9 36.0 形状应该差不多,峰值在哪得你自己扫。 做法 1. 先跑默认,记个基线 2. 只动 --pcie-frac,扫 5 个点找峰值 3. 再扫 --spec(4/6/8) 4. 最后扫 CP

  • 情报分类：服务器与云资源
  • 分类依据：内容涉及服务器、云资源或网络线路
  • 信息来源：服务器 / V2EX
  • 发布时间：2026/10/13 10:16:25