接着上篇： Qwen3.8-Flash-Next 部署细节（Strata + GSQ-RCO IQ3_XXS，单卡 16 GB） 上一篇在 Linux 上跑的是 IQ3_XXS，这次换到 Windows，直接上 IQ3_S，顺手把视觉输入和 128K 上下文也一起开了。机器没换：RTX 4080 SUPER 16G + i9-14900KF + 64G DDR5-6400，模型放在 H 盘 NVMe 上。 这帖把实际用的参数和测出来的数据记一下，文末附了刚才现跑的截图（网页界面、health、模型文件、引擎日志、配置文件），数据都是从日志里抄出来的。 先说结果（thinking 关、temperature 0）： 短对话 decode 大概 49~54 tok/s 。截图里那条 76 token 的回复是 48.75 t/s；前几天用脚本测的 338 token 回复是 53.5 t/s 92K 长 prompt prefill 约 2900 tok/s ，首字 30 秒出头；几百 token 的短 prompt 一般 140~450 tok/s，看缓存状态 32K / 96K 大海捞针（深度 10/50/90） 6/6 全对 长会话专家缓存命中率 42%~58%，MTP 草稿接受率六成上下 64G 内存是真紧：专家权重锁页 45 GiB 之后系统只剩 2G 上下，加载那十几秒整机都会卡 量化用的是 ISTA-DASLab 的 GSQ-RCO，IQ3_S 档 3.5 bpw。两个分片 51.1 + 26.8 GiB（见文末模型目录截图），HF 标称 83.6 GB。比上次 IQ3_XXS（3.0 bpw）高一档，任务均分 93.26 对 92.57，基本算白捡的分。 Windows 上装起来省事：zip 解压、SETUP 一路自动（建 venv、拉预编译引擎、下分片、生成 experts profile 和 MTP draft），最后吐出 strata-iq3_s.json 和 run-iq3_s.bat。上次 Linux 得自己装 CUDA Toolkit 编 138 个目标，这次完全不用，引擎下载下来就能跑（engine 0.1.38，CUDA 13.0，带 vision）。 相对 setup 默认值，配置就动了这几处（完整文件见文末截图）： --max-context 8192 → 131072：KV 只在 12 层 QSA 上，int8 约 13.7 KB/token，128K 也才 1.75 GB，值得开 加 --vision ：mmproj BF16 866 MB 由独立进程上 GPU --vram-reserve-mib 1178 ：给视觉编码器留显存，代价是专家缓存从 3391 槽缩到 2582 槽 --pcie-frac 自动探测是 0.55，开视觉后显存太紧，用 calibrate.py 实测 0.20 最快（61.9 tok/s） --kv int8 保持；别上 q4_0，官方自己都说长文档困惑度会崩 跑起来什么样（日志截图里都能对上）： 模型加载 46.84 GiB、5.8 GiB/s 左右，十几秒进 session 整块 arena 的 cudaHostRegister 会失败（内存不够），引擎自动退化成 47 片分别锁页、共 45 GiB；大页申请被拒（error 1314，需要给进程加"锁定内存页"权限），退回 4K 页。这俩是 Windows 特有的坑，只影响速度不影响结果 显存侧：专家缓存 2582 槽占 4.96 GiB，加 MTP draft 950 MiB、native 权重和 KV 窗口，16 G 基本塞满，剩几百 MiB N-gram 表 3.2 亿行走 PLE mmap 读盘，不占内存 和 Linux 那篇对比：短对话 58.8 → 53.5 tok/s。量化高了一档、还多养一个视觉编码器，这个降幅在预期内；长 prompt prefill 反而从 1540 涨到 2900+，DDR5-6400 的带宽优势主要体现在 prefill 上。 几个注意：一次只处理一个请求，其余排队；256K 上下文别想了，KV 要 6 GiB 锁页内存根本剩不下；服务只监听 127.0.0.1 且没有 API key，要局域网用记得加 key。 实测截图（今天现跑的） 图1 网页聊天，真实对话一条：355 token prefill 跑 194 tok/s，76 token 回复 48.75 t/s，MTP 接受 40/67。顺带一提模型自我介绍说是 ChatGPT，Qwen 老毛病了，不影响使用 图2 /health：max_context 131072，模型 iq3_s，images true。 图3 模型文件：两个分片 51.1 + 26.8 GiB。 图4 引擎日志尾部：46.84 GiB 加载、47 片锁页 45 GiB、expert cache、最后一条请求的实测速度都在里面。 图5 strata-iq3_s.json 完整配置。 说明：文字是我自己的笔记，让 AI 帮忙整理了下格式，按站规声明一下；所有数据以文末截图里的日志为准，机器就是我自己的这台 4080S + 64G。 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：服务器与云资源
  • 分类依据：内容涉及服务器、云资源或网络线路
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/15 16:30:25