Original Summary

如题。 相较于只有 ISTA-DASLab 孤立跑分 的 IQ3 系列， nvfp4 有英伟达官方站台 ，所以其能力会更有说服力。 更何况 nvfp4 并不是全 4bit ，很多参数都保持了全量 bf16 。 对于 64GB ram + rtx pro 5000 48GB 而言。瓶颈主要是因为专家变大了，导致显存只能放进 13500 个专家，从而专家命中率从 99.7%降低至大概 97.x~99%。 然后就是因为内存的紧张，所以 Conversation cache 只能维系在 8GB ，4slot 。 其他的配置保持不变。 如惯例，贴出我的配置表： args": [ "--pack", "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\pack", "--native", "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\qwen-nvfp4-gptq-dense.gguf", "--native-dense-gguf", "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\qwen-nvfp4-gptq-dense.gguf", "--ple-gguf", "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\ple-fp8.gguf", "--embd-gguf", "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\token-embd-bf16.gguf", "--expert-profile", "C:\\work\\Strata\\data\\expert-profile.bin", "--expert-cache", "auto", "--prefill", "auto", "--spec", "4", "--mtp", "C:\\work\\Strata-data\\mtp\\rt", "--max-context", "262144", "--kv", "k8v4", "--resident-budget-gib", "39", "--vision", "--vram-reserve-mib", "700", "--spec-min-p", "0.5", "--pool-workers", "2", "--conversation-cache-mib", "8192", "--conversation-cache-min-tokens", "20000" ],

  • 情报分类：硬件与数码
  • 分类依据：内容涉及硬件、数码产品或通信卡
  • 信息来源：服务器 / V2EX
  • 发布时间：2026/10/14 13:57:13