今天试了一下本地部署的Qwen3.8-27B-FP8,跑了一下鹈鹕,看着还可以啊 接到Pi里跑了大概十多分钟出来的 顺道问一下各位佬部署这块还有没有优化方案: 两张4090 24G配合VLLM部署,原生FP8,262K上下文,mtp开到2。速度大概32token/s 要换SGLang吗?还是换个其他量化版本? 1 个帖子 - 1 位参与者 阅读完整话题