今天试了一下本地部署的Qwen3.8-27B-FP8,跑了一下鹈鹕,看着还可以啊 接到Pi里跑了大概十多分钟出来的 顺道问一下各位佬部署这块还有没有优化方案: 两张4090 24G配合VLLM部署,原生FP8,262K上下文,mtp开到2。速度大概32token/s 要换SGLang吗?还是换个其他量化版本? 1 个帖子 - 1 位参与者 阅读完整话题


  • 情报分类:技术学习与提效
  • 分类依据:内容涉及技术、AI、软件工具或工程实践
  • 信息来源:服务器 / LINUX DO - 最新话题
  • 发布时间:2026/9/16 17:25:14