组内有100多张H200,想内部部署glm-5.3进行工作。但发现用vllm文档中的方法部署,1m上下文的延迟非常高(prefill 1m上下文的请求要将近半小时),这是正常现象吗?如果不正常有什么入参可以提高效率 1 个帖子 - 1 位参与者 阅读完整话题


  • 情报分类:技术价值
  • 命中依据:vllm部署推理优化,明确技术问题
  • 来源:服务器 / LINUX DO - 最新话题
  • 原作者:EEE1even
  • 发布时间:2026/9/9 14:09:04