组内有100多张H200，想内部部署glm-5.3进行工作。但发现用vllm文档中的方法部署，1m上下文的延迟非常高（prefill 1m上下文的请求要将近半小时），这是正常现象吗？如果不正常有什么入参可以提高效率 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：技术价值
  • 命中依据：vllm部署推理优化，明确技术问题
  • 来源：服务器 / LINUX DO - 最新话题
  • 原作者：EEE1even
  • 发布时间：2026/9/9 14:09:04