来源未提供摘要
中文标题: Java 的类 vLLM 框架声称在 Nvidia 硬件上达到 llamacpp 推理 90% 的性能
一个 Java 的类 vLLM 框架声称在 Nvidia 硬件上达到 llamacpp 推理性能的 90%。