配置： 单卡RTX5880 48G显存 32核心 64G内存 （实际就GPU在干活，cpu单核90+，剩下31个核心动都不动） lallm+投机加速 精度：K16 V16 参考文章： 分享一下关于部署 qwen27b 的最新成果【配置分享】 使用效果（双人使用稳定75+tps）： 单人使用稳定110tps 当然这里也准备了一份搭建文档，供大家学习（文档是ai生成的哈，但是思路是一步一步试错出来的） 部署教程总结 有什么不对的地方欢迎指正 当然鹈鹕测试少不了： 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：硬件与数码
  • 分类依据：内容涉及硬件、数码产品或通信卡
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/9/18 23:11:45