行政单位，日常处理敏感内部资料，领导希望可以本地部署大模型改进工作，预算50w上下，单位20多人，并发估计不会高，以处理文字为主。 我个人也没有本地部署的经验，调研了一圈初步看中如下配置： 第 1 列 第 2 列 产品名称 ThinkStation PX CPU型号 2Xeon 6530 2.1G 32C 64T 270W 内存容量 464GB DDR5 5600 ECC RDIMM 内存插槽 16个内存插槽 独立显卡 2RTX PRO 5000 BW 72GB 4DP，最大4块 PCIe插槽 4个PCIe 5.0x16 4个PCIe 4.0x16 电源功率 21850W 92%，电源TEAMS模式 在模型选择上，qwen3.8-27b可以单卡跑起来，qwen3.8-flash-next如果想跑就要用stara放内存、硬盘的方案了，不知道选哪个好一些，还有量化精度的选择也没经验，fp8、nvfp4、iq3_s。 各位有经验的佬友能给点指导意见吗，如果想要文字处理效果好、速度并发好一些，推荐哪个模型、哪个量化精度，是否考虑再加2张卡。 提前谢谢各位佬友！ 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：硬件与数码
  • 分类依据：内容涉及硬件、数码产品或通信卡
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/14 17:27:10