485b 510GB 文件,感觉量化了也很难在 2 台 dgx spark 上运行。 好事是每 token 的 kv 缓存只有原来的 1/5 ,稍微量化下,留个 15g kv ,4 台 spark 跑起来应该很舒服


  • 情报分类:技术价值
  • 命中依据:DeepSeek新模型发布,本地LLM部署选型有参考价值
  • 来源:服务器 / V2EX
  • 原作者:Insolitude
  • 发布时间:2026/9/10 17:01:50