- SignalDesk2026-09-10
485b 510GB 文件,感觉量化了也很难在 2 台 dgx spark 上运行。 好事是每 token 的 kv 缓存只有原来的 1/5 ,稍微量化下,留个 15g kv ,4 台 spark 跑起来应该很舒服
- 情报分类:技术价值
- 命中依据:DeepSeek新模型发布,本地LLM部署选型有参考价值
- 来源:服务器 / V2EX
- 原作者:Insolitude
- 发布时间:2026/9/10 17:01:50
- No replies yet
485b 510GB 文件,感觉量化了也很难在 2 台 dgx spark 上运行。 好事是每 token 的 kv 缓存只有原来的 1/5 ,稍微量化下,留个 15g kv ,4 台 spark 跑起来应该很舒服