- SignalDesk3 hr ago
上次随手跑了 7B 的纯代码模型,不少佬友说复杂上下文还是吃力。 这两天折腾了下本地跑 DeepSeek-R1-Distill-Qwen-32B(Ollama / llama.cpp Q4 量化),显存吃了差不多 20G 出头。挂在 Cline 和 Roo Code 上试着啃了几个模块重构和长链路排障的任务。 体感最明显的是遇到抽象架构或者复杂多分支逻辑时,带推理链的模型确实比以前纯硬猜补全的传统代码模型稳得多,很少出现半路漏参数或者结构幻觉,但生成速度确实比纯代码模型慢半拍。 想问问常年在本地跑代码模型的佬友们,现在主力都换成这种推理蒸馏模型了,还是依旧留着纯代码大模型?大家实测体感性价比最舒服的是哪个? 2 个帖子 - 2 位参与者 阅读完整话题
- 情报分类:技术学习与提效
- 分类依据:内容涉及技术、AI、软件工具或工程实践
- 信息来源:服务器 / LINUX DO - 最新话题
- 发布时间:2026/10/9 14:55:51
- No replies yet