为什么模型都开源了，自己部署，却未必比直接用 DeepSeek 官方 API 便宜？ DeepSeek 这次把部分答案公开了：DeepInfer 他们自己用来支撑大规模服务的推理框架。 下载模型只是第一步哈 怎么让机器少闲着、少做重复计算、同时服务更多人，这才是降低成本的关键。 这次开源的 DeepInfer，就是负责把模型高效跑起来的引擎： • 让多张卡一起干活，分担计算 • 先生成几个候选词，再一起验证，加快输出 • 把请求安排得更紧凑，减少机器等待 • 支持按指定格式输出，比如 JSON 目前主要支持 DeepSeek-V4.1-Flash，同时支持英伟达 SM100 和华为昇腾 950。 不过，完整的缓存管理和跨副本负载均衡还没全部开源，所以拿到这套代码，也不一定能立马抄作业。 但对想自己部署、研究推理优化的人来说，现在多了一份来自实际生产服务的实现可以参考。 https://github.com/deepseek-ai/DeepInfer

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：AI / AI前沿 / 铁锤人 @lxfater
  • 发布时间：2026/10/20 20:56:16