DeepSeek 把自家线上推理引擎开源了，还原生支持华为昇腾 950 新框架叫 DeepInfer，用的 Apache-2.0 协议，商用、改代码都没问题。 官方的定位很直接：它就是 DeepSeek 大规模生产服务背后跑的那套推理框架。 先把边界说清楚，这次放出来的是离线推理版本。 想直接拿来搭完整线上服务还差几块：KV cache 系统没给，VE/Prefill/Decode 分离和数据并行副本间的负载均衡也没包含在内。 模型目前只支持 DeepSeek-V4.1-Flash。 硬件只认两家，英伟达 SM100 GPU 和华为昇腾 950 NPU。 技术上挑几个重点： 解码用 DSpark 草稿 token 加速，再按置信度安排验证，默认最多草稿 5 个 token。 算子层用的是自家 FlashMLA、DeepGEMM、DeepEP 等内核。 支持批次不变推理和确定性采样，同样输入加同样参数，输出完全一致，不过这两项暂时只能在英伟达上用。 结构化输出可以按正则、JSON Schema 或 EBNF 语法来约束生成。 官方性能测试里，prefill 用了 4 张 SM100，decode 用了 64 张。 另外，DeepInfer 最早主要是在 vLLM 基础上搭起来的，也参考了 SGLang 和 TensorRT-LLM。 🔗 https://github.com/deepseek-ai/DeepInfer

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：AI / AI前沿 / Twitter @鸟哥 | 蓝鸟会🕊️
  • 发布时间：2026/10/20 20:55:15