本地跑大模型其实不需要显卡！！ 微软开源的 BitNet 推理框架，想走一条更省硬件的路：让 CPU 跑模型。 所谓 1.58-bit，可以粗暴理解成：模型里的很多权重只在 -1、0、+1 三个值里选。计算和搬运的数据少了，推理就有机会更快、更省电。 官方已经提供 24 亿参数的 BitNet 模型，也做了 CPU / GPU 内核。 性能图下图： AMD EPYC 7V13 用 16 线程处理提示词达到 461.78 token/s； Cobalt 100 的一组提示词处理，最新实现是原版 2.10 倍。 当然，它不是把任意 Qwen、Llama 扔进去就自动加速的工具，得是适配 BitNet 低比特格式的模型。 看来以后不止 GPU 要涨价，CPU 可能也要！！ https://github.com/microsoft/BitNet

  • 情报分类：硬件与数码
  • 分类依据：内容涉及硬件、数码产品或通信卡
  • 信息来源：AI / AI前沿 / 铁锤人 @lxfater
  • 发布时间：2026/10/13 12:20:59