现在的 LLM 训练完后权重都是完全冻结的，用户在对话中提供的最新事实、纠错或长文档 模型只能塞进 上下文窗口里，每次对话都要从头重读一遍，极度烧显存和算力，而且聊完就忘。 Boltzbit 与剑桥大学的团队研究出一种全新的方法：“把知识写进权重，而不是塞进 Prompt”... 通俗易懂理解就是： 现在的 AI（比如 ChatGPT、Claude）就像一个背完字典后被“物理封印”的学霸： 考试结束（模型训练完成）后，它的脑子（模型权重）就彻底锁死了，一个字都不能改。 你跟它聊天、给它发一份很长的资料，它怎么处理？它只能把资料写在手心里、贴在眼前（也就是 Prompt / 上下文窗口）。 致命缺点： 每说一句话，它都要把眼前厚厚的资料从头到尾重读一遍（极其浪费算力、显卡显存狂飙） 资料一旦太长，它眼前贴不下，还会看花眼（注意力稀释、答非所问） 聊完关掉对话框，它立刻忘得一干二净，下次还得重新贴一遍 他们提出不保存一堆现成的专家参数，而是用一个轻量超网络（Hypernetwork），把用户给的实时交互数据动态编译成低秩（LoRA 形式的）权重；再用一套贝叶斯机制让这套权重在对话中随着上下文动态演化。 他们官这种叫“无限参数”： 传统 MoE：在固定的比如 64 或 128 个专家库里做离散路由选择，无论怎么组合，都在一个有限的凸包内。 无限参数 LLM：它根本不存固定专家，而是根据输入数据在一个连续的潜在空间（Latent Space）里按需动态生成专属专家。因为输入的数据和隐空间是连续无限的，生成的权重也就是无边界的。 也就是别再把资料贴在眼前了，直接“临时写进脑子里”！ 他们给 AI 配了一个极其轻巧的“临时脑回路生成器”。 当你把新的事实、文章或对话历史丢给它时，生成器会把这些内容直接编译成一层超轻量的临时神经元（LoRA 权重），啪的一下贴在原有的大脑上。 聊天的过程中，如果你补充了新信息或者纠正了它，它脑子里的临时回路不是重来一次，而是像滚雪球一样实时微调，越聊越懂你，但每轮对话消耗的算力却几乎不变。 通过三组核心实验验证了这种方案的实际效果，核心结论是：短文本拼不过直接读 Prompt，但在长文档、多干扰项以及多轮对话中，全面反超传统方案。 准确率：凭借贝叶斯机制，模型对用户上下文的理解像滚雪球一样持续收敛，面对指代不清的代词（如“它的作者是谁？”、“那后来呢？”），准确率随着轮数单调递增，一路爬升到接近满分。 算力成本：每一轮只做固定维度的内积更新，计算成本从第 1 轮到第 100 轮完全恒定。

  • 情报分类：硬件与数码
  • 分类依据：内容涉及硬件、数码产品或通信卡
  • 信息来源：AI / AI前沿 / 小互 @xiaohu
  • 发布时间：2026/9/21 17:06:49