开闸放水， 欢迎各种友好交流！ 查看知乎原文 谢邀！这里是论文和知乎文章的作者。专栏文章主要讲的是结论本身；这里聊一下 motivation：这项工作最初其实是怎么从 filter 的空间下界，走到 LLM 幻觉问题上的。 LLM 为什么宁可瞎编也不说“我不知道”？一个信息论的回答 我们这个文章的一大 motivation 是来自于对于现有论文的批判性阅读。这包括 OpenAi 去年九月的" Why Language Models Hallucinate "，以及它的前作，STOC 2024 的" Calibrated Language Models Must Hallucinate "。这两篇文章都有一个有趣的 reduction：对于 校准 的模型，生成式幻觉概率（模型输出非事实的概率）可以转化成判别问题的错误（模型给什么非事实分配了高置信度、什么事实分配了低置信度）。尤其是 2024 那一篇，应该是最早做幻觉现象的理论研究的之一。 上面提到的 OpenAI 论文 这两篇文章的理论部分也指向一点—— 在没见过的事实上，模型只能瞎猜，因此会犯错 。在这两篇文章中，模型错误的比例和”百分之多少的事实是模型没有见过的”这一比例密切相关。但是这就说明——如果允许 abstention（承认自己不知道），按道理讲幻觉现象应该消除才对。论文作者 Kalai 本人也在西北大学给讲座的时候提到，小模型甚至有时候比大模型更擅长“承认不知道”，并认为 一个有趣、但还没人做到的的挑战是，建立一个不产生幻觉的小模型 。那么既然现在（已经在试图承认自己不知道）的大模型还是会有不少幻觉问题，这个难以做到的、“小模型不幻觉”的构思，到底有没有什么理论上的难点呢？ 这就引出了我们的思考。 我和 @Sif 麻雀儿 考虑 filter 的拓展有一段时间了。我们想到，在允许非零假阴性(FNR)的时候，很可能 filter 空间下界就是 KL(Bern(1-FNR) || (FPR)) bits per key：一是直觉上 KL 散度的确很对；此外，如果推广一个鲜为人知（也并不那么令人满意）的 Bloom filter 信息论空间下界 [1] ，KL 散度似乎自然的就会冒出来。同时，广为人知的 log (1/FPR)空间下界也是 KL 散度的特殊情况。我们得到的有趣的结论之一， ” 不存在只遗忘不瞎编的反向 Bloom filter “，也包含在其中。甚至我们还给出了一个达到这个空间下界的 filter，虽然构造过程是指数时间的。 到这一步，结论虽然简洁、自然，但却还是缺少一点现实的 impact。 前人写出的 rate-distortion 下界。非常丑陋——但在稀疏的情况下其实就是个 KL 散度。 但看到 Kalai 等人的论文后，我们大胆地思考：既然随机事实没有规律，那么一个判断随机事实的大模型，不也就是一个成员查询器吗？作为一个概率模型，假设 LLM 给每个事实一个”内心的判断“，那么这个成员查询器很可能会对每个事实输出一个[0,1]之间的概率，而非确定的 0/1 判断。这需要一个推广： 有没有可能，这个 KL 散度的下界是可以推广的，使得无论什么实数输出，无论我们如何定义“错误率”，达到该错误率的空间需求都是一个 KL 散度的最小化 呢？这就像传统的 rate-distortion theorem 是 互信息的最小化 一样，非常简洁直观。 当然，随之而来的是更多的技术细节。例如，有限字母表的信息论在允许输出[0,1]之间的任何实数的时候，是失效的。但是最后我们的主要结论的确是在这一抽象程度上所证明的。 需要注意的是，我们并不声称 LLM 就是在优化一个空间受限的成员测试问题。再说了，现实中像法律判例这样的随机事实，虽然很随机，也并不是完全对称的。 但我们认为这依然是有价值的观察。在简化模型中，如果说前人的解释是“没见过，所以会猜错”，那我们补的是另一层： 即使所有的事实都已经见过，“出现幻觉”还是比“遗忘 / 过度拒绝”更赚，也更加节省模型的“脑容量” 。 查看知乎讨论

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：资讯 / 知乎日报
  • 发布时间：2026/10/1 07:14:19