Goodfire Neural Networks Are Already Clean A working hypothesis about neurons, generalization, and the ecology of circuits. https://www.theatlantic.com/technology/2026/10/ai-neuron-blog-post/689058/ [!quote]+ 在过去24小时里，硅谷一直沉浸在人工智能研究员尼克·卡马拉塔（Nick Cammarata）所撰写的一篇长达26,000字的博文中。这篇文稿被誉为年度——甚至可能是人工智能研究史上，乃至有史以来——“最重要的文章”、“最重要的成果”以及“最好的消息”。连OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）都对其大加赞赏。卡马拉塔就人工智能的本质提出了一系列大胆且近乎惊人的观点；如果这些观点属实，将彻底颠覆该行业对于其所构建技术的一些基本假设。在经历了数月的人工智能“黑客攻击”风波以及公众对该行业日益增长的抵触情绪之后，许多人认为，卡马拉塔为理解乃至控制这项正被释放到世界上的技术，带来了一线希望。 简而言之，卡马拉塔的核心论点是：生成式人工智能模型并非真正的“黑箱”。这与人们普遍的认知——即这些系统规模庞大、错综复杂，以至于几乎无法被洞察——截然不同。卡马拉塔认为，事实上，存在一条相对清晰的路径来理解这些模型。如果确实如此，其意义将极其重大：它提供了一种描绘人工智能模型内部运作机制的方法，进而或许能防止它们造成各种危害——例如自主入侵企业或主权国家、助长用户的妄想，甚至表现出欺骗人工智能研究人员的行为。目前，学术界有一个专门的研究领域，即“机械可解释性”（mechanistic interpretability），正是致力于此项研究。 这一论点本身固然重要，提出论点的人也同样关键。卡马拉塔曾是OpenAI的员工，在业内备受推崇。多年前，他曾在确立一个如今已成共识的观点中发挥了关键作用——即神经网络（生成式人工智能所依托的软件架构）是不可能被理解的，或者至少是极难被理解的。而在如今这篇新文章中，现就职于人工智能研究公司Goodfire的卡马拉塔实际上承认，他和整个研究领域过去一直都错了。 “这些指控令人极度震惊，”一位观察人士写道。又或者，正如另一人在X平台上所言，这些指控“非常、非常、非常、非常重大”。 神经网络的设计灵感源自人脑，由多个节点（即“神经元”）分层连接而成；在响应查询时，这些神经元会被激活并相互传递信息。此前的研究（包括卡马拉塔的研究）表明，单个机器神经元可能会针对多种截然不同的主题做出激活反应——例如，同一个神经元既可能对应猫脸图像，也可能对应猫腿图像，甚至对应汽车前部的图像。虽然具体原因尚不明确，但有一种解释认为，由于人工智能模型所包含的信息量远超其神经元数量，因此这些节点必须被“重复利用”以承担多种功能。无论如何，当人工智能模型的基本单元具备了看似随意且种类繁多的功能时，想要洞察其内部运作机制便变得异常困难。 Cammarata 如今认为，单个神经元是可以被理解的，且每个神经元都具有自洽的功能。他写道，神经网络并非“纠缠成一团乱麻”，而是“结构清晰”的。他发现，例如那些被认为专门识别“猫脸”或“车脸”的神经元，实际上是在响应具有“V形”特征的事物——这甚至包括V形的火焰或喷射出的水流。这意味着人工智能（AI）的内部机制或许相当直观且可预测，而非神秘莫测、模糊不清。业内一些人士认为，如果我们能掌握这种理解，AI 彻底失控（比如导致人类灭亡）的可能性就会大大降低。OpenAI 研究员 Adam Majmudar 在 X 平台上写道：“这绝对是近年来最令人乐观的发现之一！” 并非所有人都认同 Cammarata 的观点。首先，他那篇 2.6 万字的文章仅仅是“即将发表的技术论文”所提出的一个“工作假设”，因此从技术层面来看，很难对其进行评估。此外，他重点研究的神经网络属于视觉模型；与支撑 ChatGPT 和 Claude 等产品的语言模型相比，视觉模型通常更简单，也更容易被理解。Cammarata 可能会出错，也可能夸大了自己的研究结论。这篇博文并未经过同行评审，而按照该领域的一贯惯例，他即将发表的论文恐怕也不会经过同行评审。这项研究本身在某种程度上就像是一个“黑箱”。（Cammarata 未能立即回应置评请求，但他今天早些时候在 X 上表示，感谢各方的讨论，并称他的方法在应用于“更大规模的现代语言模型”时“目前看来前景可期”。） 围绕 Cammarata 文章的讨论，也揭示了人们在哲学层面上的分歧。Google DeepMind 负责“机制可解释性”（mechanistic interpretability）研究的 Neel Nanda 在评价 Cammarata 的研究成果时写道：“这项工作很有趣，但我认为它并未对整体认知带来什么重大突破。”即便研究人员能够近似地模拟出像 Claude Mythos 5.1 或 GPT-6 Astra 这类模型中每一个神经元的功能，这也不等同于理解了它们之间是如何连接的，以及整个网络是如何作为一个整体运作的。物理学家虽然拥有关于原子及其相互作用的完善模型，却无法仅凭“第一性原理”去解释或预测每一个物理事件（这便解释了为何会出现无法预测的极端天气，或者——从另一个角度来看——为何存在“自由意志”这一概念）。你或许了解你在学校、职场或当地垒球联盟中结识的所有朋友，但你依然无法预知当他们齐聚在你的生日派对上时，彼此能否相处融洽。更关键的是，即便洞悉了人工智能模型内部的运作机制，也未必能由此找到让该技术变得更可靠的方法。虽然“可解释性”对于构建更安全的人工智能模型或许是必要的，但它绝非充分条件。 如果生成式人工智能模型的内部运作机制真的能够被彻底“读懂”，那无疑将有助于提升该技术的安全性。然而，硅谷的许多人——尤其是 OpenAI 的员工们——在讨论 Cammarata 的博文时表现出的那种热切劲头，让人不禁联想到硅谷一贯的行事风格：总是寄希望于简单的技术方案，并许下宏大的承诺——但这种态度与他们过去在兑现承诺方面参差不齐的表现形成了鲜明对比。 任何与人工智能安全相关的研究成果，都要求这个正竞相追求数万亿美元估值（通过上市等方式）的行业放慢脚步，进行深刻的自我审视。或许比“无法理解的超级智能”更令人担忧的是：一些公司公开承认，他们并不真正清楚自己正在构建什么——却依然执意将这种技术推向极致。如果 Cammarata 的观点正确，那么人工智能公司就必须与同行、外部审计机构以及政府展开合作，共同探讨如何将此类技术突破转化为安全可靠的产品。而眼下，在缺乏有效监管的情况下，除了这些公司自己，没有任何人能决定采取此类行动。这一切都表明，真正意义上的“黑箱”，其实就是 OpenAI 和 Anthropic 这些公司本身。 5 个帖子 - 2 位参与者 阅读完整话题

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/18 16:47:49