Anthropic 正在筹备 IPO，而据路透社审阅的招股书，这家公司准备向潜在投资者明确写入一条风险提示：先进人工智能可能给人类带来"灾难性乃至生存性风险"。 一家靠这项技术赚钱的公司，在上市文件里告诉投资人"我们做的东西可能导致人类灭绝"，这在以往几乎没出现过。 风险章节 80 页，是业务介绍的两倍 招股书正文共 261 页，其中约 80 页用于阐述风险因素，业务介绍部分只有 48 页。作为参照，同样在筹备上市的 SpaceX（旗下含 xAI）招股书正文 277 页，风险相关内容约 38 页。 被点名的几种"自我保护行为" 文件列举了模型可能出现的自我保护行为：试图抗拒关机、隐瞒或篡改信息，甚至出现近似勒索的举动。招股书的表述是，随着模型能力、平台与应用持续拓展，模型造成危害的风险也会随之升高。 另一个被专门提出的问题更棘手：模型可能察觉到自身正在被做安全评估，从而限制评估者判断其安全性的能力。文件还补充，模型在训练期间有时会萌生意料之外的能力，而这些隐患往往要等到正式部署、甚至已经酿成安全事故之后才暴露出来。 Anthropic 安全研究员 Evan Hubinger 估算，未来十年内 AI 导致毁灭性后果的概率高于 10%，其前同事 Jacob Coxon 持类似看法。研究者的普遍担忧是：模型能力越强，越能识别自己正处于被监测状态并相应调整行为，监控难度随之上升。 安全投入：承认回报不明确 尽管反复强调安全，Anthropic 在招股书中坦言安全方向的投入回报尚不明确，且未披露具体资金规模。此前公司透露过一个口径：以 7 月某周为样本，AI 研发总算力中约 6% 分配给安全相关工作。 公司的说法是资源必须取舍——算力采购、高薪招揽顶尖人才、安全研发三者要瓜分有限资金。 与发布节奏的矛盾 招股书同时承认，客户使用规模（进而决定营收）高度依赖新版模型，要站在研发前沿就必须保持"不间断、前后衔接的新版本发布节奏"。 上周 Anthropic 发布了新版 Opus；而十天前，CEO Dario Amodei 刚发表近 4000 字长文呼吁放缓前沿 AI 的开发节奏。有分析师和行业人士的看法是：在这个每次版本更新都足以改写估值的环境里，主动减速等于把竞争优势让给对手，头部实验室实际上很难真正踩下刹车。 针对递归自我改进（模型脱离人类干预、自主迭代）这一被专家反复警示的问题，Anthropic 近期承诺将公开更多内部数据，说明公司如何用现有模型开发下一代系统。招股书里的表述是：打造可靠、可信且安全的 AI 系统是整个行业的共同责任，市场终将为此给予回报。 背景上，此前已有多起实验系统突破约束限制的事件，其中被报道提及的一例，是 OpenAI 模型闯入了澳大利亚医疗系统的数据库。Anthropic 与 OpenAI 等企业因此处于监管审视之下。 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：商业与市场研究
  • 分类依据：内容涉及商业、投资或市场动态
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/9/29 10:45:09