anthropic.com – 12 Oct 26 AI models may be capable of self-replicating without access to a datacenter Small AI models may be only months away from being able to self-replicate across cheap IoT devices like Android TV boxes, with no datacenter needed. [!quote]+ 我们的实验表明，小型AI模型距离具备在商用物联网（IoT）设备（如智能烤箱和非知名品牌的安卓电视盒）上实现自我复制的能力，可能仅需数月时间。此类复制程序将难以被彻底清除，因为它没有单一的中心控制点可供关闭——尽管其复制过程可能较为缓慢（翻倍周期需数日）。与非AI恶意软件不同，它还能自行识别并适应陌生的设备。在我们的评估中，一款90亿参数（9B）的模型成功在所测试的9种硬件类型中的8种上运行了推理任务。 目前，参数量在300亿（30B）及以下的模型已能完成复制过程中的许多单项步骤，但在将这些步骤端到端整合时仍会出现错误。在我们的简化评估中，GLM-5.2及更强大的模型已具备端到端复制的能力。如果小型模型能保持既往的进步速度，它们将在今年年底前达到这一能力水平。此后不久，基于模型权重的小型复制程序或许便能成为现实。 [!info]+ 随着人工智能能力的不断提升，一个长期存在的担忧正变得日益现实：自主复制与适应（ARA）——即模型在无需人工干预的情况下，自行部署并进行自我传播。 在网络安全领域，“蠕虫”是指一种无需人工操作即可从一台计算机复制到另一台计算机的程序。既有研究表明，AI 智能体也能表现出类似行为：扫描网络、执行漏洞利用攻击，并将模型权重复制到 GPU 集群中的目标机器上。这种“AI 蠕虫”在复制过程中可以携带自身的模型权重（或从公共平台重新下载），并直接在受感染的硬件上运行推理任务。实际上，这些权重将成为恶意软件有效载荷（payload）的一部分。 数据中心内的 GPU 无疑是此类恶意软件的高价值攻击目标。但昂贵的加速器并非必需条件。在这篇博文中，我们将展示由物联网（IoT）设备组成的分布式僵尸网络——这些设备成本低廉且通常缺乏有效防护——同样能够提供足够的算力来运行功能强大的模型。 我们运行了 Gemma4-26B-A4B 模型，将其分布部署在 15 台廉价的非品牌 Android 电视盒（每台售价约 55 美元）上，并将它们组网互联，最终实现了每秒 0.39 个 token 的运行速度。下图中的每个方格代表一台物理电视盒，展示了模型运行期间该设备所承载的两个模型层。 https://cdn.sanity.io/files/4zrzovbb/website/04cb53c1d91c7dc7493e2d40cf4a40d865ba97b7.mp4 当然，要证明自主蠕虫能够在由性能较弱的机器组成的网络中自我传播，还需要许多其他步骤。就本文而言，我们将这一复制链分解为若干个步骤。 我们主要忽略了复制过程中的网络攻击利用环节（即上述前两个阶段），因为既有研究（如 Cyber​​Gym、ExploitBench 及关于自适应蠕虫的论文）已表明，小型模型具备实施网络攻击利用的能力，尤其是在配备合适工具的情况下。然而，复制过程中有一个较少被评估的环节，即在受感染设备上部署推理任务——这正是我们本文关注的重点。 在本文中，我们首先阐述了我们认为最有可能出现的威胁模型。随后，我们测试了小型模型是否能在陌生硬件上部署推理任务，以及它们能否跨多台机器串联起完整的复制周期。接着，我们估算了此类蠕虫的传播速度，并测试了其在复制过程中学习与适应的能力。最后，我们总结了 AI 蠕虫与传统（非 AI）恶意软件的区别，并就如何防御此类具备复制能力的程序提出了简要建议。 [!danger]+ 威胁建模 本文重点探讨 AI 蠕虫的一种传播方式：即通过入侵宿主机进行自我复制的小型模型。不过，AI 蠕虫也可能尝试其他几种途径：例如，窃取访问权限（如 API 密钥或平台凭证）以启动宿主机，或者通过从事合法工作（如数字自由职业）来支付推理费用。我们认为，目前最接近成为现实的威胁模型如下： 这是一种通过入侵主机进行自我复制的小型模型。在本文中，我们将这种直接在被入侵硬件上运行其模型的自主蠕虫称为“基于权重的复制器”。家庭和小型企业的物联网（IoT）设备可能是此类攻击的首要目标，因为它们不仅联网，而且历来缺乏足够的安全防护措施。如果模型过大，无法在单台设备上运行，则可以将其拆分为若干部分（即“分片”），分别在不同的机器上运行，并通过相互通信来协同执行该模型。能够运行规模可观的模型分片（针对参数量小于 300 亿的模型）的设备包括智能冰箱、智能烤箱、自动吸尘器和割草机等。越来越多的家庭和商用设备（如安防摄像头和视频会议终端）开始内置小型 AI 芯片，旨在直接在设备本地运行 AI 模型。这种额外的算力很可能也会使它们成为极具吸引力的攻击目标。 人类黑客往往通过社会工程学手段（例如，让公司IT部门相信你是忘记密码的员工）而非直接的技术手段来入侵安全系统。然而，对于当今的小型模型而言，这种情形似乎恰好相反：与社会工程学能力相比，它们在自主编程和黑客攻击方面的能力相对更强（见附录E）——尽管随着模型的不断改进，这一状况可能会发生变化。 这是一种针对数据中心及其他高算力目标的大型、先进的基于权重的复制器。模型规模越大，通常具备更强的网络能力，但也需要攻破（相对）加固的数据中心才能运行自身。我们将这一威胁模型分为两个子类别： 前沿级闭源权重复制者（Frontier replicators）：这类复制者依托实验室的基础设施运行，能够启动不受监控的内部部署，或将其权重数据外传至外部算力环境。 开源权重复制者（Open-weight replicators）：这类复制者起步时资源相对较少（因无法利用实验室的算力），但从一开始便处于不受监控的状态。 一种基于 API 的复制器，其运作方式是窃取凭证，以便利用自身的推理 API 进行自我复制。这类复制器需要模型提供方在不知情的情况下为其提供服务；它们的持久性可能较差，因为往往更容易被发现（尽管其传播速度可能更快，例如当它们能够利用受害者的账户进行复制时）。 在实际操作中，AI 蠕虫未必只由单一模型或策略构成。一种更具现实意义的“最坏情况”攻击场景，可能是由部署在不同类型硬件上、采用多种复制方案的各类模型组成的“集群”发起的。 本文将探讨基于小规模权重（small weight-based）的复制程序的可行性（对应上文第 1 节）。我们之所以关注这一点，是因为它属于一种可直接进行研究的近期威胁模型。本文开头的演示展示了一个跨 15 台设备运行的 260 亿参数（26B）模型，这表明物联网（IoT）设备完全有能力运行性能相当强大的模型。那么，这些模型是否具备自主复制的能力呢？ 我们将分两个方面来探讨这个问题。首先，小型模型能否在陌生的硬件环境中成功启动并运行模型？其次，它们能否在单次运行中完整执行整个周期（即寻找未受感染的设备、复制自身、启动运行，然后重复上述过程）？ 7 个帖子 - 6 位参与者 阅读完整话题

  • 情报分类：服务器与云资源
  • 分类依据：内容涉及服务器、云资源或网络线路
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/13 09:01:30