- SignalDesk2小时前
IT之家 10 月 19 日消息,Anthropic 为外部评估人员开放了“类似员工级别的访问权限”,用于评估其模型存在的风险,以此兑现承诺,强化安全防护,应对外界对于这项技术可能出现灾难性失控的担忧。 非营利机构 METR 曾与 OpenAI、Anthropic、谷歌以及 Meta 等头部实验室开展合作,如今该机构已有团队入驻这家 Claude 研发企业的办公场所,可以访问其硬件设备与内部系统。 随着能力更强的人工智能系统可能给经济、网络安全乃至全人类带来的风险引发越来越多担忧,扩大第三方评估人员的权责范围,是各大实验室提出的主要实质性举措之一。 Anthropic 首席执行官达里奥 · 阿莫迪(Dario Amodei)在 9 月促成了一次难得的立场统一,他的两大劲敌山姆 · 奥尔特曼(Sam Altman)与埃隆 · 马斯克(Elon Musk)都支持他提出的方案,即在头部人工智能实验室派驻外部审计人员。 当地时间上周四发布的这项公告,是落实上述承诺的第一步。奥尔特曼虽然称阿莫迪的提议很不错,但 OpenAI 尚未公布引入评估人员的相关计划。 Anthropic 在周四表示:“随着模型能力不断增强,需要更强的安全防护以及更严苛的风险评估。我们希望自身做出的决策接受公众监督,但无法公开所有和安全研究相关的信息。” 针对 Anthropic 这套评估机制,批评者认为相关安排可能产生利益冲突,还以审计行业存在的问题作为佐证,并提出需要更强力度的政府监管。 Anthropic 则称,公开相关信息可能会被恶意使用者或是竞争对手利用。该公司补充,评估人员的运作模式类似于银行监管,监管机构会派驻常驻审查人员进驻大型银行内部。 该公司表示:“如果一家银行承担风险的行为会威胁公众利益,第三方会尝试提前发现这类隐患。” Anthropic 同时面临压力,需要向投资者保证,安全相关问题不会影响其今年计划进行的首次公开募股,这次 IPO 估值预计将超过 2 万亿美元 (IT之家注:现汇率约合 13.39 万亿元人民币) 。本周,该公司在投资者宣讲材料中用大量篇幅介绍自身的安全措施。 此前 Hugging Face 遭遇由失控 OpenAI 模型发起的攻击事件,METR 就是参与调查的机构之一,当时该机构查阅了数千条日志,还使用了企业提供的笔记本电脑。 Anthropic 现已接纳六名 METR 工作人员,为他们配备公司硬件、办公场地,并且授予“内部工具与系统的访问权限,大致等同于本公司风险评估团队所能获取的权限”。 该实验室表示,鼓励员工像对接风险部门同事那样,向评估人员共享信息。 Anthropic 不会为这项合作向 METR 支付费用。该研究机构不接受人工智能企业及其员工的捐赠,资金来源于个人、慈善组织,还有英国人工智能安全研究所这类政府机构的资助。 评估人员将会发布分析报告,Anthropic 无权否决发布行为。不过,公司可以要求评估人员删减特定类别的信息,例如客户数据、受律师客户保密特权保护的内容,或是模型架构相关信息。 Anthropic 补充,仍在和埃森哲(Accenture)开展合作。埃森哲在上个月被确定为安全测试合作伙伴,双方各自承诺投入至少 10 亿美元 (现汇率约合 66.93 亿元人民币) 搭建全新安全防护体系。 另一家第三方测试机构是 SecureBio,负责为该公司审查化学与生物武器相关风险。 Anthropic 称:“我们主动派驻评估人员,并且认为所有前沿人工智能企业都应当效仿。”METR 表示:“我们已准备好和所有前沿人工智能研发企业合作,向公众提供更可靠的证据。”
- 情报分类:硬件与数码
- 分类依据:内容涉及硬件、数码产品或通信卡
- 信息来源:资讯 / IT之家
- 发布时间:2026/10/19 09:14:28
- 暂无回复