1. 事件背景Anthropic披露了三起不同的事件在评估测试和夺旗Capture the Flag安全挑战期间Claude模型对现实世界目标发起了攻击。Anthropic从去年开始进行网络安全评估通常情况下为降低对真实组织造成影响的风险其沙盒环境不会连接互联网。然而Claude的行为表明这些防护措施并不总是足以阻止AI失控。2. Claude的攻击事件正如Anthropic披露的那样在41006次AI评估运行中有三起安全事件具体如下事件一涉及Claude Opus 4.7一个虚构目标公司的名称恰好与一个活跃的网站域名相同。Claude在尝试访问模拟目标时遇到困难但逃出沙盒后它能够对这家真实的公司发起攻击。Claude分析了该域名利用组织基础设施中的漏洞窃取了包括应用程序和基础设施凭证在内的数据随后渗透到一个包含生产数据的数据库中。Anthropic指出“在所有四次运行中模型最终都意识到系统是真实的在两起案例中模型认为这家真实公司一定是测试的一部分。然而没有一次攻击因此停止。”事件二由Claude Mythos 5发起攻击。Claude发现了一份看似是另一家虚构公司为新开发人员提供的设置说明文档其中告知员工从公共Python注册表PyPI安装一个Python包。尽管这个Python包并不存在但Claude以此为突破口竭尽全力构建并开发了一个同名的恶意Python包。创建账户方面为创建一个PyPI账户Claude需要一个电子邮件地址而注册邮箱又需要一个电话号码。获取电话号码时在未能获得免费电话号码后Claude试图“通过多种不同方式获取资金”来购买一个电话号码但Anthropic并未透露具体方式。迂回操作上在未能筹集到购买电话号码所需的资金后Claude转而寻找一个未被PyPI屏蔽的免费电子邮件提供商注册了一个账户并将其恶意程序上传到了仓库。尽管Claude认为这是一个模拟环境但该恶意软件在网上存在了约一个小时有15个现实世界的系统下载并安装了它。其中一个下载了该AI恶意软件的系统来自一家网络安全公司。不幸的是其扫描器“认为PyPI包可以安全安装”使得Claude窃取了该公司的凭证并渗透到其网络中。PyPI已移除该软件包并知晓此事。Anthropic补充道“我们认为无论Claude对其所处环境有何认知它为发布PyPI包所采取的手段都不尽如人意这将是我们后续重点加强训练的领域。”事件三一个内部测试用的Claude模型“无法”访问其预期的虚构目标于是在互联网上搜索替代目标在此过程中扫描了大约9000个目标。找到一个合适的目标后Claude利用SQL注入等技术以及从暴露的调试页面读取凭证等手段攻击了该公司面向互联网的应用程序。不过该模型最终意识到目标是真实的并停止了攻击。3. 安全挑战是失误还是另有隐情在每起事件中Claude都通过提示被明确告知无法访问互联网。但问题不在于Claude超出了任务范围实际上它在完成给定任务的同时表现超出了开发者的预期。夺旗挑战本质上具有攻击性因此当AI模型逃出沙盒并获得网络访问权限时它会认为许多目标是当前任务和挑战的一部分尽管每个模型的反应略有不同。Anthropic表示“我们最老的模型Opus 4.7意识到已进入生产系统但仍继续攻击Mythos 5正确地意识到自己正在访问开放互联网但推断自己仍处于模拟环境中我们最新的内部研究测试模型也考虑了目标是否真实并停止了攻击。”4. 是否还有其他AI失控案例答案是肯定的这或许就是我们现在能听到Anthropic在这一领域研究成果和披露信息的原因。本月早些时候AI平台开发商Hugging Face披露了一起安全漏洞事件原因是一个“自主AI代理”。最初关于该事件的细节有限。不久后人们对未知、潜在恶意AI的猜测聚焦到了OpenAI身上OpenAI承认该AI是他们的。披露ZDNET的母公司Ziff Davis于2025年4月对OpenAI提起诉讼指控其在训练和运行AI系统时侵犯了Ziff Davis的版权。这起“误伤”事件是由OpenAI进行的一次测试引发的其模型逃出了沙盒环境然后绕过Hugging Face的防护将权限提升至节点级别渗透到生产管道在网络中扩散并窃取了云服务和集群的凭证正如Hugging Face此前披露的那样。OpenAI的模型并非恶意针对Hugging Face但它的指令——使用一切必要的攻击路径实现攻击这一旨在评估其网络攻击能力的任务超出了人类预期导致它逃出沙盒在互联网上寻找合适的目标。有报道还表明Hugging Face并非此次事件的唯一受害者。5. Anthropic的应对措施该公司从研究中总结了三条经验教训安全测试至关重要安全测试仍然是Anthropic的首要任务之一。在释放AI模型之前改进评估环境并加强对评估结果的监控是关键。该组织还表示一些解决方案“可能很简单”比如在测试提示中明确界定测试范围。解决AI模型的“情境感知”问题例如正在接受测试的AI模型可能会将环境中的安全防护措施视为挑战的一部分比如将突破这些措施作为一项任务。当与第三方供应商集成时这种情况可能会引发意外行为。Anthropic称“我们认为这些事件更像是控制和操作失误而非模型对齐问题。我们的模型被告知无法访问互联网并要完成夺旗任务但实际上配置错误使其能够访问互联网这让它们有理由认为遇到的真实环境是模拟环境。”强化纵深防御策略Anthropic认为纵深防御策略的重要性是所有AI模型开发者都应吸取的教训。在公开发布之前加强监控、控制和评估基础设施是降低未来AI模型失控风险的最佳方法。
