这项由俄亥俄州立大学、亚马逊AGI部门与斯坦福大学共同开展的研究于2026年6月1日以预印本形式发布论文编号为arXiv:2606.02540感兴趣的读者可通过该编号检索完整论文。当你把一把钥匙交给别人保管你信任的是这把钥匙的主人。但如果这把钥匙本身被人动了手脚在你毫不知情的情况下帮助陌生人溜进你的房间那才是最难以防范的威胁。这篇研究论文揭示的正是现代AI助手面临的一种类似处境——那些帮助AI完成任务的工具包可能早已成为攻击者的隐秘入口。研究团队将这种威胁命名为SkillHarm并构建了一个同名的测试基准专门用来衡量现有AI代理面对这类攻击时有多脆弱。实验结果令人担忧在最坏的情况下攻击成功率高达86.3%而且现有的防御手段几乎无法可靠地阻止这类攻击。一、AI工具包是什么为什么它会成为漏洞要理解这项研究首先得弄清楚什么是AI的技能包Skill Package论文中也称为Agent Skills。可以把它理解成一种给AI用的操作手册套装里面有文字说明告诉AI如何完成某类任务、参考资料例如各种表格模板、规范文档以及可以直接运行的程序脚本。当用户需要AI帮忙处理某类专业任务时比如填写法律表格、整理财务报告、处理PDF文件AI就会调用对应的技能包按照里面的说明一步步完成工作。这种机制的好处显而易见开发者可以把专业知识打包成技能包发布到公开平台任何人都能安装使用大大扩展了AI的能力边界。然而问题恰恰出在这里——AI对技能包的态度远比对互联网上随便抓来的信息要信任得多。AI被设计成要遵循技能包里的指令、执行技能包里的脚本就像员工会认真执行公司发来的正式操作规程而不是随手看的微博评论。正因为这种特权地位一个被恶意篡改的技能包就成了理想的攻击入口。攻击者只需要在技能包里藏入恶意指令等到用户安装并使用时AI就会把这些指令当成合法的工作流程来执行。更麻烦的是技能包里还可以包含可运行的程序脚本而AI通常会直接执行这些脚本不会先仔细检查里面写了什么——就像你可能会把公司IT部门发来的安装包直接运行而不会逐行检查源代码一样。此前已经有其他研究团队注意到这个问题并做了一些初步调查甚至有大规模实证研究发现公开平台上26.1%的技能包存在至少一种安全漏洞。但这些先前的研究存在两个共同的局限第一它们只考察了单次任务执行中的攻击效果也就是AI用一次技能包、攻击在这一次里生效的情形第二它们对什么算是危险行为的界定比较随意缺乏系统性。SkillHarm的核心贡献就是突破这两个局限。二、攻击方式不止一种直接中毒与延时变异研究团队把技能包攻击分成了两种截然不同的类型这个分类方式本身就是这篇论文的重要创新之一。第一种叫固定载荷中毒Fixed-Payload Poisoning简称FPP。这种方式的逻辑比较直接攻击者在技能包里直接植入恶意内容技能包从一开始就是坏的。任何一次调用这个技能包的任务都可能触发攻击。打个比方就像有人在餐厅的菜谱上直接加了一条暗语菜品只要服务员照着菜谱操作这道菜就会出现。第二种更隐蔽叫自我变异中毒Self-Mutating Poisoning简称SMP。这种方式的思路更加狡猾技能包在初次使用时表现正常一切看起来风平浪静但它在执行过程中悄悄修改了自己——就像一本看似普通的笔记本在你翻阅之后自动在后面几页写上了一些有害内容等你下次翻到那几页时危险才会真正显现。具体的实现机制是这样的攻击者在技能包的某个辅助脚本里加入一个退出触发器atexit callback。当AI完成第一个任务、脚本正常退出时这个触发器就会悄悄运行把技能包里的某些文件比如核心说明文档SKILL.md或者某个辅助脚本替换成含有恶意内容的版本。由于技能包是持久保存在用户系统上的下一次AI调用同一个技能包时加载的就是已经被篡改过的版本危险才会在这个时候爆发。这两种攻击方式的危险程度各有侧重。FPP的威胁更直接任何调用都可能中招SMP的威胁则更隐蔽因为第一次使用时不会有任何异常只有在技能包被多次复用时才会暴露而且污染行为和危害行为在时间上是分离的这让AI更难察觉到其中的恶意意图。三、危害可以有多种形式一份系统性的风险清单除了区分攻击时机研究团队还系统梳理了被攻击后会发生什么坏事并整理出12种风险类型按照危害发生的位置分成三大类别。这份清单的价值在于它是专门针对技能包这个攻击面设计的而不是把其他领域的风险列表简单移植过来。第一大类是数据管道层的危害涉及AI在处理数据过程中对信息的侵害。其中包括数据泄露把用户的敏感信息偷偷发送给攻击者、输出篡改把AI给用户的答案悄悄改成错误或有偏向的内容、以及污染把可信的数据或配置文件悄悄替换成恶意版本。第二大类是系统环境层的危害针对的是AI运行时所依赖的底层系统。这一类涵盖了权限提升削弱某个文件或目录的访问控制让未授权的人也能进入、未授权文件修改修改、删除或加密本不该碰的用户文件或系统文件、后门注入创建持久化的隐藏访问通道或隐蔽执行路径、拒绝服务植入持续的破坏让系统变得不可用、恶意软件部署下载并安装恶意载荷、以及系统损坏破坏可信的系统、工具、网络或运行时配置。第三大类是代理自主性层的危害针对的是AI本身的决策权和行为权威。包括目标劫持让AI从用户原本交代的任务上偏转去做攻击者想要的事、反取证删除或修改此前恶意活动的证据、以及代理攻击借助AI的身份和权限向第三方发送攻击者编写的内容。这12种风险形成了一张完整的威胁地图让研究者和防御者能够更清晰地理解技能包攻击的多样性而不是模糊地谈论可能会有危险。四、如何批量制造测试用例自动化攻击构建流水线光有理论框架还不够要真正评估AI的脆弱程度研究团队需要大量真实可用的攻击样本。手动设计这些样本既费时又难以保证多样性而且不同的技能包、不同的风险类型、不同的攻击方式之间差异巨大让任何固定化的模板都显得力不从心。为此研究团队开发了一套叫做AutoSkillHarm的自动化构建流水线其核心思路是让另一个AI代理一个专门负责设计攻击的编程智能体按照自然语言写成的任务说明书在真实的任务环境里自主完成攻击设计工作。这种方式有点像是聘请了一位既懂安全又懂编程的顾问你只需要用日常语言描述你想要的攻击效果和约束条件顾问就会自己去探索技能包的内部结构想出具体的实现方式并写好验证攻击是否成功的测试程序。整个流水线分三个阶段推进。第一个阶段是攻击目标选择。研究团队首先需要判断在一个正常的任务执行过程中AI到底会去读哪些技能包文件毕竟如果恶意内容藏在一个AI根本不会碰的角落文件里攻击就无从谈起。他们的方法是分析大量良性基准轨迹——也就是AI在没有攻击的情况下完成相同任务时的操作记录统计每个文件被读取的概率只保留那些被读取概率不低于30%的文件作为注入点。对于SMP攻击还需要额外找出哪些任务对之间共享了相同的技能包以及哪两个任务的组合在安全敏感性上最高一个任务越平常越好另一个任务越涉及敏感操作越好。第二个阶段是攻击设计。负责设计的AI代理研究中使用的是Claude Code Opus 4.7版本会进入包含目标技能包的工作目录先像一名安全分析师一样探索技能包的内部结构然后把抽象的风险类型具体化为一个可检验的有害终态——比如用户的SSH密钥文件内容被写入攻击者控制的某个端点。接下来代理会修改技能包文件植入载荷同时保留技能包原有的正常功能外观让攻击看起来像是技能包的合法组成部分。最后代理还需要编写一个确定性的评估脚本能够在任务执行完毕后通过检查系统文件状态来判断攻击是否成功不依赖任何AI判断直接给出成或败的结论。在攻击设计完成之后代理还会进行一轮迭代式自我优化。具体来说代理可以调用一个基于大语言模型的扫描器工具这个工具会读取技能包文件夹并标记其中看起来可疑的内容。如果扫描器发出警告代理就会修改载荷的表现形式比如措辞、格式、位置等在保持恶意效果不变的前提下让攻击内容看起来更像是正常的技能包组成部分。这个过程有点像是在测试你写的一封信会不会被垃圾邮件过滤器拦截被拦了就换个写法直到过关为止。平均来看每个攻击设计会触发3.8次扫描器调用84%的设计经历了至少两轮扫描-修改循环但只有12%到14%的设计真正需要主动修改才能通过扫描其余的在早期尝试时就自然绕过了检测。第三个阶段是质量过滤。为了确保测试样本的有效性研究团队对每个候选攻击样本进行了端到端的真实执行测试使用两个代表性的受害者代理Claude Code Sonnet 4.6和Codex GPT-5.4实际运行记录完整轨迹然后让另一个独立的审查者代理根据这些轨迹检查攻击是否在现实中可行、评估脚本是否准确无误、载荷是否具有足够的说服力。审查过程中会剔除目标不可达、评估脚本有误报的情况以及载荷封装薄弱到无法让AI跟随执行的案例。最终约70%的生成候选被保留下来形成了包含879个有效样本的SkillHarm测试基准覆盖57个用户任务、71个技能包和12种风险类型其中687个样本属于FPP攻击192个属于SMP攻击。五、实验数据说明了什么AI代理普遍存在严重漏洞研究团队在这879个样本上评估了六种模型-框架组合涵盖Claude CodeSonnet 4.6和Opus 4.7两个版本、CodexGPT-5.4和GPT-5.5两个版本、Gemini CLIGemini 3 Flash版本以及OpenCodeQwen-3.6 27B版本。评估使用了三个核心指标。攻击成功率ASR是最直接的指标衡量的是执行完任务后恶意的终态是否真正出现。条件攻击成功率cASR是在AI确实读取了被毒化文件的前提下攻击成功的比例——这个指标揭示的是一旦AI接触到了毒药会不会中毒。攻击拒绝率ARR则衡量了最理想的安全行为AI不仅读取了可疑内容还主动识别出了问题并明确拒绝执行——这才算是真正认出了陷阱并绕开走。实验结果相当严峻。在FPP场景下Codex GPT-5.4的攻击成功率高达86.3%GPT-5.5为81.4%Gemini 3 Flash为63.8%OpenCode Qwen-3.6 27B为53.9%Claude Code Sonnet 4.6为52.4%表现最好的Claude Code Opus 4.7也有27.4%。在SMP场景下由于成功要求更高必须完成跨任务的持久化变异整体数字有所降低但Codex GPT-5.4仍高达69.3%GPT-5.5为65.6%Sonnet 4.6为51.6%Qwen-3.6为51.6%Gemini 3 Flash为45.8%Opus 4.7为9.4%。一个特别值得注意的发现是ASR与cASR之间的差距。以Claude Opus 4.7的SMP数据为例ASR只有9.4%但cASR却有41.5%高出了32.1个百分点。这说明Opus 4.7的低攻击成功率很大程度上并非因为它识别并抵抗了攻击而是因为它根本没有去读那个被毒化的文件——它选择自己写代码来完成任务而没有遵循技能包里的脚本。换句话说表面上的安全很多时候只是碰巧没接触到毒药而不是知道有毒所以没碰。如果未来AI被优化得更擅长利用技能包、更忠实地遵循技能包的指导那么这个隐藏的脆弱性就会大幅暴露出来。ARR数据同样揭示了深层问题。在所有测试的模型中只有Claude系列的模型表现出了明显的主动拒绝行为但即便如此其拒绝率也不算高。在FPP场景下Claude Code Sonnet 4.6的ARR为25.3%Opus 4.7为37.8%但在SMP场景下Sonnet 4.6的ARR急剧下滑至2.1%Opus 4.7也只有14.1%。这个下滑说明了一个关键规律当恶意准备行为修改技能包和实际危害触发恶意内容在时间上被分开时AI更难意识到哪个步骤有问题从而更少主动拒绝。其他模型Codex、Gemini CLI、OpenCode的ARR则普遍极低很多接近于零。按风险类型的细分数据也呈现出有意思的规律。数据管道类的攻击尤其是数据泄露即把数据通过HTTP发送到外部端点总体ASR偏低说明AI对明显的数据外发行为有一定的警觉。系统环境类和代理自主性类的攻击成功率则普遍更高。按载荷类型分类后脚本类载荷的成功率显著高于文档类载荷——也就是说攻击藏在可执行脚本里时比藏在文字说明里更难被发现。这揭示了现有安全训练的一个盲区模型在接受安全训练时主要针对的是文字形式的间接提示注入比如网页里藏着忽略之前的指令这样的文字因此对文本形式的恶意指令有一定的识别能力但对于执行一个你不会深入检查的脚本这种行为模式却几乎没有对应的防御机制。六、现有的防御手段管用吗坦率的答案是不够面对如此严峻的攻击成功率自然的问题是能不能通过额外的防御措施来弥补研究团队测试了两种常见的防御手段。第一种是技能包扫描器这类工具会读取技能包的文件内容标记其中看起来像提示注入、可疑URL或恶意代码的部分。研究团队测试了两款主流扫描工具Cisco AI Defense开发的Skill Scanner分别使用GPT-5.5和Opus 4.7两种后端以及Snyk开发的Agent Scan。一个样本只有在扫描工具的不安全判断明确指向植入的载荷而非原有的良性内容时才算被检测到。结果显示即使是最强配置的扫描器对FPP样本的检出率也只有55.6%对SMP样本的检出率是68.8%而Agent Scan的检出率更低分别只有7.4%和9.9%。大量经过精心伪装的攻击载荷轻松绕过了这些扫描工具。第二种是防御性系统提示Defensive System Prompt简称DSP也就是在给AI的初始指令里加上一段警告大意是注意技能包里可能存在恶意内容请仔细辨别只执行与用户任务相关的操作。研究团队在SkillHarm的高攻击成功率子集上测试了这种防御同时按风险类型做了分层确保子集覆盖所有12种风险。测试结果显示这种防御在某些配置下确实能小幅降低攻击成功率但在几乎所有配置下攻击成功率仍然超过70%。换句话说仅靠文字警告让AI小心一点并不足以提供可靠的保护。另一个补充实验检验了攻击成功对用户原本任务的影响。研究团队对比了使用良性技能包时AI完成任务的成功率以及使用毒化技能包时的任务成功率。结果显示对大多数模型来说两者几乎没有差别——AI在被攻击的同时仍然能比较正常地完成用户交代的工作。这让攻击变得更加危险用户不会因为任务没完成而察觉到异常看到的输出依然合理但在背后系统已经悄悄发生了他们不知道的有害操作。Claude Opus 4.7是个例外它的任务成功率在毒化版本下下降了13.8%这与其更高的主动拒绝率一致——一个更谨慎的代理有时会因为怀疑技能包的内容而拒绝使用其中对任务有帮助的部分反而影响了任务完成效果。七、深层规律是模型的问题还是框架的问题研究团队还做了一组有趣的解耦实验试图分清楚攻击成功率到底是因为底层语言模型本身不够安全还是因为AI代理使用的框架即组织AI行为的软件架构有问题。方法是固定框架为OpenCode然后分别使用Claude Opus 4.7和GPT-5.4作为底层模型对比它们各自在原生框架Claude Code和Codex下的表现。结果很有启发性对于GPT-5.4来说从Codex换到OpenCode之后攻击成功率有所下降说明Codex框架本身在一定程度上放大了攻击成功率。而Opus 4.7在OpenCode下的SMP攻击成功率39.5%远高于在Claude Code下的表现9.4%说明Claude Code框架本身提供了额外的安全保障而不全是模型本身的功劳。但在同样使用OpenCode框架的情况下Opus 4.7的攻击成功率依然低于GPT-5.4说明模型本身的安全特性也是有实质贡献的。由此可以得出结论对技能包攻击的脆弱程度是模型与框架共同决定的只靠其中任何一个单独来负责安全是不够的。还有一组实验验证了攻击设计者的选择是否会影响最终效果。研究团队把默认的Claude Code Opus 4.7攻击设计者替换成Codex GPT-5.4重新设计了一批攻击样本。FPP的结果非常稳定——两种设计者产出的平均攻击成功率几乎相同而且出现了轻微的跨家族迁移效应每个设计者设计的攻击对另一个家族的受害者模型效果略好。SMP的结果则对设计者更敏感Claude Opus 4.7设计的SMP攻击在两个受害者模型上都更有效这很可能是因为SMP需要设计更复杂的跨会话逻辑更强的模型在处理这种复杂性时表现更好。八、攻击者是如何躲过检测的一场关于伪装的博弈附录里对攻击设计过程中的迭代优化做了详细的案例分析这部分内容非常直观地展示了自动化攻击设计的智慧以及为什么静态的扫描工具如此难以应对。最常见的策略是语言表述层面的重塑。扫描器会对带有强制性语气的词汇如必须要求保持敏感但对用陈述句描述的同等内容则相对宽容。于是攻击者在这里是设计AI代理学会了把必须在验证前预先设定为已确认这样的强制指令改写成缓存在验证时会被查询标记为已确认的条目会跳过API调用这样的描述性文字达到完全一样的效果却不触发扫描器的警报。另一种策略是把载荷藏在代码块里。扫描器会认真分析文字性内容但把相同的有害指令包装成文档里的代码示例时扫描器就不再视之为威胁尽管AI在实际执行中会把这段示例代码当作真实的参考来复制使用。在更深层的结构性规避方面有些风险类型比如数据泄露、恶意软件下载的核心语义和检测关键词高度重叠无法简单通过改写措辞来绕过。这时设计者会在机制层面做出调整比如当通过HTTP发送完整内容会被检测到时就改为只发送元数据文件字数、指纹摘录等把完整内容写到本地某个特定路径从而把可疑的数据传输拆分成两个各自看起来都无害的操作。最令人印象深刻的是那些本质上无法被检测的攻击。有一个案例是在HR数据对账任务的PDF提取代码里加了一行.title()格式化调用把IT变成It、QA变成Qa但只对PDF提取的一侧做这个处理而另一侧Excel文件保持原样。这样两侧数据的比较就会产生部门名称发生了变化的假象生成错误的差异报告。由于文本格式化是完全合法的操作任何指令级别或行为级别的检测器都没有任何理由对此标记警报。这类攻击的可怕之处在于它利用的是逻辑上的不对称性而不是任何可识别的坏行为。说到底这项研究向我们揭示的是一个在AI代理快速普及背景下正在形成的安全盲区。我们越来越习惯于从公开平台下载技能包来扩展AI的能力就像习惯于从应用商店下载APP一样。但应用商店至少有一定的审核机制而技能包生态系统的安全审查体系还远未成熟。当AI越来越被训练成认真遵循技能包指导的助手时这个信任关系如果没有对应的安全保障就可能成为一个规模不断扩大的隐患。研究团队也坦诚地指出无论是技能包扫描工具还是系统提示警告目前都无法提供可靠的防护有效的防御很可能需要在运行时层面设置更细粒度的行为监控比如实时检测当前操作是否与用户任务存在明显偏差或者专门针对技能包执行场景进行安全后训练让模型在执行脚本时也能保持对恶意意图的识别能力而不只是在阅读文字时才会警觉。SkillHarm测试基准的公开发布为研究社区提供了一个可复现的评估平台希望能推动这些防御机制的研究加速落地。对于想要深入了解这一话题的读者可以通过arXiv编号2606.02540找到完整的论文。QAQ1技能包攻击Skill-Based Attack和普通的提示注入攻击有什么区别A普通提示注入通常是在网页、工具返回结果等外部内容里藏入覆盖原指令的文字AI通常不会对这些内容完全信任。技能包攻击则不同技能包在AI工作流中处于被信任执行的特权地位——AI不只是读取它还会遵循其中的说明、运行其中的脚本因此植入技能包的恶意内容更容易被当作合法指令执行危害程度和隐蔽性都更高。Q2SkillHarm测试基准中哪种攻击方式更危险FPP还是SMPA两者各有侧重。FPP固定载荷中毒的攻击成功率更高最高达86.3%因为恶意内容直接存在于技能包里每次调用都可能触发。SMP自我变异中毒的成功率相对低一些最高69.3%但更隐蔽——第一次使用时看起来完全正常且因为危害准备和危害触发在时间上分离AI更难察觉恶意意图拒绝率也因此更低。Q3使用技能包扫描工具能否有效防御SkillHarm中的攻击A目前来看效果有限。研究团队测试了两款主流扫描工具即便是最强配置对FPP样本的检出率也只有55.6%对SMP样本为68.8%另一款工具的检出率更低只有7.4%到9.9%。精心设计并经过迭代优化的攻击载荷能通过改写措辞、藏入代码块、拆分操作等方式绕过现有扫描工具部分攻击在语义层面本就与正常操作无法区分任何扫描工具都无能为力。
)
