这项由斯坦福大学领导的研究发表于2026年6月论文编号为arXiv:2604.20920有兴趣深入了解的读者可以通过该编号查询完整论文。每当你让ChatGPT或类似的AI助手阅读一篇很长的文章并回答问题时这个AI其实正在做一件极其耗费精力的事情——它必须把文章里每一个字都记在脑子里哪怕其中大部分内容跟你的问题毫无关系。这就好比你问一个朋友这本500页的小说里主角最后去了哪座城市但你的朋友为了回答这个问题却必须把整本书从头到尾背诵一遍然后才能开口说话。这显然既浪费时间又耗费巨大的精力。现实中的AI大模型面临着完全相同的困境。随着文本越来越长AI需要处理的信息量呈爆炸式增长计算成本和内存占用以平方级别飞速上涨。处理一篇一万字的文章其难度可能是处理一千字文章的一百倍而非十倍。这个问题在业界被称为长文本推理瓶颈是制约当前大语言模型能力的核心障碍之一。为了解决这个问题斯坦福大学的研究团队提出了一套名为简化稀疏注意力Simplified Sparse Attention简称SSA的全新方法。这套方法的核心理念极其优雅教会AI像聪明的读书人一样工作——先快速浏览全文做笔记等真正需要某段内容时再回头精读那一部分。更令人印象深刻的是这套方法不需要对AI的基本结构做任何改动就像给一个人传授新的阅读技巧而不是换一个新的大脑。一、AI为什么需要学会做笔记再精读要理解SSA究竟解决了什么问题可以先想想一个图书馆管理员的工作。假设有人来问请帮我找出所有关于法国大革命的资料。一个低效的管理员会把图书馆里所有书架上的每一本书都翻一遍而一个聪明的管理员会先查询索引卡找到相关书目再精确地取出那几本书。前者虽然不会遗漏任何信息但耗时耗力后者虽然依赖索引的准确性但效率极高。当前AI处理长文本的方式更接近那个低效管理员——无论你的问题多么具体它都必须把所有内容平等地过一遍。这种方式在学术上被称为全注意力机制Full Attention其代价随文本长度急剧增加。于是研究者们开始探索各种稀疏注意力方案让AI只关注最相关的那部分内容。然而已有的稀疏注意力方案各有各的麻烦。有些方案只在推理时应用完全没有经过专门训练效果打折扣有些方案虽然效果好却需要在AI的基本结构上动大手术比如增加新的神经网络模块或者引入专用的辅助索引器让整个系统变得复杂难以维护。斯坦福的研究团队因此提出了一个问题有没有可能设计一种方法既让AI真正学会这种聪明阅读策略又完全不改动AI的基本架构答案就是SSA而它的核心工具是一种叫做要点标记Gist Tokens的特殊符号。二、要点标记究竟是什么要理解要点标记可以借助一个学生做笔记的场景。假设你正在读一本历史教材每读完一章你会在旁边的便利贴上写下几行摘要本章核心法国大革命起因三个关键事件时间1789年。这张便利贴就是一个要点标记——它不包含原文的全部细节但压缩了这一章最重要的信息。等你日后复习时先看便利贴就能大致判断这章的内容和我现在的问题相关吗如果相关再翻回原文精读如果不相关直接跳过。SSA的做法与此如出一辙。研究团队把输入给AI的长文本切分成若干小段每段长度固定比如每16个词语为一段。在每一小段的末尾插入一个特殊的要点标记符号。在训练阶段这个要点标记会通过特殊的注意力规则被强迫学习压缩它前面那一段内容的精华——因为训练规则规定后续的文字不能直接回头看某段的原始内容只能通过该段的要点标记来获取信息。这就像强制规定学生只能通过便利贴来复习迫使他们把笔记做得精炼准确。通过这种被迫压缩的训练每个要点标记的内容就变得极具代表性。它不是简单的平均而是经过AI自己学习后形成的语义浓缩能够捕捉到原始段落中最关键的含义。训练所用的目标和普通语言模型完全一样——预测下一个词使用标准的交叉熵损失函数无需任何额外的辅助损失或新增参数。三、推理时的选择性展开聪明阅读的精髓有了这些经过训练的要点标记SSA在实际回答问题时的工作流程就变得既简单又高效。这个过程可以用先看目录再翻正文来描述。当用户提出一个问题时AI首先拿着这个问题的向量表示可以理解为问题的数字版本去和文章中所有段落的要点标记逐一比对计算相关程度的分数。这个比对过程极其快速因为要点标记的数量远远少于原始文本的词语数量——假设原文有1000个词分成100段那么要点标记只有100个而不是1000个。比对完成后AI选出得分最高的若干段落即Top-k选择然后把这些被选中段落的原始内容重新展开加入到AI的实际注意力范围中。对于那些没被选中的段落AI完全不去处理它们就像那些没被取下的书直接忽略。这个展开的过程在论文中被称为选择性展开Selective Unfolding是整个SSA方法最核心的创新。它巧妙地将用什么来选要点标记少量且精炼和选完后读什么原始内容丰富且详细分开处理两全其美。在具体的注意力计算上被选中段落的内容会和该段的要点标记一起进入AI的视野。研究团队发现把选中段落的要点标记和原始词语一同保留比只保留原始词语效果更好——要点标记作为对整段内容的压缩总结提供了一种全局视角弥补了原始词语只能逐词表达的局限。而那些没被选中的段落连它们的要点标记也会被排除在外这样可以把有限的注意力预算完全集中在最相关的内容上。值得一提的是由于问题只需与要点标记比对而不需要与完整的KV缓存AI记忆内容的存储形式比对SSA还解决了另一个工程难题许多现有的稀疏注意力方法虽然最终只处理一部分内容但为了找到应该处理哪些内容仍然需要把全部内容读入内存这导致内存带宽成为瓶颈。SSA通过要点标记直接定位相关段落彻底避免了这一问题。四、如何让AI真正学会这套技巧两阶段训练SSA的训练过程分为两个阶段可以类比为先教会学生做笔记再让学生在考试条件下练习。第一阶段叫做持续预训练是必须经历的步骤。在这个阶段研究团队用大量文本对AI进行继续训练但特别设计了注意力掩码一种控制AI看哪些内容的规则文章被分段加入要点标记每段内的原始词语可以互相看见也可以看到之前所有段的要点标记但不能直接看到更早那些段的原始词语。这种限制迫使要点标记充当信息中转站必须把过去段落的精华保留下来以供未来词语参考。训练目标依然是普通的下一词预测整个过程无需特殊的CUDA核心完全可并行化。完成第一阶段后AI就已经具备了在推理时进行选择性展开的能力不需要任何额外训练就能直接使用SSA。但为了让AI更好地适应在考试时只有部分内容可用的场景研究团队还设计了第二阶段——选择性微调属于可选步骤。在微调阶段训练数据同样被分为压缩上下文前半部分和生成上下文后半部分。压缩部分的处理方式和第一阶段完全相同但在生成部分每个位置的注意力掩码不再是固定的而是动态地根据当前词语的向量计算与各段要点标记的相关分数然后只允许注意到得分最高的几段内容的原始词语。这让AI在训练时就亲身体验了选择性展开的过程而不仅仅是在推理时临时应用一个没训练过的技巧。不过微调阶段需要位置依赖的稀疏掩码实现上略复杂对于不想增加实现难度的开发者跳过这一步也能得到相当好的效果。五、层层嵌套的笔记的笔记H-SSA的诞生SSA已经很强大了但研究团队发现这套做笔记的逻辑其实可以无限嵌套。既然可以对原始段落做笔记为什么不能对笔记再做笔记呢以图书馆的比喻来延伸每本书有章节摘要图书馆有图书分类目录城市图书馆系统有总目录。当你要找一条特定信息时你先看总目录确定大类再看分类目录锁定具体书目最后取出那本书翻到相关章节——这正是分层检索的精髓。H-SSA层级简化稀疏注意力就是这个原理的工程实现。在单层SSA的基础上研究团队引入了元要点标记Meta-Gist Tokens——每隔若干个普通要点标记就插入一个元要点标记负责压缩这一组普通要点标记的内容。类比来说如果普通要点标记是每章的便利贴摘要那元要点标记就是每本书的封底简介。在推理时H-SSA采用从粗到细的两步选择先用当前问题与数量很少的元要点标记比对找到最相关的几个大组再在这些大组内用问题与普通要点标记比对锁定最相关的具体段落最后才展开这些段落的原始内容。这种层级路由将每步的搜索范围大幅缩小使得总体的路由计算量从线性正比于段落总数降低到对数级别正比于段落总数取对数。从计算复杂度来讲这意味着什么假设文章有一百万个词单层SSA在路由时仍需处理约六万多个段落标记而H-SSA可能只需处理几百个元要点标记再处理几十个普通要点标记总计不过几百次比较。这是质的飞跃让超长文本的处理成为现实。理论上H-SSA的层级结构可以无限延伸支持任意长度的文本只需随着文本增长添加新的层级即可。六、针对现代GPU的专属内核设计技术上的优雅还需要工程实现的配合。研究团队专门为SSA和H-SSA设计了高效的计算内核让理论上的效率优势在真实硬件上得以实现。在文本处理阶段预填充阶段问题在于SSA的稀疏注意力模式在结构上比较特殊要点标记这类全局信息出现在序列各处导致标准的分块稀疏计算无法直接跳过空白块。研究团队用了一个聪明的技巧——键列置换在计算注意力之前先把所有频繁出现的全局信息要点标记和注意力锚点挪到序列的最前面把局部信息移到后面。由于注意力计算对键的排列顺序不敏感softmax会做归一化这个置换不影响计算结果却让稀疏结构变得规整全局信息形成一个密集的薄块局部信息形成一个对角带状结构空白部分可以被高效跳过。在回答生成阶段解码阶段研究团队设计了一套三步流水线内核。第一步是并行压缩一个内核快速扫描需要保留的键值对索引利用线程束级别的原子操作把需要处理的内容地址紧密排列避免稀疏数据带来的碎片化。第二步是分割K部分注意力计算另一个内核在压缩后的紧密列表上并行计算注意力多个线程块同时处理不同区段每个线程块内部会把同一KV组中多个查询头共享的键值块只加载一次最大化内存复用率这与NSA原生稀疏注意力的分组设计思路类似。第三步是合并将各分块的部分注意力结果通过标准的对数求和指数技巧合并为最终输出。整个解码过程只读取被选中的若干段内容的键值对加上少量元数据完全不触碰完整的键值缓存从根本上消除了内存带宽瓶颈。七、实验结果不只是省力有时还更准研究团队在两个模型家族上验证了SSA的效果规模较大的Qwen2-7B-Instruct一个经过指令微调的70亿参数模型和规模较小的Llama3.2-1B一个10亿参数的基础模型。测试涵盖两大场景长文本理解使用LongBench基准测试和检索增强生成使用多个多文档问答数据集。在长文本理解场景下SSA与其他方法在相同压缩比下进行比较。以8倍压缩为例这意味着AI实际处理的内容只有原文的八分之一。SSA在持续预训练后平均得分46.20而同类的ActivationBeacon方法只有42.52UniGist方法为43.40差距在2.8到3.7分之间。即使将压缩比提高到16倍和32倍SSA依然保持领先优势32倍压缩下SSA得44.07而对手方法普遍只有38分左右。经过选择性微调后SSA在某些具体任务上甚至超越了不做任何压缩的完整注意力模型——例如在MF-en任务一种多字段英文问答上SSA得54.24而全注意力基线只有50.33。这说明选择性展开不只是弥补压缩损失有时还能主动过滤掉干扰信息反而提升准确率。与只在推理时应用稀疏策略不做任何额外训练的方法相比SSA的优势更加显著。H2O方法在8倍压缩下得44.20StreamingLLM得38.81Quest只有17.32而SSA仅经过预训练就已经达到46.20且这些对比是在相同的计算预算下进行的。检索增强生成场景则展现出SSA最令人惊讶的优势。在这个场景下用户提供多篇文档其中大部分是无关文档和一个问题AI需要找到正确答案。仅经过持续预训练的SSA在8倍压缩下就达到了33.68的平均分不仅远超KVLink21.58和UniGist22.53超过11分甚至超过了原始未压缩模型27.99和经过完整注意力持续预训练的模型27.14。这个结果表明当大多数文档都是无关干扰时强迫AI专注于少数段落反而有助于它忽略噪声找到真正相关的信息。经过微调后SSA在8倍压缩下达到53.39比KVLink高出近12分比UniGist高出超过8分与全注意力微调模型57.76的差距也只有4.4分。H-SSA在高压缩比下表现出更强的竞争力。在32倍压缩微调后H-SSA得44.94而单层SSA只有43.35。在16倍压缩的检索增强场景下H-SSA达到50.72优于SSA的49.29。这与直觉一致层级结构在压缩率越高时粗粒度到细粒度的分级筛选越能有效分配有限的注意力预算。研究团队还专门测试了一种叫做KV缓存复用的场景同一批文档被不同的问题反复查询通过提前缓存文档的键值对来避免重复计算。SSA在此场景下同样出色8倍压缩下达到48.0716倍压缩下H-SSA达到46.34均大幅领先KVLink和UniGist。在效率测试方面研究团队在单张NVIDIA H100 GPU上测量了SSA在16倍压缩下的端到端延迟。结果非常直观全注意力解码Flash-Decoding的每词输出时间随上下文长度线性增长从8K词时的21.9毫秒一路爬升到44K词时的76.4毫秒而SSA的每词输出时间几乎保持平坦始终在21到23毫秒之间H-SSA也稳定在25毫秒附近。在44K词时SSA比全注意力快3.37倍H-SSA快3.05倍。在预填充阶段SSA从约33K词开始就比全注意力FlashAttention更快44K词时达到0.90倍延迟。单独看注意力算子排除其他模型组件的影响H-SSA的预填充在200K词时比稠密FlashAttention快8.3倍解码快1.58倍。八、细节决定成败关于设计选择的实验对比研究团队进行了一系列精细的消融实验验证SSA中各个设计选择的必要性。关于选中段落后的注意力上下文组成研究团队比较了三种方案只包含选中段落的原始词语不含要点标记、包含所有段落的要点标记加上选中段落的原始词语、只包含选中段落的要点标记加上其原始词语。结果显示第三种方案效果最好平均53.39第二种方案次之53.27纯原始词语最差52.76。这说明保留选中段落的要点标记有助于AI同时拥有压缩的全局视角和详细的局部信息而把所有不相关段落的要点标记也纳入会引入噪声稍微降低性能。关于Top-k固定选取前k个段落与Top-p累积概率超过阈值p时停止选取的比较研究表明自适应Top-k始终优于各种阈值的Top-p方案且稳定性更好。Top-p方案的问题在于不同问题的相关性分数分布差异很大一个固定的概率阈值在某些问题上会选太多段落在另一些问题上又选太少导致效果波动明显。Top-k通过直接控制token预算提供了更一致的压缩率保证。研究团队还测试了一项极端验证——密钥检索任务在超长干扰文本中隐藏一个简短密码测试AI能否找到它。SSA和H-SSA在两种模型上均达到100%的完美准确率覆盖从5千词到5万词Qwen2超出训练长度2.5倍以及从4千词到4万词Llama3.2超出训练长度10倍的全部范围且密钥位于任意位置时均无遗漏。这表明SSA的选择性展开机制在极端检索任务下非常可靠并且具备良好的长度泛化能力训练时没见过这么长的文章推理时依然能够正确处理。说到底SSA这项研究的价值在于它把一个看似需要大量架构改造的复杂问题用一个优雅且简单的训练技巧给解决了。它告诉我们让AI学会聪明阅读并不需要给它装新的零件只需要用合适的方式训练它它自己就会学会做摘要、学会判断相关性、学会在需要细节时精确回头查阅。这对未来的AI应用具有实际意义——无论是阅读超长法律文书、分析大型代码库、还是在海量文档中回答专业问题SSA都可以在几乎不改变现有系统架构的前提下让AI变得既快又准。当然该研究也存在一定局限训练需要额外的预训练步骤对计算资源有一定要求选择性展开的chunk大小等超参数需要根据具体任务调整在某些需要高度连续上下文的任务上强制分段可能会割裂重要的跨段依赖。但这些都是未来可以继续优化的方向并不影响这项工作所展示的核心可行性。感兴趣的读者可以通过arXiv编号2604.20920查阅完整论文代码也已在GitHub公开检索simplified-sparse-attention即可找到。QAQ1SSA和普通的稀疏注意力方法有什么区别A普通的稀疏注意力方法通常直接在推理时决定看哪些内容没有经过专门训练相当于用一个未受过训练的人来做文档筛选。SSA则通过持续预训练让AI真正学会把每段内容压缩进要点标记再用这些标记来精确筛选相关段落。更重要的是SSA不需要修改模型架构只需在标准训练流程中调整注意力掩码即可实现工程实现门槛低得多。Q2H-SSA层级结构的层数越多越好吗A不一定。层数越多每步的路由计算成本越低理论复杂度越接近对数级别但每新增一层都会让压缩信息经历更多次的二次压缩可能损失更多细节。论文中测试的两层H-SSA在16倍和32倍压缩场景下效果优于单层SSA但具体层数需要在压缩率、信息保真度和计算效率之间权衡选择并非无限叠加层数就最好。Q3SSA在检索增强生成场景下为何能超越不压缩的全注意力模型A这是因为检索增强生成通常会提供多篇文档但只有少数文档真正与问题相关其余都是干扰信息。全注意力模型会平等对待所有文档注意力被大量无关内容分散反而难以聚焦在正确答案上。SSA的选择性展开机制通过要点标记打分主动过滤掉低相关性的文档段落让AI的注意力高度集中在真正相关的内容上相当于自动去除了噪声因此在这类场景下效果反而更好。
