一、注意力机制从多头到潜在注意力是Transformer最核心的运算。标准的多头自注意力MHA将输入投影到多个独立子空间在每个子空间内独立计算注意力分布最后拼接输出。其计算复杂度为O(n²d)其中 n 为序列长度d 为隐藏维度。对于长序列而言计算量和显存开销迅速膨胀成为瓶颈。为降低推理阶段KV缓存的大小Shazeer于2019年提出了多查询注意力MQA令所有注意力头共享同一组Key和Value投影仅保留Query的多头结构。MQA将KV缓存减少为原来的1/hh为头数以微弱的精度代价换取了显著的推理加速。然而MQA存在表达能力不足的问题——当模型容量较小时共享KV会导致注意力模式的多样性受限。2023年Ainslie等人提出的**分组查询注意力GQA**在MHA和MQA之间取得了一个优雅的折中将查询头分为若干组每组内部共享KV投影。这相当于在KV缓存大小和表达力之间引入了一个连续的可调节参数g组数。GQA被Google的PaLM 2、Meta的Llama 2/3等主流模型广泛采用事实上已成为当前大模型的标准注意力配置。DeepSeek-V22024走得更远提出了多头潜在注意力MLA这也是DeepSeek系列模型的核心创新之一。MLA的思路是引入一个低秩的潜在空间来压缩KV表示在训练时学习一个降维投影矩阵将KV映射到远小于原始维度的潜在向量上推理时直接缓存低维潜在表示注意力计算时再通过升维矩阵还原。MLA在DeepSeek-V3上实现了与MHA相当的精度同时将KV缓存降低至原来的1/5以下极大地缓解了长上下文推理的瓶颈。这一设计使DeepSeek-V3得以原生支持128K token的上下文窗口。 关键论文MQAFast Transformer Decoding: One Write-Head is All You Need· arXiv:1911.02150GQAGQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints· arXiv:2305.13245MLADeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model· arXiv:2405.04434二、位置编码绝对、相对与消失Transformer本身是置换不变的——单纯的注意力机制无法感知token的顺序。为此Vaswani等人在原始论文中引入了正弦位置编码Sinusoidal PE将位置信息以固定频率的正余弦函数注入输入表示。这种绝对位置编码简单高效但依赖外推能力当推理长度超出训练长度时性能急剧退化。2021年苏剑林提出的**旋转位置编码RoPE**是一个里程碑式的突破。RoPE通过旋转矩阵将位置信息编码为注意力计算中Query和Key的相对角度差天然具有相对位置编码的特性且具备良好的长度外推能力。RoPE迅速被LLaMA、Qwen、DeepSeek等主流模型采用成为当前最广泛使用的位置编码方案。2023年YaRN在RoPE基础上进一步提出了一种高效的外推方法通过对不同频率分量施加不同的缩放因子在微调极少数据的情况下将上下文窗口扩展了数十倍。与这一趋势形成有趣对照的是2023年Haviv等人发现即使完全不使用位置编码NoPE仅靠因果注意力掩码Transformer在特定训练设置下仍然可以隐式学习到位置信息。这一发现暗示注意力机制本身具备某种内在的位置感知能力位置编码或许并非不可或缺。 关键论文RoPERoFormer: Enhanced Transformer with Rotary Position Embedding· arXiv:2104.09864YaRNYaRN: Efficient Context Window Extension of LLMs· arXiv:2309.00071NoPEThe Impact of Positional Encoding on Length Generalization· arXiv:2305.19466三、归一化训练稳定性的隐秘战场在Transformer训练中归一化层的选择对收敛速度和最终性能有着显著影响。原始Transformer采用了LayerNorm对每个token的隐藏维度计算均值和方差进行标准化。LayerNorm的优点在于其稳定性和广泛应用的历史验证但计算开销较大。2019年Zhang和Sennrich提出了RMSNormRoot Mean Square Layer Normalization——直接使用均方根值进行标准化省去了均值减除步骤。RMSNorm计算量仅为LayerNorm的约三分之二而在实践中精度基本无损。得益于LLaMA系列模型的推广RMSNorm已成为当前大多数开源模型的标准归一化方案。在归一化位置方面2020年的一篇研究系统对比了Pre-Norm在子层之前归一化和Post-Norm在子层之后归一化的行为差异。结论是Pre-Norm在训练初期梯度更稳定收敛更快尤其适合从零开始训练的深层网络。这与同年提出的RealFormer引入QK归一化以维持softmax之前的稳定性共同推动了现代LLM普遍采用Pre-Norm或混合Pre/Post-Norm的设计方向。 关键论文LayerNormLayer Normalization· arXiv:1607.06450RMSNormRoot Mean Square Layer Normalization· arXiv:1910.07467Pre/Post-NormOn Layer Normalization in the Transformer Architecture· arXiv:2002.04745四、稀疏与线性注意力突破二次复杂度标准注意力的O(n²)复杂度是Transformer处理长序列的最大瓶颈。稀疏注意力Sparse Attention的思路是每个查询token只关注一部分键token将注意力矩阵从稠密变为稀疏从而降低计算复杂度。2019年的Sparse Transformer率先通过固定步长的跨步模式将复杂度降至O(n√n)开启了稀疏注意力的研究方向。2020年的Longformer则提出了滑动窗口注意力SWA——每个token仅关注固定窗口内的邻近token兼以若干全局token用于长程依赖。SWA以其实现简单、效果稳定的优势被广为采纳Mistral采用SWA作为默认配置Gemma 22024同样选择SWA作为其基础注意力模式证明了这一设计在工业级模型中的实用性。2025-2026年稀疏注意力进入了新的发展阶段。DeepSeek提出的**差分稀疏注意力DSA通过可微的稀疏化策略让模型在训练中自主学习每个token应当关注的范围。在DeepSeek V4中这一方向进一步演化为上下文稀疏注意力CSA和层次化上下文注意力HCA**CSA动态调整不同层级的注意力窗口浅层使用较小的局部窗口以降低计算量深层使用较大的全局窗口以捕获长程依赖HCA在此基础上引入层次化的路由机制根据输入内容的复杂度自适应地分配注意力计算资源。另一条路线是线性注意力Linear Attention——通过核化技巧将softmax注意力的拆分-求和顺序反转将复杂度从O(n²)降至O(n)。2024年的Lightning Attention / TransNormerLLM通过并行化实现了线性注意力的工业级部署2025年的Gated DeltaNet通过在循环状态上施加门控机制实现了兼具训练并行性和推理效率的线性注意力设计。KDAKernelized Dynamic Attention2025则引入可学习的动态核函数使线性注意力在不同层级自动切换最佳的核形式。 关键论文Sparse TransformerGenerating Long Sequences with Sparse Transformers· arXiv:1904.10509SWA / LongformerLongformer: The Long-Document Transformer· arXiv:2004.05150DSADifferential Sparse Attention· arXiv:2512.02556Gated DeltaNetarXiv:2412.06464 ·Lightning AttentionarXiv:2401.04658 ·KDAarXiv:2510.26692五、状态空间模型Mamba家族的崛起状态空间模型SSM为序列建模提供了一条从传统DSP理论出发、绕过注意力机制的路径。2023年底Albert Gu和Tri Dao提出的Mamba引入了输入依赖的选择性机制使SSM的参数可以根据输入内容动态调整从而在与Transformer相当的建模能力下实现了训练和推理的线性复杂度。Mamba在长序列任务上展现出令人瞩目的性能被视作Transformer竞争者的最大潜力股。2024年的Mamba-2通过建立SSM与结构化掩码注意力之间的形式对偶关系揭示了Mamba实际上可被理解为一种特殊的线性注意力变体——这正是状态空间对偶性的核心洞察。这一理论统一不仅简化了Mamba的实现也为将SSM高效集成到Transformer架构中铺平了道路。2025年的Mamba-3在此基础上进一步引入了多尺度状态更新和层次化选择性机制探索了超越传统Transformer和vanilla Mamba的第三条路径。值得注意的是Mamba与注意力并非非此即彼的关系。越来越多的模型开始将SSM层和注意力层混合使用hybrid architecture在浅层使用高效的SSM处理长程信号在深层使用注意力捕获关键的语义关系。 关键论文MambaMamba: Linear-Time Sequence Modeling with Selective State Spaces· arXiv:2312.00752Mamba-2Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality· arXiv:2405.21060Mamba-3arXiv:2603.15569六、混合专家模型稀疏激活的规模法则混合专家模型MoE的核心思想是将一个大模型拆分为多个较小的专家子网络每个token只激活其中的一小部分从而在保持总参数量巨大的同时控制住每次前向传播的计算量。这一思想早在2017年就被Shazeer等人形式化提出但直到2021年Google的Switch Transformer才首次将其在工业级规模上验证可行。Switch Transformer的设计简洁而激进每个token仅路由到一个专家top-1 routing将MoE的稀疏性推到了极致。然而top-1路由带来了负载不均衡的问题——某些专家被频繁激活而另一些则几乎闲置。2024年DeepSeek提出的DeepSeekMoE在路由策略上做出了关键创新一方面引入共享专家来处理通用模式另一方面通过精细的辅助损失函数来平衡专家利用率使得MoE在训练效率、推理性能和模型质量三个维度上首次实现了统一的优化。 关键论文MoEOutrageously Large Neural Networks: The Sparsely-Gated MoE Layer· arXiv:1701.06538Switch TransformerSwitch Transformers: Scaling to Trillion Parameter Models· arXiv:2101.03961DeepSeekMoEDeepSeekMoE: Towards Ultimate Expert Specialization· arXiv:2401.06066七、DeepSeek的架构演进V2 → V3 → V4作为当前大模型领域最具创新力的团队之一DeepSeek在过去两年间走出了一条清晰的架构演进路线几乎每一代模型都在某个关键模块上实现了突破。**DeepSeek-V22024**的贡献在于两个核心架构创新MLA多头潜在注意力和DeepSeekMoE。MLA通过低秩潜在空间压缩KV缓存从根本上缓解了长上下文推理的瓶颈DeepSeekMoE通过共享专家和精细负载均衡机制在671B总参数下仅激活37B参数即实现了卓越的性能。这两项技术成为后续DeepSeek-V3和V4的基础。**DeepSeek-V32024年底在V2基础上做了规模化的工程优化将MLA和DeepSeekMoE扩展到更大的规模引入了无需辅助损失的负载均衡策略并通过FP8混合精度训练和DualPipe流水线并行进一步提升了训练效率。其总参数量达到 **671B激活37B在14.8T token上进行预训练性能全面对标GPT-4级别而训练成本仅为竞争对手的一小部分。**DeepSeek-V4 / V4 Pro2025-2026则代表了架构层面的又一次重大飞跃。其核心设计是上下文稀疏注意力CSA和层次化上下文注意力HCA可以与MLA协同工作MLA负责压缩KV表示而CSA/HCA负责决定每个层级的注意力范围。这种压缩稀疏的双重策略使得DeepSeek V4能够在控制计算量的同时有效处理超长上下文。此外V4还引入了修改版混合超连接mHC**进一步增强了深层网络的梯度流动和训练稳定性。 关键论文DeepSeek-V2 (MLA)arXiv:2405.04434 ·DeepSeek-V3arXiv:2412.19437 ·DeepSeek-V4 (CSA/HCA)DeepSeek V4 Technical Report八、激活函数与残差连接从GELU到混合超连接激活函数和残差连接通常被视为细节但大量实践表明这两者的选择对模型收敛和最终性能有着不可忽视的影响。2016年的GELUGaussian Error Linear Unit因其平滑的非线性特性取代了ReLU成为Transformer早期的标配激活函数。此后2017年的**SwishSiLU通过引入可学习的β参数和自门控机制在多个基准上超越GELU。LLaMA系列采用的SwiGLU**——将Swish与门控线性单元GLU结合——进一步成为当前主流大模型的默认激活函数。在残差连接方面2015年ResNet提出的经典**残差连接RC至今仍是深度学习的基础构件。2024年Meta提出的超连接HC引入了可学习的连接权重矩阵允许不同层之间建立更丰富的信号通路显著改善了深层网络的梯度流动。DeepSeek V4在此基础上进一步提出了修改版混合超连接mHC**针对Transformer的自回归特性进行了专门优化去除了不适合语言建模的连接模式。同年AttnResidual通过将注意力输出与残差连接的耦合方式由叠加改为门控融合在注意力层内部建立了一种更精细的信息流控制机制。 关键论文GELUarXiv:1606.08415 ·SwisharXiv:1710.05941 ·SiLU/SwiGLUarXiv:1702.03118ResNet / RCarXiv:1512.03385 ·HC — Hyper-ConnectionsarXiv:2409.19606mHCarXiv:2512.24880 ·AttnResidualarXiv:2603.15031九、展望后Transformer时代的探索回顾这七年的架构演进一个清晰的趋势是从单一模块的孤立优化走向多模块的协同设计。DeepSeek V4中的MLA CSA/HCA DeepSeekMoE mHC组合正是这种系统级设计思想的最佳体现——每个模块的改进不再仅仅追求独立的最优解而是被放置在全栈架构的上下文中考量。展望未来以下几个方向值得关注注意力与SSM的深度融合Mamba-2揭示的状态空间对偶理论已经表明注意力和SSM在数学上存在统一的形式框架。未来的架构很可能不再区分注意力层和SSM层而是让模型自主学习在连续谱上选择最优的计算模式——浅层偏SSM以获取效率深层偏注意力以捕获长程语义切换点由数据驱动而非手工设计。数据预算感知的稀疏注意力DSpark2025等最新工作提出了数据预算的概念不同的token和不同的层拥有不同的注意力预算模型根据输入内容的复杂度和训练阶段动态分配这些预算。这意味着稀疏注意力将从一个静态的超参数调整问题转变为一个动态的资源分配与调度问题。从模块融合到架构搜索当前的架构设计仍然高度依赖人工经验——MLA、GQA、DSA等创新的提出都源于研究者的深刻洞察。然而随着架构模块的复杂化手工设计的上限正在逼近。神经架构搜索NAS和大规模进化算法在计算机视觉领域已取得成功在大语言模型架构空间中应用类似的自动化搜索方法或许是下一阶段突破的关键。正如Transformer在2017年以注意力即一切的姿态横扫了NLP领域七年后的今天我们正在见证注意力本身被解构、重构、以及与其他计算范式融合的过程。如果说Transformer教会了我们注意力是必需的那么后Transformer时代的核心命题或许会变成仅有注意力是不够的。本文参考文献共34篇需要的小伙伴可以在文章内自取。
