1. 引言Transformer架构自2017年由Google在论文《Attention Is All You Need》中提出以来彻底改变了自然语言处理NLP乃至整个深度学习领域。它摒弃了传统的循环神经网络RNN和卷积神经网络CNN完全基于自注意力Self-Attention机制构建在并行计算能力和长距离依赖建模方面展现出巨大优势。如今从BERT、GPT系列到各种大语言模型LLMTransformer已成为现代AI模型的基石。2. 核心组件Transformer模型主要由编码器Encoder和解码器Decoder堆叠而成但其核心思想在于以下几个关键组件2.1 自注意力机制Self-Attention自注意力机制允许模型在处理序列时为序列中的每个位置计算一个“注意力分数”该分数决定了在编码当前位置时应该“关注”序列中其他位置的多少信息。其核心公式如下Attention(Q, K, V) softmax(QK^T / sqrt(d_k)) V其中QQuery、KKey、VValue均来自输入序列的线性变换。除以sqrt(d_k)是为了防止点积结果过大导致softmax梯度消失。2.2 多头注意力Multi-Head Attention为了增强模型捕捉不同子空间信息的能力Transformer将自注意力机制并行执行多次即多个“头”然后将各头的输出拼接并做一次线性变换。MultiHead(Q, K, V) Concat(head_1, ..., head_h) W^O where head_i Attention(QW_i^Q, KW_i^K, VW_i^V)2.3 位置编码Positional Encoding由于自注意力机制本身不具备序列顺序信息Transformer通过向输入嵌入中添加位置编码来注入位置信息。原始论文使用正弦和余弦函数PE(pos, 2i) sin(pos / 10000^(2i/d_model)) PE(pos, 2i1) cos(pos / 10000^(2i/d_model))2.4 前馈网络Feed-Forward Network每个注意力子层后接一个全连接的前馈网络通常包含两个线性变换和一个ReLU激活函数对每个位置独立操作。FFN(x) max(0, xW1 b1)W2 b22.5 残差连接与层归一化每个子层自注意力、前馈网络都采用残差连接Residual Connection并紧接着进行层归一化Layer Normalization。这有助于缓解深层网络训练中的梯度消失问题稳定训练过程。3. 编码器与解码器结构3.1 编码器Encoder编码器由N个相同的层堆叠而成原论文N6。每一层包含两个子层多头自注意力层用于捕捉输入序列内部的关系。前馈神经网络层对每个位置进行非线性变换。每个子层周围都有残差连接和层归一化。3.2 解码器Decoder解码器同样由N个相同的层堆叠。每一层包含三个子层掩码多头自注意力层确保在预测当前位置时只能看到之前的位置信息通过掩码实现。编码器-解码器注意力层让解码器关注编码器的输出。前馈神经网络层与编码器中的前馈网络相同。解码器最终通过一个线性层和softmax函数输出目标序列的概率分布。4. Transformer的优势与影响并行计算自注意力机制可以同时计算序列中所有位置之间的关系极大提升了训练和推理效率。长距离依赖克服了RNN在长序列上梯度消失/爆炸的问题能有效建模序列中任意两个位置的关系。可扩展性模型结构规整易于堆叠更多层和使用更大规模数据催生了“大模型”时代。跨领域应用其思想已被成功迁移到计算机视觉ViT、语音处理、多模态等领域。
