1. Transformer架构概览Transformer模型彻底改变了自然语言处理领域它摒弃了传统的循环神经网络RNN结构转而采用完全基于注意力机制的架构。我第一次接触Transformer时被它的并行计算能力震撼到了——相比RNN需要逐个处理序列元素Transformer可以同时处理整个序列这在处理长文本时优势尤为明显。这个架构的核心由编码器Encoder和解码器Decoder两部分组成每部分都包含6个相同的层论文中称为N6。编码器负责将输入序列转换为富含上下文信息的表示解码器则利用这些表示生成输出序列。有趣的是这种设计灵感来源于传统的机器翻译系统但Transformer通过自注意力机制将其提升到了全新高度。在实际项目中我发现Transformer的一个精妙之处在于它的模块化设计。每个编码器层结构完全相同包含两个主要子层多头自注意力机制和前馈神经网络。这种重复结构不仅简化了实现还使得模型可以通过堆叠更多层来提升性能。记得我第一次实现Transformer时惊讶于仅用几行代码就能定义一个编码器层然后通过简单循环就能构建完整的编码器栈。2. 输入处理从文本到向量2.1 词嵌入Embedding当我们把文本输入Transformer时首先要解决的是如何用数字表示单词。词嵌入技术将每个单词映射到一个高维空间中的向量这个空间能捕捉单词的语义关系。在《Attention Is All You Need》论文中作者使用了512维的向量表示。我做过一个有趣的实验比较随机初始化的词嵌入和预训练的词嵌入如Word2Vec对模型性能的影响。结果发现即使是随机初始化的词嵌入经过充分训练后也能达到不错的效果这说明了Transformer强大的学习能力。不过使用预训练词嵌入确实能加速模型收敛特别是在小数据集上。词嵌入层实际上就是一个查找表其大小由词汇表大小和嵌入维度决定。例如处理3万词汇表、512维嵌入时这个层就包含约1500万个参数。在实际应用中我通常会根据任务复杂度调整嵌入维度——简单任务可以用256维复杂任务可能需要768甚至1024维。2.2 位置编码Positional Encoding由于Transformer没有内置的顺序处理能力我们必须显式地添加位置信息。论文中使用的是正弦和余弦函数的组合def positional_encoding(position, d_model): angle_rads np.arange(position)[:, np.newaxis] / np.power(10000, (2 * (np.arange(d_model)//2)) / np.float32(d_model)) # 应用sin到偶数索引 angle_rads[:, 0::2] np.sin(angle_rads[:, 0::2]) # 应用cos到奇数索引 angle_rads[:, 1::2] np.cos(angle_rads[:, 1::2]) pos_encoding angle_rads[np.newaxis, ...] return pos_encoding这种设计有几个精妙之处首先它允许模型轻松学习相对位置因为对于固定偏移量kPE(posk)可以表示为PE(pos)的线性函数其次正弦曲线的周期性确保了模型能处理比训练时更长的序列。在实际应用中我发现位置编码对模型性能影响很大。有一次调试翻译模型时发现长句子翻译质量下降最后发现是位置编码实现有误。修正后模型处理长句子的能力显著提升。3. 编码器核心组件3.1 自注意力机制自注意力机制是Transformer最核心的创新。它允许序列中的每个位置直接关注所有位置计算它们之间的相关性。具体来说对于每个单词我们生成三个向量Query查询表示当前单词想要寻找的信息Key键表示其他单词能提供的信息Value值实际要传递的信息计算过程可以分为四步计算Query和所有Key的点积得到注意力分数将分数除以√d_kKey向量的维度通常为64进行缩放应用softmax函数得到权重0到1之间用权重对Value向量加权求和def scaled_dot_product_attention(Q, K, V, maskNone): matmul_qk tf.matmul(Q, K, transpose_bTrue) dk tf.cast(tf.shape(K)[-1], tf.float32) scaled_attention_logits matmul_qk / tf.math.sqrt(dk) if mask is not None: scaled_attention_logits (mask * -1e9) attention_weights tf.nn.softmax(scaled_attention_logits, axis-1) output tf.matmul(attention_weights, V) return output, attention_weights3.2 多头注意力单一注意力机制可能只关注特定类型的模式因此论文提出了多头注意力。它将Q、K、V通过不同的线性变换投影到多个子空间通常8个在每个子空间独立计算注意力最后将结果拼接并通过另一个线性变换合并。这种设计带来了三个好处模型可以同时关注不同位置的不同关系模式增加了表示空间的维度使模型能学到更丰富的信息分散了梯度更新的压力使训练更稳定在我的实践中调整头数对模型性能有明显影响。对于简单任务4个头可能就足够了复杂任务则需要8个甚至更多。但要注意头数增加会带来计算量增加需要权衡性能和效率。3.3 前馈网络FFN每个编码器层中的第二个子层是前馈网络它由两个全连接层组成中间通过ReLU激活函数FFN(x) max(0, xW1 b1)W2 b2这个看似简单的结构实际上非常关键。在我的实验中调整中间层的维度通常为2048会显著影响模型能力。较大的维度可以捕捉更复杂的特征但也增加了计算成本。有趣的是这个前馈网络对每个位置是独立应用的这意味着它可以完全并行化。这与RNN必须顺序处理形成鲜明对比也是Transformer高效的原因之一。4. 解码器结构与数据流动4.1 解码器输入处理解码器的输入处理比编码器复杂因为它需要处理两种不同的输入编码器的最终输出作为记忆目标序列训练时是真实标签预测时是已生成的部分在训练时我们使用教师强制teacher forcing策略即无论模型上一时刻输出什么当前时刻都使用真实标签作为输入。这加速了训练收敛但也可能导致曝光偏差exposure bias。4.2 掩码多头注意力解码器的第一个注意力层是掩码多头注意力它确保当前位置只能关注之前的位置而不能看到未来信息。这是通过添加一个上三角矩阵元素为负无穷实现的def create_padding_mask(seq): seq tf.cast(tf.math.equal(seq, 0), tf.float32) return seq[:, tf.newaxis, tf.newaxis, :] def create_look_ahead_mask(size): mask 1 - tf.linalg.band_part(tf.ones((size, size)), -1, 0) return mask这种掩码机制使得Transformer可以像RNN一样用于序列生成同时保留了并行计算的优势。在实际应用中正确实现掩码非常关键——我曾经因为掩码实现错误导致模型在验证集上表现异常好但实际上是在作弊看未来信息。4.3 编码器-解码器注意力解码器的第二个注意力层使用编码器的输出作为K和V而Q来自解码器的前一层的输出。这允许解码器在生成每个词时有选择地关注输入序列的不同部分。这种机制非常像传统的基于注意力的seq2seq模型但Transformer将其与自注意力结合形成了更强大的架构。在我的机器翻译实验中可视化这个注意力矩阵可以看到模型如何实现词对齐有时甚至能捕捉到复杂的短语对应关系。5. 残差连接与层归一化Transformer中每个子层都采用了残差连接和层归一化LayerNorm(x Sublayer(x))这种设计有两个重要作用缓解梯度消失问题使深层网络更容易训练稳定各层的输入分布加速训练收敛残差连接使得信号可以直接从前层传递到后层而层归一化则对每个样本的特征进行独立归一化与批量归一化相比更适合变长序列处理。在我的实现经验中层归一化的位置很关键——原始论文将其放在残差连接之后后归一化但后来的研究发现放在之前前归一化有时效果更好特别是在非常深的网络中。6. 输出层与训练技巧6.1 线性变换与Softmax解码器的最终输出通过一个线性层将维度从d_model扩展到词汇表大小然后应用softmax函数生成每个词的概率分布def output_layer(decoder_output, vocab_size): logits tf.keras.layers.Dense(vocab_size)(decoder_output) return tf.nn.softmax(logits)这个看似简单的步骤实际上包含大量参数——对于3万词汇表和512维模型这个全连接层就有约1500万个参数。在实践中我经常使用共享权重技巧让输出层与词嵌入层共享权重这不仅能减少参数数量还能改善性能。6.2 标签平滑论文中使用了标签平滑label smoothing技术将真实标签的概率从1.0调整为略低的值如0.9其余概率均匀分配给其他标签。这起到了正则化作用防止模型对标签过于自信。实现起来很简单def label_smoothing(inputs, epsilon0.1): K inputs.get_shape().as_list()[-1] return ((1-epsilon) * inputs) (epsilon / K)在我的实验中适度的标签平滑ε0.1通常能提升模型泛化能力特别是在数据量较少时。但过大的平滑值会导致模型收敛困难。7. 实际应用中的经验分享经过多个Transformer项目的实践我总结出一些实用经验维度选择d_model模型维度和d_ff前馈网络中间维度的比例保持在1:4左右通常效果不错。例如d_model512时d_ff2048。学习率调度使用论文中的warmup学习率调度很关键lrate d_model**-0.5 * min(step_num**-0.5, step_num*warmup_steps**-1.5)我通常设置4000步的warmup这能有效稳定训练初期。正则化除了标签平滑我还经常使用dropout通常p0.1和L2正则化λ1e-6。注意dropout应应用于注意力权重和FFN的激活值。批量大小虽然论文使用约25000个token的批量大小但在资源有限时使用小批量配合梯度累积也能取得不错效果。关键是要保证足够的训练步数。硬件利用Transformer特别适合GPU/TPU并行计算。我发现在8卡GPU上使用数据并行配合梯度累积可以高效训练大型模型。
