解码策略的生成质量对比：贪心、束搜索与核采样的多样性控制实验

解码策略的生成质量对比贪心、束搜索与核采样的多样性控制实验语言模型文本生成的质量和多样性受解码策略的直接影响。贪心解码Greedy追求每一步的局部最优却陷入重复循环束搜索Beam Search通过维护多条候选路径提升全局得分但导致生成文本同质化核采样Nucleus Sampling基于概率质量截断提供可控的多样性。本文通过实验定量分析三种策略在困惑度、多样性和人工评分三个维度上的表现差异揭示温度参数和top-p阈值对生成质量的影响规律。一、解码策略的形式化定义语言模型在每一步生成时输出词汇表上的概率分布$P(w_t | w_{t})$。解码策略决定了如何从这个分布中选择下一个token。三种基本策略的差异在于选择方式贪心解码始终选择概率最高的token$w_t \arg\max_w P(w | w_{t})$。确定性策略相同输入始终产生相同输出。束搜索维护$B$条束宽得分最高的部分序列每一步对每条束中的序列扩展所有可能的token并保留得分最高的$B$条。得分通常使用长度归一化后的对数概率$\text{score} \frac{1}{|y|^\alpha} \sum_t \log P(w_t | w_{t})$其中$\alpha$为长度惩罚系数通常0.6-0.8。核采样在每个解码步从概率分布中截断仅保留累积概率达到$p$的最可能的token集合核然后从这个集合中按原始概率采样。形式化地设$\mathcal{V}^{(p)} \min{V \subseteq \mathcal{V} : \sum_{w \in V} P(w) \geq p}$然后$w_t \sim P(w) / \sum_{w \in \mathcal{V}^{(p)}} P(w)$。二、实验设计与评测维度实验使用GPT-2-medium345M参数在以下三个维度上进行评测困惑度Perplexity$PPL \exp(-\frac{1}{N}\sum_i \log P(w_i|w_{i}))$。越低越好衡量模型对生成文本的自评质量。多样性使用distinct-n指标——distinct-1是生成文本中唯一unigram的比例distinct-2是唯一bigram的比例。越高越好衡量词汇和短语层面的多样性。重复度使用seq-rep-n指标——连续n-gram中出现重复的频率。越低越好衡量文本的自然程度。import torch import torch.nn.functional as F from typing import List, Optional from collections import Counter class DecodingStrategies: 三种解码策略的实现与评测。 staticmethod def greedy_decode( model, input_ids: torch.Tensor, max_length: int 50 ) - torch.Tensor: 贪心解码每步选择概率最高的 token。 with torch.no_grad(): for _ in range(max_length): outputs model(input_ids) next_token_logits outputs.logits[:, -1, :] # argmax: 选择概率最高的 token next_token next_token_logits.argmax(dim-1, keepdimTrue) input_ids torch.cat([input_ids, next_token], dim-1) # 如果生成 EOS token提前终止 if next_token.item() model.config.eos_token_id: break return input_ids staticmethod def nucleus_sampling_decode( model, input_ids: torch.Tensor, max_length: int 50, top_p: float 0.9, temperature: float 1.0, ) - torch.Tensor: 核采样解码Top-p / Nucleus Sampling。 关键的 design choice先应用 temperature 还是先做 top-p 截断 答案先 temperature 缩放再做 top-p 截断。 因为 temperature 改变了分布的尖锐程度影响核的大小。 with torch.no_grad(): for _ in range(max_length): outputs model(input_ids) logits outputs.logits[:, -1, :] # Step 1: Temperature 缩放 # T 1: 分布更尖锐更确定性 # T 1: 分布更平坦更随机 logits logits / temperature # Step 2: 转换为概率并降序排列 probs F.softmax(logits, dim-1) sorted_probs, sorted_indices torch.sort( probs, descendingTrue, dim-1 ) # Step 3: 计算累积概率 cumsum_probs torch.cumsum(sorted_probs, dim-1) # Step 4: 移除累积概率超过 top_p 的 token # 但至少保留 1 个 token避免核为空 sorted_indices_to_remove cumsum_probs top_p # 将第 1 个 token 的移除标记设为 False至少保留 1 个 sorted_indices_to_remove[..., 1:] ( sorted_indices_to_remove[..., :-1].clone() ) sorted_indices_to_remove[..., 0] False # Step 5: 将核外的 token 概率置零并重新归一化 indices_to_remove sorted_indices_to_remove.scatter( 1, sorted_indices, sorted_indices_to_remove ) probs[indices_to_remove] 0.0 probs probs / probs.sum(dim-1, keepdimTrue) # Step 6: 从核中采样 next_token torch.multinomial(probs, num_samples1) input_ids torch.cat([input_ids, next_token], dim-1) if next_token.item() model.config.eos_token_id: break return input_ids staticmethod def compute_diversity_metrics( generated_texts: List[str] ) - dict: 计算生成文本的多样性指标。 distinct-n: 唯一 n-gram 数量 / 总 n-gram 数量 反映词汇层面的多样性。值越高越好。 all_unigrams [] all_bigrams [] for text in generated_texts: tokens text.lower().split() all_unigrams.extend(tokens) all_bigrams.extend([ f{tokens[i]}_{tokens[i1]} for i in range(len(tokens) - 1) ]) # distinct-1: 唯一 unigram 比例 distinct_1 len(set(all_unigrams)) / max(len(all_unigrams), 1) # distinct-2: 唯一 bigram 比例 distinct_2 len(set(all_bigrams)) / max(len(all_bigrams), 1) return { distinct_1: round(distinct_1, 4), distinct_2: round(distinct_2, 4), }三、实验结果与关键发现在WikiText-2的测试集上用100条prompt分别生成200个token计算各指标均值解码策略PerplexityDistinct-1Distinct-2Seq-Rep-4人工评分贪心 (T1.0)18.320.080.230.422.1/5束搜索 (B4)14.210.060.180.382.5/5束搜索 (B16)13.150.040.120.352.2/5核采样 (p0.9, T1.0)19.870.310.520.083.8/5核采样 (p0.9, T0.7)17.540.250.440.124.1/5核采样 (p0.95, T1.0)21.030.360.580.053.6/5核心发现束搜索降低了多样性束宽从4增加到16困惑度从14.21降至13.15但Distinct-1从0.06降至0.04。束搜索的全局最优搜索偏向于安全的高频词导致生成文本高度同质化。B16时甚至偶尔出现完全重复的句子。核采样在多样性和质量之间取得平衡p0.9配合T0.7获得最高人工评分4.1/5。T适度降低0.71.0缩小了候选token的概率差距增加了合理但不平庸的选择。贪心解码陷入重复循环Seq-Rep-4高达0.42即42%的连续4-gram至少出现一次重复。这是贪心策略的经典失败模式——一旦选择了某个常用短语模型在类似上下文中重复选择相同的高概率token。四、temperature与top-p的联合调优temperatureT和top-pp并非独立参数——它们的交互关系决定了采样的有效多样性。当T1时分布被锐化头部的token概率上升尾部的token概率下降。这意味着top-p截断的效果减弱——核自然变得更小。当T0.5时top-3 token的累积概率就可能超过0.9。当T1时分布被平滑所有token的概率趋于均匀。这意味着top-p截断的效果增强——需要更多的token才能达到累积概率p。一个实用的调优启发如果生成文本过于冒险出现语法错误或逻辑矛盾优先降低T而非降低p——T的锐化效果是全局的而p的截断可能引入不可预测的尾部token。五、总结解码策略对生成文本的质量和多样性有决定性影响。贪心解码的局部最优策略导致严重的高频重复Seq-Rep-40.42。束搜索通过全局搜索降低了困惑度但牺牲了多样性束宽越大同质化越严重。核采样通过概率质量截断在确定性和随机性之间取得平衡——p0.9配合T0.7在本次实验中获得了最高人工评分。temperature和top-p联合调优的关键是理解两者的交互关系T控制分布形状p控制截断程度T的调节效果比p更平滑且更可预测。在大多数生成场景中核采样配合适度temperature降低0.7-0.9是推荐的默认策略。