如果你用过各类大语言模型大概率对 “逐字蹦字” 的生成体验不陌生 —— 长文本生成时用户等待的焦虑、高并发服务时的算力成本始终是 LLM 落地的核心瓶颈。而投机解码Speculative Decoding正是当前工业界应用最广的无损加速方案它不需要微调基础大模型就能在完全不损失输出质量的前提下将推理速度提升 2~5 倍是 DeepSeek、OpenAI 等头部厂商生产服务的核心优化手段。本文从最基础的自回归瓶颈讲起拆解核心原理、扫清认知误区梳理技术迭代脉络一直讲到生产环境的系统级落地优化帮你从零到一彻底搞懂这项 LLM 推理的核心技术。一、先搞懂为什么大模型生成天生就慢理解投机解码之前先要搞清楚它解决的核心矛盾 ——自回归生成的串行瓶颈。大语言模型的原生生成模式是自回归每生成 1 个新 token都必须把前面所有 token 作为输入跑一次完整的前向传播生成的新 token 再加入输入才能算下一个。就像做按顺序填空的试卷你必须填完第一空知道答案了才能填第二空哪怕你早就知道后面的内容也不能跳步。这种模式带来两个致命问题延迟线性增长输出文本越长用户等待时间越久长文本生成的体验尤其差GPU 算力利用率低单步生成的计算量很难吃满 GPU 的并行算力尤其是短序列、高并发场景大量算力被闲置。过去的优化大多集中在算子优化、显存优化等底层工程而投机解码跳出了这个框架从生成逻辑本身入手把 “串行生成” 改成了 “串行验证”用并行算力换速度。二、投机解码核心原理用「猜 验」把串行变并行投机解码的核心思路非常朴素用一个轻量的小模型草稿模型快速猜出一段候选文本再用大模型目标模型一次性并行验证所有候选对的保留错的截断最后补一个正确的 token。整个过程严格遵循数学规则最终输出的概率分布和原生大模型完全一致属于无损加速没有任何质量损失。2.1 完整四步流程一个例子讲明白我们用一个具象的场景走完全流程直观感受它的工作逻辑已有上下文「周末我写完作业打算和朋友去」目标模型大模型跑 1 次前向需要 100ms原生生成 1 个 token 就要 100ms草稿模型小模型跑 1 次前向需要 20ms速度是大模型的 5 倍每轮猜 2 个候选 token草稿块长度 γ2第一步草稿生成 —— 小模型快速 “蒙答案”草稿模型基于上下文一次性输出 2 个候选 token[公园, 散步]。这一步的核心是 “快”小模型参数量小、计算量低用极短时间给出候选哪怕准确率稍低也没关系。第二步并行验证 —— 大模型一次性 “判完所有题”把「上下文 2 个候选 token」拼成完整序列直接输入大模型只跑 1 次前向传播就能同时得到 2 个候选位置的真实概率分布第一个候选位置对应 “公园”算出 “去” 之后接各个词的真实概率其中 “公园” 的概率是 0.8第二个候选位置对应 “散步”算出 “去公园” 之后接各个词的真实概率其中 “散步” 的概率是 0.3这一步是投机解码的核心也是大多数人最容易困惑的地方我们放在第三节单独拆解。第三步逐位校验 —— 左到右拒绝采样遇拒即停按照规则从左往右依次验证遇到第一个被拒绝的 token 就立刻停止后面的全部作废第一个候选「公园」草稿模型给出的概率是 0.6大模型给出的概率是 0.8接受概率为min(1, 0.8/0.6)1直接接受第二个候选「散步」草稿模型给出的概率是 0.7大模型给出的概率是 0.3接受概率为0.3/0.7≈0.43触发拒绝这个词直接作废。这个验证规则叫做拒绝采样正是它保证了最终输出的分布和原生大模型完全一致草稿猜高了的概率会通过拒绝按比例修正回来。第四步生成奖励 token完成本轮最后一个候选被拒绝后大模型直接用当前位置的真实概率分布采样出一个正确的 token「玩」作为本轮的 “奖励 token”。本轮最终输出 2 个 token接受的「公园」 奖励的「玩」和原生大模型自回归生成的结果分布完全相同没有质量损失。2.2 算一笔账速度是怎么提上来的投机解码本轮总耗时草稿 20ms 验证 100ms 120ms生成 2 个 token单 token 平均耗时 60ms原生自回归生成 2 个 token需要串行跑 2 次大模型耗时 200ms单 token 平均耗时 100ms。仅一轮就实现了 40% 的速度提升。如果草稿猜得更准比如 2 个候选全被接受本轮就能输出 3 个 token2 个接受 1 个奖励单 token 耗时仅 40ms速度提升 150%。2.3 优化的三大核心杠杆行业内所有投机解码的技术迭代都围绕这个核心延迟公式展开LTdraftTverifyτL\frac{T_{draft }T_{verify }}{\tau}LτTdraftTverifyTdraftT_{draft}Tdraft草稿生成耗时优化方向是让草稿生成更快TverifyT_{verify}Tverify目标模型验证耗时优化方向是减少无效验证的算力浪费τ\tauτ单轮平均接受的 token 数量优化方向是让草稿猜得更准接受长度更长。三、核心解惑为什么大模型一次前向能算出所有位置的分布这是理解投机解码的最大门槛很多人会陷入一个误区以为大模型输入一段文本只会输出最后一个词的下一个词概率。但事实是输入序列有多少个 token大模型跑一次前向就会同步输出多少个位置的「下一个词概率分布」。这个特性由 Transformer 的并行计算机制 因果掩码共同决定。3.1 每个位置都有独立的概率输出Transformer 的自注意力是并行计算的输入一段 N 个 token 的序列模型会给每一个位置都生成一个独立的隐藏状态再接上语言模型头线性层 softmax算出对应位置的概率分布。第 t 个位置输出的概率分布含义固定为模型只看到前 t 个 token 时第 t1 个 token 的完整概率分布。3.2 因果掩码保证不偷看未来结果和串行完全一致有人会问我把后面的候选 token 一起输进去了模型会不会 “偷看答案”导致概率不准不会。自回归大模型训练时就加入了因果注意力掩码第 t 个位置的计算只能看到第 1 到 t 个 token绝对看不到 t 之后的任何内容。我们把前面的例子按位置编号就一目了然输入完整序列共 12 个 token位置 1-10「周末 我 写完 作业 打算 和 朋友 去」→ 原始上下文位置 11「公园」→ 第一个候选 token位置 12「散步」→ 第二个候选 token大模型一次前向输出 12 个位置的分布我们只需要其中 2 个位置 10 的输出分布模型只看到前 10 个 token到 “去”时下一个词的概率对应第一个候选的验证基准位置 11 的输出分布模型看到前 11 个 token上下文 “公园”时下一个词的概率对应第二个候选的验证基准。因果掩码已经保证了位置 10 的计算绝对看不到位置 11 的 “公园”位置 11 的计算绝对看不到位置 12 的 “散步”。最终算出的分布和串行跑两次大模型的结果 100% 完全一致。3.3 为什么多输入几个 token耗时几乎不变Transformer 的自注意力是天然的并行运算GPU 的并行架构可以一次性处理所有位置的计算。序列长度从 10 涨到 12计算量只增加了极少一部分耗时几乎持平 —— 就像老师改 10 道题和改 12 道题都是拿过来一次批完耗时差不了多少远比重做两遍卷子快。这就是投机解码加速的底层本质把大模型多次串行的小计算合并成一次并行的大计算用 GPU 的并行算力抵消串行延迟。四、技术演进史五代草稿模型的迭代逻辑草稿模型是投机解码的核心变量直接决定了 “猜得快不快” 和 “猜得准不准” 的权衡。过去三年草稿模型经历了五代清晰的技术迭代逐步逼近最优解。第一代独立小自回归模型2023 年最初的投机解码方案直接用一个参数量远小于目标模型的完整自回归 LLM 当草稿比如用 7B 模型给 70B 模型打草稿。优势实现简单无需额外训练直接复用现有小模型劣势草稿生成是串行的耗时随块长线性增长只能用很短的候选块通常 2~4 个 token加速上限很低。第二代内嵌多头预测Medusa / MTP为了摆脱串行瓶颈出现了 “目标模型内嵌多 token 预测头” 的方案代表是 Medusa、DeepSeek MTP。核心思路在目标模型的中间层加多个并行的预测头第 k 个头直接预测未来第 k 个 token单次前向就能输出多个候选优势无需独立草稿模型草稿延迟接近常数和块长无关劣势多头之间没有依赖每个头只基于原始上下文预测无法建模候选 token 之间的关联越靠后的 token 准确率暴跌后缀接受率衰减极快长块收益很低。第三代特征注入自回归草稿Eagle 系列为了提升草稿准确率出现了深度自回归草稿架构代表是 Eagle、Eagle3。核心思路用浅层 Transformer 做草稿模型同时注入目标模型中间层的隐藏态特征精准对齐目标模型的语义优势自回归生成自带 token 间依赖后缀接受率稳定整体准确率高劣势依然是串行生成草稿耗时随块长线性增长只能用极浅的网络通常 1~2 层模型容量有限首 token 预测准确率上限低。第四代并行块生成DFlash / DART2026 年前后并行草稿模型成为主流代表是 DFlash、DART彻底解决了草稿生成的串行延迟问题。核心思路基于扩散式 / 掩码式并行生成单次前向直接输出完整候选块草稿延迟和块长几乎无关优势可以用更深的草稿网络5 层以上首 token 准确率远超浅层自回归草稿支持 16 甚至更长的候选块劣势所有位置独立预测完全没有块内 token 依赖多模态冲突严重比如前文生成 “of”后文独立预测出 “problem”后缀接受率快速衰减长块边际收益极低。第五代半自回归架构DSpark为了同时兼顾并行速度与自回归连贯性半自回归架构成为当前的生产最优方案代表就是 DeepSeek 提出的 DSpark。核心设计重并行主干 轻量串行头。主干用并行模型承担主要计算保证低延迟末尾叠加一个极轻量化的串行模块Markov 头 / RNN 头给并行输出的 logits 加上前缀依赖的偏置注入块内因果关系核心优势仅增加 0.2%-1.3% 的延迟开销就解决了并行模型的后缀衰减问题接受长度相比纯并行模型提升 15%-30%同时保留了并行模型的高容量、低延迟优势完美平衡了 “猜得快” 和 “猜得准”。五、不止是算法生产落地的系统级优化早期投机解码的研究集中在草稿算法但真实生产部署中系统级调度才是决定最终收益的关键—— 很多实验室里效果好的长块方案放到高并发服务里反而会降低整体吞吐。5.1 两种验证模式的取舍验证机制分为两类适配完全不同的场景标准链式验证最通用的方案单条候选链左到右验证。实现简单验证开销和块长线性相关无损性有严格保证是高并发生产环境的首选树状验证草稿生成多分支的候选树目标模型一次性验证所有路径。单轮接受长度上限高但验证 token 数指数级增长会严重占用批资源仅适合低并发、单请求极致低延迟的场景。5.2 验证调度的演进从固定长度到全局最优传统方案默认验证全部候选 token这种固定长度策略在生产环境有两个致命缺陷一是适配不了不同任务代码接受率高、对话接受率低二是适配不了动态负载低负载算力闲置、高负载算力不足。调度方案也经历了两代演进静态置信度裁剪给草稿模型加一个轻量置信头预测每个位置的接受概率设置固定阈值低于阈值的后缀直接裁剪。可以过滤大量无效后缀但静态阈值无法适配动态的系统负载硬件感知动态调度以 DSpark 的调度器为代表把验证长度选择转化为全局系统吞吐最大化的优化问题 —— 提前测试硬件的算力衰减曲线把所有并发请求的候选 token 按置信度全局排序从高到低依次加入验证批当新增 token 无法提升全局吞吐时立刻停止。这种方案可以实现低负载时自动延长验证长度吃满闲置算力高负载时自动缩短验证长度优先保证系统并发彻底解决了传统多 token 投机在高并发下的 “吞吐断崖” 问题。5.3 不能碰的红线无损性的严格约束很多方案看似提升了接受率实则破坏了投机解码的无损性导致输出分布偏移这是生产落地的核心红线。无损性的核心前提是非预见性第 k 个 token 是否被纳入验证的决策不能依赖第 k 个 token 本身的采样结果。一旦决策依赖了 token 本身就会引入选择偏差—— 系统会倾向于保留 “后续置信度高的 token”最终改变输出的边缘分布和原生大模型结果不一致。比如全局回溯调度先采样完所有候选再根据全块置信度选验证长度。这种方案会悄悄改变输出分布看似提升了指标实则破坏了无损性是生产环境的大忌。六、场景选型没有最好只有最合适投机解码没有通用的最优方案核心是根据场景做权衡单用户低延迟场景本地推理、低并发对话优先最大化单用户速度适合深层并行草稿 长候选块甚至树验证不需要过多考虑验证开销高并发服务场景ToB 接口、大规模在线服务优先平衡系统吞吐与单用户延迟适合半自回归草稿 硬件感知动态调度避免无效验证占用批资源不同任务域差异代码、数学推理等结构化任务token 可预测性强、接受率高适合长块验证加速比可达 3~5 倍开放对话、创意写作分布熵高、接受率低适合动态短块验证加速比通常在 2 倍左右。七、挑战与未来方向经过几年的迭代投机解码已经从单点算法演进为 “算法 系统 硬件” 的全栈优化体系但依然有很多待突破的方向长上下文适配上下文越长草稿和验证的开销都会上升如何在百万 token 级上下文下保持高加速比是当前的核心难题端侧投机解码端侧设备算力有限如何设计超轻量的草稿模型在端侧实现显著加速是端侧 LLM 的重要落地方向多模态扩展将投机解码的思路扩展到图像、视频生成领域降低多模态大模型的生成延迟端到端联合训练目标模型训练阶段就适配投机解码同时优化目标模型和草稿模型进一步提升接受率上限。写在最后投机解码之所以能成为工业界的主流方案核心在于它找到了一个完美的平衡点用极低的成本实现了完全无损的显著加速。它跳出了 “堆算力、优化算子” 的传统框架从生成逻辑本身重构了推理流程。随着大模型向更长上下文、更强多模态、更广端侧落地的方向发展投机解码也会持续迭代成为 LLM 推理体系里越来越重要的基础设施。
