大模型推理慢本质是每次只生成一个 token这个串行瓶颈。DeepSpec 的思路是用一个小模型先批量猜一串 token大模型拿到候选再一次性校验。猜对的部分直接跳过串行变并行。读完本文你将了解安装上手 | 投机解码核心原理 | Eagle3 vs DFlash vs DSpark 三种架构 | 实操调优建议 大模型推理瓶颈到底在哪你用 GPT-4 写一篇 2000 字的文章每秒生成约 20-30 个 token——看起来不慢但如果你在跑批量推理比如公司内部 API 服务每个请求都独占一个 GPU利用率极低。问题根源不在计算量而在串行依赖。自回归模型一次只能生成一个 token生成第 10 个 token 时必须等前 9 个都算完。GPU 的并行计算能力被浪费了 80% 以上。加速方案分两条路架构改MQA/GQA、MLA和系统优化vLLM 的 PagedAttention、TensorRT-LLM 的图编译。当你改无可改时第三条路是投机解码Speculative Decoding——用计算换延迟核心思路是猜对了就不跑。DeepSeek 上周开源的DeepSpecGitHub 6249 stars / 10 天是目前这个方向上最完整的开源训练评估框架内置三种算法。 一句话理解投机解码投机解码的直觉很简单请一个**小模型draft model**先快速猜 3-7 个 token大模型再一次性校验。猜对了直接收下猜错了从这个位置重新开始。全部接受部分接受输入 promptDraft model小模型快速生成3-7 个候选 tokenTarget model大模型一次性校验所有候选校验结果直接输出 3-7 token加速比 ×3-7接受前缀 从拒绝处重新 draft目标模型的校验比生成快得多——校验可以并行计算多个 token 的 logits生成只能串行。 快速上手环境安装gitclone https://github.com/deepseek-ai/DeepSpec.gitcdDeepSpec python-mpipinstall-rrequirements.txt下载预训练 checkpoint 直接评估DeepSeek 已经发布了 12 个预训练 checkpoint覆盖 Qwen3-4B/8B/14B 和 Gemma4-12B# 以 DSpark Qwen3-4B 为例bashscripts/eval/eval.sh\target_name_or_pathQwen/Qwen3-4B\draft_name_or_pathdeepseek-ai/dspark_qwen3_4b_block7评估指标包括 gsm8k、math500、humaneval 等 10 个 benchmark脚本自动计算接受率acceptance rate和加速比speedup。从零训练自己的 draft model# 1. 准备目标模型缓存⚠️约 38TB仅 Qwen3-4B 级别# 详见 scripts/data/README.md# 2. 训练bashscripts/train/train.sh# 默认 config 指向 DSpark Qwen3-4B8 卡单节点# 3. 评估bashscripts/eval/eval.sh⚠️ 数据准备阶段需要 38TB 存储空间来缓存目标模型输出。这是从零训练的门槛但使用预训练 checkpoint 不需要。30 秒验证效果想要最快感受投机解码的效果直接用预训练 checkpoint 跑一个单 prompt 测试python-c from transformers import AutoModelForCausalLM, AutoTokenizer # 加载目标模型 draft model # 对比有无投机解码的生成延迟 print(规范评估请运行: bash scripts/eval/eval.sh) ⚙️ DeepSpec 的三板斧Eagle3、DFlash、DSparkDeepSpec 内置了三种投机解码算法思路完全不同Eagle3最暴力的方案Eagle3 的核心观察目标模型的 hidden state 里其实已经包含了下一个 token 会是什么的线索。它的 draft model 不是独立的小 LM而是一个轻量特征预测器输入目标模型倒数第二层的 hidden state输出下一个 token 的 logits。接受拒绝目标模型第 L-1 层 hidden stateEagle3 draft小型 MLP 预测器预测下一个 token目标模型校验继续推理回退重来优点实现简单MLP 参数极少百万级训练快。缺点依赖目标模型的 hidden state 接口——换一个模型系列就得重新适配。DFlash最轻量的方案DFlash 回到了投机解码最原始的直觉用一个小语言模型直接当 draft model。不同的是它给 draft model 灌的不是原始 prompt而是一个压缩表示——把目标模型每层的注意力模式蒸馏给 draft model。这样 draft model 学到的不是目标的说话方式而是目标的推理路径。优点不依赖 hidden state 接口移植性好。缺点需要两阶段训练——先蒸馏注意力模式再微调预测头。DSpark最巧妙的平衡DSpark 是 DeepSpec 论文的主打方案思路介于两者之间Draft model 仍然是一个独立的小 LM但它和目标模型共享嵌入层和部分中间层。这种设计让 draft model 天然理解目标模型的词汇分布不需要额外蒸馏。关键创新是block-level verification传统投机解码一次校验 3-5 个 tokenDSpark 把校验粒度提到 block 级别7 个 token配合一个动态截断机制——如果 block 中间的 token 被拒绝只丢弃后面的不用全部回退。前 4 个接受第 5 个拒绝全部接受DSpark draft model共享目标模型的embedding 部分层快速生成7-token block目标模型同时校验整个 block逐个 token 校验接受前 4 个从第 5 个重新 draft接受全部 7 个加速比最大化对比总结维度Eagle3DFlashDSparkDraft model 类型MLP 特征预测器独立小 LM共享部分层的小 LM训练成本低百万级参数中两阶段中高需共享层适配移植性低依赖 hidden state高标准 LM 接口中需共享层配置实测加速比Qwen3-4B2.8-3.2x2.1-2.5x2.5-3.1x适用场景固定模型系列做深度优化需要快速迁移多个目标模型追求最高加速比 通用性三者在加速比上差距不大不到 1x选择主要看你的目标模型生态和工程容忍度。️ DeepSpec 的架构设计模块划分DeepSpec/ ├── config/ ← 算法配置12 个预设组合 ├── scripts/ │ ├── data/ ← 数据准备prompt 拉取 目标缓存 │ ├── train/ ← 训练入口 多卡启动 │ └── eval/ ← 评估 10 个 benchmark ├── deepspec/ ← 核心实现 │ ├── models/ ← Eagle3/DFlash/DSpark 的模型定义 │ ├── losses/ ← 各自的损失函数 │ └── datasets/ ← 数据集加载器 └── eval_datasets/ ← benchmark 评测集合理设计config 目录把算法、数据集、硬件配置解耦切换方案只要改config_path。这对实验迭代非常关键——你不需要改代码就能跑 12 种组合。不足train/eval 脚本假设 8 卡单节点对多节点分布式支持的文档几乎为零。如果你有多台机器得自己撸 NCCL 配置。数据管道的工程挑战这可能是 DeepSpec 最容易被低估的部分。训练投机解码需要目标模型对训练 prompt 的完整输出分布——注意不是最终的 token而是每一步的概率分布logits。这个缓存的体量30 万 prompt × 最大 token 长度 × 词表大小 × float16 ≈38TB。对于 Qwen3-4B 这个级别的目标模型光准备数据就需要 3-5 天8×H100 单节点。DeepSeek 在文档里写了一句警告但在实际部署中这个数字足够劝退 90% 的个人开发者。不够好的地方38TB 数据缓存这是起点不是终点。每次换目标模型都得重新跑一遍。多卡多节点文档缺失train.sh 的 8 卡假设太硬想跑 16/32 卡全靠自己摸索。config 的灵活性带来复杂度合理的解耦是好设计但对新手来说知道改哪个参数才能适配自己的显卡数量和内存需要读源码。仅支持 Qwen3 和 Gemma4如果目标模型是 Llama 或者 Mistral需要自己适配。✅ 优缺点 适用场景优点一站式覆盖训练评估From scratch 到 benchmark 报表一条龙是目前最完整的开源投机解码框架。三种算法一份代码切换算法只要换 config对比实验的工程成本降到最低。12 个预训练 checkpoint拿来就能跑评估不需要摸 38TB 的门槛。缺点38TB 训练数据缓存不是 bug 是特征——投机解码的天然需求。小团队基本没戏。单节点 8 卡强依赖多卡场景需要自己补分布式配置。模型生态窄只有 Qwen3 和 Gemma4Llama 用户要动手适配。适合谁立刻试试你在跑 Qwen3-8B/14B 或 Gemma4-12B 的推理服务每请求延迟高于 5 秒手上有 ≥2 张 H100 —— 跑预训练 checkpoint 评估1 小时内能看到加速比。再等等你的目标模型是 Llama 系列或非标准架构或者你手上只有单卡4090/3090——投机解码本身对显存有额外开销单卡场景不一定划算。不要碰你只是想给本地 Ollama 加个速——这是给推理服务优化用的不是给个人玩具。一句话跟 vLLM 的投机解码 pipeline 比DeepSpec 胜在完整的训练-评估闭环——vLLM 是运行时加速不负责训练 draft model。代价是训练基础设施要求极高。参考链接DeepSpec GitHub · DSpark 论文 · Eagle3 论文 · DFlash 论文
