Tokenizer 分片tokenization和 Embedding 都是在把“离散的文字”转换成“模型能处理的数字表示”所以看起来相似。但它们处在 LLM 输入流程的不同阶段解决的问题完全不同。可以先看一条典型 LLM 流程文本 ↓ Tokenizer分片 编号 ↓ Token IDs ↓ Embedding查表变向量 ↓ 向量序列 ↓ Transformer ↓ 输出 Token IDs ↓ Tokenizer 解码 ↓ 文本1. Tokenizer 做什么把文字切成“单位”Tokenizer 的任务是把人类语言切成模型词汇表里的基本单位。例如一句话我喜欢人工智能可能被切成[我, 喜欢, 人工, 智能]或者[我, 喜, 欢, 人工, 智能]英文可能unbelievable切成[un, believ, able]这些 token 会被映射成整数[我, 喜欢, 人工, 智能] ↓ [2345, 7821, 9134, 5567]这些数字叫Token ID注意Token ID 本身没有语义。比如苹果 3456 香蕉 9821 汽车 12343456 并不比 9821 更“小”数字大小没有意义。2. Embedding 做什么把 Token ID 变成有意义的向量Embedding 的任务是把离散编号转换成连续空间里的语义向量。例如Token ID苹果 3456经过 Embedding3456 ↓ [0.12, -0.53, 0.87, ..., 0.22]可能是一个 4096 维向量。这个向量里的数字表达和水果相关和食物相关和甜味相关和植物相关类似苹果向量 [0.12,0.54,-0.33,...] 香蕉向量 [0.15,0.51,-0.30,...] 汽车向量 [-0.71,0.22,0.89,...]苹果和香蕉在向量空间里距离比较近汽车比较远。3. 两者之间的关系因为两者都是“编码”。可以类比Tokenizer像身份证系统张三 → 身份证号 123456 李四 → 身份证号 987654只是给一个唯一编号。Embedding像建立人物画像123456 → [年龄,职业,兴趣,性格,...]开始有信息。换句话TokenizerEmbedding输入文字Token ID输出数字编号高维向量是否包含语义❌ 没有✅ 有是否训练通常固定模型学习目的切分语言理解语言例子“人工智能”→[123,456]123→[0.2,-0.5,…]4. Embedding 本质上是什么很多人不知道Embedding 层其实就是一个巨大的查表矩阵。假设词表大小Vocabulary 100,000 tokens模型维度Hidden size 4096那么 Embedding 矩阵100000 × 4096类似维度 token 1 2 3 ... -------------------------------- 苹果 0.2 -0.4 0.7 香蕉 0.3 -0.3 0.6 汽车 -0.8 0.1 0.9 ...输入苹果 token id 1234实际上就是Embedding_matrix[1234]取出那一行。5. Tokenizer 的分片会影响 Embedding 吗会而且影响很大。例如Tokenizer A人工智能 ↓ [人工智能]Embedding 学习人工智能 → 一个整体概念Tokenizer B人工智能 ↓ [人工, 智能]Embedding 学习人工 → 人类制造 智能 → 能力模型需要自己组合人工 智能 AI概念所以 tokenizer 设计会影响模型效率上下文长度多语言能力中文表现训练成本6. 一个更深的联系Embedding 也能反过来表示 Token很多现代 LLM 有Token Embedding和Output Projection有时共享权重weight tyingToken ID ↓ Embedding矩阵 ↓ Transformer ↓ 同一个矩阵反推 ↓ Token概率所以 Tokenizer 和 Embedding 在模型结构上是紧密连接的。总结可以记成Tokenizer 负责回答“这句话由哪些基本单位组成”Embedding 负责回答“这些单位在数学空间里是什么意思”或者Tokenizer 分词 编号字典 Embedding 把编号变成含义向量核心它们都是离散符号 → 数字表示的过程只是 Tokenizer 产生的是“索引”Embedding 产生的是“语义空间中的坐标”。
