FastText 在 Word2Vec 基础上做了哪些改进？为什么对未登录词效果更好？

FastText 由 Facebook AI Research 提出是 Word2Vec 的直接改进版本。核心改进集中在子词建模和分类效率两个方面。改进一子词级表示Subword—— 对未登录词效果好的根本原因Word2Vec 的问题Word2Vec 以整词为最小单位每个词对应一个独立的向量词表: { apple, apples, applepie } → 三个完全独立的向量彼此无关系未登录词OOVOut-of-Vocabulary直接无法处理只能忽略或用UNK替代。FastText 的做法FastText 将每个词拆分为字符级 n-gram词向量由其所有子词 n-gram 向量求和或平均得到。拆分示例以apple为例加入边界标记n3apple → ap, app, ppl, ple, le, apple词apple的最终向量v(apple) v(ap) v(app) v(ppl) v(ple) v(le) v(apple)为什么对未登录词有效关键在于子词向量是共享的训练集中的词: apple → 学到了 ap, app, ppl, ple, le 的子词向量 测试时遇到未登录词: apples 拆分: apples → ap, app, ppl, ple, les, es, apples 向量: v(apples) v(ap) v(app) v(ppl) v(ple) v(les) v(es) v(apples)ap, app, ppl, ple这些子词向量在训练apple时已经学到了即使apples从未在训练集中出现也能通过已学子词向量的组合得到一个合理的表示整词apples本身没有学过但只贡献一个随机初始化的向量影响有限本质原因FastText 将词表示从离散整词降维到可组合的子词使得形态学信息被显式建模。词与词之间通过共享子词产生关联而非完全独立。改进二分类任务的效率优化FastText 不仅是词向量工具还是一个极速文本分类器。在分类场景下做了两项关键优化2.1 层次化 SoftmaxHierarchical Softmax标准 softmax 对所有类别计算概率复杂度 O(K)K 为类别数p(yi) exp(w_i · x) / Σ exp(w_j · x) ← 需遍历所有 K 个类别FastText 用霍夫曼树组织类别将复杂度降为 O(log K)根节点 ├── 左子树 → 类别组A └── 右子树 → 类别组B ├── ... → 类别C └── ... → 类别D 预测 沿树路径做二分类决策只需 log₂(K) 次计算高频类别放在树的浅层低频类别放在深层进一步加速。2.2 负采样Negative Sampling对于大规模类别FastText 也支持负采样策略与 Word2Vec 的负采样思想一致但应用于分类场景。改进三N-gram 特征捕捉局部语序在分类任务中FastText 引入词级 n-gram特征弥补词袋模型丢失语序的问题句子: I love this movie unigram: I, love, this, movie bigram: I love, love this, this movie通过将 n-gram 特征的向量与词向量一起平均FastText 能捕捉到局部词序信息同时保持计算简单。完整对比维度Word2VecFastText最小单位整词字符 n-gram 子词词向量构成直接学习一词一向量子词向量求和组合未登录词处理无法处理通过子词组合生成合理向量形态学信息不建模显式建模前缀、后缀、词根词向量质量语义相似度高语义形态相似性都捕获分类功能无内置极速文本分类器分类加速—层次化 Softmax (O(log K))语序信息无词袋词级 n-gram 特征训练速度快略慢子词拆分开销但分类推理极快模型大小较小较大需存储所有 n-gram 向量总结FastText 相对 Word2Vec 的核心改进是将整词拆分为字符 n-gram 子词使词向量由子词向量组合而成。这一改变带来了三个直接收益未登录词可表示——通过已学子词组合得到合理向量形态学关系被捕获——apple/apples/applepie因共享子词而向量相近低资源语言友好——形态丰富的语言如芬兰语、土耳其语受益更大代价是模型体积增大需存储大量 n-gram 向量训练略慢。