1. CCI3.0-HQ 数据集1.1 来源智谱出品https://arxiv.org/pdf/2410.185051.2 数据大小大小100 B 中文 Token来源原始素材全部是中文网页对国内网站进行清洗1.3 实验1.3.1 混合数据集实验Mixed DatasetCCI3.0-HQ 那一列只占 30 %另外混了 60% FineWeb 数据10% 的代码在英文数据集上取得了最好的结果Chinese Dataset100% 中文数据集即全是 CCI3.0-HQ效果最好Baseline所有基线包括SkyPile150B / WanjuanV1都用同样的混合比例即 60% Fineweb 10% code2. CCI3.0-HQ 数据集清洗办法分为两阶段清洗粗粒度规则清洗 细粒度的高阶打分精筛2.1 规则清洗4 步标准网页清洗黑名单域名拦截通过规则的方式识别色情、暴力、广告、爬虫陷阱、违规站点直接丢弃只保留合规中文网站原始网页。文本提取与清洗定制解析器剥离HTML、JS、导航栏、评论区、重复页脚清理乱码、特殊符号、无意义重复字符。全局 MinHash 文档级去重滑动 5-gram 构建文档签名LSH 分桶识别近重复网页删除高度重复内容保证语料多样性。启发式规则 基础质量打分轻量 fasttext 类模型 ChineseWebText规则过滤过短文本、纯符号、大量重复行、低信息密度垃圾页这里重点说一下MinHash LSH去重1MinHash 的定义每个Token都有对应的ID值这个值作为哈希函数的输入对于单个随机哈希函数两个特征集合的哈希值相等的概率等于二者Jaccard相似度工程中使用 48 组独立哈希函数生成 n 维MinHash签名用匹配minhash比例近似文本相似度。所以匹配的minhash比例 k / n2LSH 分桶的定义48 维签名直接全局两两比对成本极高将签名按每 8 个 minhash 划分为 1 个 band共 6 组每组内 8 个 minhash 联合哈希得到桶 ID同 band 同桶 ID 的文档作为疑似重复候选最后对桶内候选二次校验相似度达标才判定为近似重复文本。设定桶内阈值如果相似度极高则删除2.2 模型清洗1用 72B 大模型人工标注海量样本方案参考 FineWeb-Edu 思路定义 05 分分数越高文本质量越高通过部署的 Qwen2-72B-Instruct vLLM 加速随机抽取14.5万条 CCI3.0 网页文本打分然后随机抽样进行人工标注进行GPT-4 复核标注结果标注一致性约 80%确认标签可靠以分数 3 作为分界≥3 分为高质量正样本❤️ 分为低质量负样本训练集 14 万条、测试集 1.4 万条形成高质量标注基准集。2蒸馏训练轻量化文本质量分类器72 B 模型耗时太久了所以需要考虑蒸馏小模型主干基座冻结 BGE-M30.5B 多语言嵌入模型仅新增单层回归分类头训练超参学习率 3e-4训练 20 个 epoch不使用 dropout对比实验验证该 CCI3.0-HQ 分类器宏 F10.73大幅优于 FineWeb-Edu、ChineseWebText、IndustryCorpus2 三款开源中文文本质量分类器FineWeb-Edu分类器缺陷正样本召回仅 0.02几乎筛不出高质量中文文本(3) 用训练好的 0.5B 分类器批量过滤 15 亿原始网页输入CCI3.0 经过规则粗筛后的全部文本总量约 15 亿条过滤逻辑分类器输出质量分数阈值 3保留≥3 分的高质量文本输出产物500GB 最终 CCI3.0-HQ 高质量预训练语料。耗时9700 个小时3. CCI3.0-HQ 数据处理结果FineWeb-edu Classifier精确度较高说明模型识别 Good Case 的能力较高真值为 True识别为True / 真值为 True 识别为 True 真值为 False 识别为 True但是召回率 Recall 很差真值为 True 识别为 True / 真值为 True 识别为 True 真值为 True 识别 False说明有大量 case 是 “样本为 Good模型判定是 Bad” 的情况而 “真正的 Bad Case 被模型误判为 Good Case” 的较少CCI3-HQ Classifier相比于 fineweb 精确度差一点说明模型引入了一部分 bad case真值为 bad模型识别为 good但是 Recall 更高一些说明好样本模型能识别出来引入更多的好样本而不是误判为 bad case结论实际上区分坏样本比得到更多的好样本更重要数据集中引入坏样本对模型的能力会造成很大的影响所以一半预处理方法会选择 Fineweb Classifier。补DCLM 数据处理方法DCLM 不是单纯“训了一个模型”而是一套数据中心化训练流程。它有三层训过滤器从 Common Crawl 里筛高质量网页。训小/中规模 LM用固定模型配方验证哪种数据处理方法最好。训最终 7B 模型把最优数据放大到 2.5T tokens 级别训练。下面按你问的几个点拆开。1. 数据来源DCLM 的原始数据来自Common Crawl。论文里的 DCLM-Pool 是项内容原始来源2023 年以前的 Common Crawl原始格式WARC 网页抓取文件文本抽取用resiliparse从 HTML 抽正文规模约 200B documents压缩后大小约 370TB gziptoken 数约 240T GPT-NeoX tokens他们没有直接用 Common Crawl 的 WET 预抽取文本而是重新从 HTML 抽正文。原因是 WET 质量差一些resiliparse和trafilatura效果更好但resiliparse大约快 8 倍所以最终选了它。2. 数据处理流水线DCLM-Baseline 的构建大概是Common Crawl WARC - resiliparse 抽正文 - RefinedWeb-style 启发式过滤 - Bloom Filter 去重 - fastText 质量分类器打分 - 保留 top 10% - DCLM-Baseline启发式过滤包括过滤目的English filter保留英文网页URL filter去掉明显低质域名/URLpage length filter删除太短或异常长的页面word removal ratio filter删除正文抽取质量差的页面repetition filter删除重复词、模板化、SEO 垃圾stop words / ellipsis / word length 等删除异常文本例子Subscribe now!!! Cheap cheap cheap shoes discount discount cookie settings privacy policy这种会被启发式规则和质量过滤器一起干掉。而这种更可能留下Photosynthesis is the process by which plants convert light energy into chemical energy...3. 标签怎么构建DCLM 最关键的是 fastText 质量分类器。它是二分类high-quality 文本 vs common-crawl 普通网页文本每次训练 fastText 过滤器时他们固定用约400K 样本类别数量来源正例200K高质量参考数据负例200K从 RefinedWeb reproduction 中随机采样的普通网页负例很简单普通网页文本标为低质量。正例他们试了好几种正例来源说明Wikipedia传统高质量百科文本OpenWebText2类似 Reddit 链接文章集合GPT-3 ApproxWikipedia OpenWebText2 RedPajama BooksOH-2.5 ELI5OpenHermes 2.5 Reddit ExplainLikeImFive 高赞问答最后最强的是OpenHermes 2.5 ELI5。ELI5 的构造也挺有意思一个 Reddit ELI5 帖子有问题和很多回答他们取问题 最高赞回答并且要求post score 0best comment score 5至少有 3 条评论如果多个回答同分选最长的回答。所以正例不是随便找的而是像这种Question: Why does the sky look blue? Answer: Sunlight contains many wavelengths. Blue light scatters more strongly in the atmosphere...这类文本信息密度高、解释性强、语言自然适合作为“高质量训练文本”的代理标签。4. 过滤模型怎么训过滤模型用的是fastText supervised classifier。输入是一篇文档输出两个概率P(high-quality) P(common-crawl)训练标签大概是__label__hq 高质量参考文本 __label__cc 普通 Common Crawl 网页训练时基本用 fastText 默认参数关键改动是加入bigram featureswordNgrams 2也就是不仅看单词还看相邻词组。论文里发现fastText 特征COREMMLUEXTENDEDUnigrams40.028.322.1Unigrams Bigrams41.029.221.4最终用P(high-quality)给 Common Crawl 文档打分然后保留分数最高的top 10%。5. 为什么选 fastText他们比较了很多过滤方法方法思路PageRank保留被更多网页链接的页面SemDedup去掉语义重复内容BGE embedding classifier用 BGE 表征训练线性分类器AskLLM让大模型判断文本是否有用Perplexity filtering用小 LM 困惑度筛文本Top-k average logits看模型对文本 token 的置信度fastText轻量文本分类器在 1B-1x scale 上fastText OH-2.5 ELI5 最好FilterCOREEXTENDEDRefinedWeb reproduction27.514.6AskLLM28.614.3Perplexity filtering29.015.0Top-k average logits29.214.7fastText OH-2.5 ELI530.215.4它强的原因很直白便宜、可扩展、信号稳定。AskLLM 可能更“聪明”但太贵BGE/小 LM 过滤效果没 fastText 好。6. 语言模型怎么训过滤完数据以后DCLM 用固定训练配方训练 LM。这样才能公平比较数据而不是模型架构差异。模型是标准 decoder-only TransformerOpenLM 实现项设置框架OpenLM PyTorch FSDP架构decoder-only pre-norm Transformer参考风格GPT-2 / LLaMAMLPSwiGLUnormalizationLayerNorm无 bias稳定训练qk-LayerNorm z-losstokenizerGPT-NeoX tokenizer约 50K vocabsequence length2048训练目标next-token prediction没有人工标签。语言模型训练标签就是下一个 token输入: The cat is sitting on the 标签: mat7. DCLM 的多尺度训练设计他们不是一上来就训 7B 2.5T而是设计了多个 scale 来筛数据策略Scale参数量训练 tokensPool size400M-1x412M8.2B469B1B-1x1.4B28.8B1.64T3B-1x2.8B55.9B3.18T7B-1x6.9B138B7.85T7B-2x6.9B276B15.7T逻辑是先在小模型上快速试数据处理方法 如果小 scale 排名稳定 再把最好的数据策略放大到 7B他们发现小 scale 和 7B scale 的数据方法排名高度相关所以可以用小模型快速筛数据策略。8. 最终 7B 大模型训练最终大规模训练时他们不是只用 DCLM-Baseline还混入了代码和数学数据3.8T DCLM-Baseline StarCoder ProofPile2 4.1T token dataset最终 7B 训练过程Stage 1: 训练 2T tokens Cooldown: 用更高质量分布继续训 200B 和 270B 两个版本 Model soup: 0.2 * 200B cooldown checkpoint 0.8 * 270B cooldown checkpoint Long-context continual pretraining: 继续训约 100B/120B tokens 上下文从 2048 扩到 8192Cooldown 阶段的数据分布是70% 更严格的 DCLM-BaselinefastText top 7% 30% ProofPile / math data也就是说最后阶段会让数据更“浓缩”、更偏高质量和数学能力。一句话总结DCLM 的训练方法可以概括为用 Common Crawl 构造超大候选池用 RefinedWeb-style 规则清洗和 Bloom Filter 去重再用 OH-2.5 ELI5 作为正例训练 fastText 质量分类器保留最高质量 top 10% 文档随后用固定 OpenLM decoder-only Transformer 配方在多个 scale 上训练和评估最终把最优数据放大到 7B、2.5T tokens 级别。3. Olmo2 的数据预处理是怎么做的3.1 摘要OLMo 2 先用约3.9T tokens的大规模高质量 web-heavy 混合语料做主预训练再用 Dolmino Mix 1124 做短程 mid-training/annealing用更高质量网页、学术/百科、指令、QA 和合成数学数据补能力短板最后对多个 mid-training checkpoint 做 model soup。3.2 第一阶段主数据集叫OLMo 2 Mix 1124约3.90T tokens超过95%来自 web 数据。论文说 7B/13B/32B 的第一阶段占总训练 FLOPs 的90-95%使用 cosine LR schedulewarmup 2000 steps。模型总训练 token 数为7B 4.05T其中pretraining 3.90T13B 5.6T其中pretraining 5T32B 6.6T其中 pretraining 6.06T。来源见论文表 3/4 和正文说明。学习率余弦退火warmup 2000 step数据集大小7B4.05 T的 Token 量占总训练的90%数据集来源SourceTokens占 3.90T 约DCLM-Baseline web pages3.71T95.13%StarCoder code83.0B2.13%peS2o academic papers58.6B1.50%arXiv STEM papers20.8B0.53%OpenWebMath12.2B0.31%Algebraic Stack11.8B0.30%Wikipedia Wikibooks3.7B0.095%3.3 第二阶段第二阶段叫mid-training占5-10%FLOPs学习率线性衰减到 0。目的不是继续堆普通网页而是补数学、STEM、百科、指令和高质量文本能力。类别SourceTokens高质量网页DCLM FastText top 7% FineWeb score 2752B指令decontaminated FLAN17.0B学术peS2o58.6B百科Wikipedia Wikibooks3.7BQAStack Exchange accepted/high-vote QA1.26B数学合成/过滤TuluMath, DolminoSynthMath, TinyGSM-MIND, MathCoder2, Metamath, CodeSearchNet, GSM8K10.7B
