文章目录定义1参数规模庞大2训练数据庞大3能力强大为什么会出现大模型1数据够多训练范式的改变使得训练数据规模获得了数量级上的跃迁2算力够强GPU/TPU等并行计算设备性能发展与分布式训练成熟3架构合理Transformer架构的出现4总结大模型计量单位1参数规模Parameters Scale2训练数据集规模3计算规模4算力分类1.按模型功能/输出形态分类1生成式模型Generative Model2嵌入模型/向量表征模型Embedding Model / Representation Model3重排序 / 相关性打分模型Reranking / Scoring Model4分类器 / 判别模型Classifier / Judge Model2.生成模型根据模态分类1什么是模态Modality2语言/文本模型Language/Text Model3多模态理解模型Multimodal Understanding Model4多模态生成模型Multimodal Generative Model总结AIGC和AGI1AIGC的定义2AGI的定义3对比大模型的开源1开源模型2闭源模型定义目前关于大模型Large Models并没有统一的定义通常是指参数规模庞大顶尖大模型参数可达万亿、训练数据庞大、能力强大的深度神经网络模型。1参数规模庞大大模型的参数量通常在10亿以上目前顶尖模型的参数规模已达万亿级别。2训练数据庞大Common Crawl是大模型中的大语言模型预训练阶段的数据来源之一它是一个公共网络爬虫项目每隔1-2个月会发布一次主爬取的文件包含了部分网页的快照是互联网数据的子集。WET是对网页内容进行抽取和清洗之后的数据通常作为大模型预训练数据集的构建起点。完整的数据集可能包含若干次主爬取的WET还可能包含其它渠道获取的数据。3能力强大传统模型针对特定任务设计泛化能力有限通常只能完成单一任务如情感分析、实体标注等。而大模型具备强大的跨任务泛化能力单一大模型可以解决大多数传统模型可以完成的任务。为什么会出现大模型大模型的出现并非偶然而是数据、算力与模型架构协同演进的结果。1数据够多训练范式的改变使得训练数据规模获得了数量级上的跃迁传统监督学习高度依赖人工标注数据对原始数据进行标记、分类、注释或结构化的过程便于机器可识别和理解获取成本高、规模受限。分类标注为整张图像分配类别标签人工标注为猫、“狗”命名实体识别标注文本中的人名、地名、组织名等实体而大模型主要采用自监督学习范式如“预测下一个token”能够直接利用海量的未标注文本与多模态数据可用数据规模获得了数量级上的跃迁。如Qwen3的预训练阶段使用了约36T个token近似理解为词的语料这一数据规模远超传统机器学习时代的训练数据总量。2算力够强GPU/TPU等并行计算设备性能发展与分布式训练成熟上图的纵轴是32位浮点数的计算性能可能是FP32或BF32取最大。深度学习训练本质是大规模矩阵运算这类计算具有高度并行性与GPU/TPU的硬件架构天然契合。与此同时数据并行、张量并行、流水线并行等分布式训练体系日趋成熟使得跨节点、跨集群训练超大规模参数模型成为可能。3架构合理Transformer架构的出现Transformer架构摒弃了强序列依赖的递归计算方式支持并行计算。并且在模型规模、数据规模、训练步数计算量提升时展现出稳定的性能收益即良好的“可扩展性”如下图所示图中的Test Loss表示损失函数的值用于衡量模型性能损失越小模型越强。4总结综上数据规模的跃迁、算力基础设施的发展和Transformer架构优异的可扩展性共同推动了模型规模和性能的持续膨胀迎来了“大模型时代”。大模型计量单位在大语言模型LLM及更一般的大模型研究中通常从参数规模、训练数据集规模和计算规模三个维度来度量模型的规模。1参数规模Parameters Scale大模型参数规模通常以B为单位B是Billion的缩写即10亿10⁹。如Qwen3-235B模型参数量为235B即2350亿。2训练数据集规模多模态模型的数据集格式五花八门无法用统一单位度量此处只讨论LLM。LLM的训练是在文本语料上进行的语料处理的第一步是分词为一系列token所以通常用token的数量衡量LLM训练数据集规模。1B token10⁹ token10亿token1T token10³ B token10¹² token1万亿tokenLLM的数据集规模通常用T token作为单位如Qwen3预训练数据集规模为36Ttoken。3计算规模计算规模是指大模型训练消耗的计算量。大模型是一系列浮点数的组合训练过程涉及大量浮点数运算因此计算规模通常用FLOPsFloating Point Operations浮点运算次数来衡量。1FLOPs1次浮点运算1PFLOPs10¹⁵ FLOPs1EFLOPs10³ PFLOPs10¹⁸ FLOPs现代顶尖的基础模型LLM通常用EFLOPs作为单位。计算规模通常不公开。计算规模和硬件平台无关描述模型理论上做了多少计算。4算力算力是指“能算多快”是指计算设备显卡单位时间内完成浮点运算的能力。单位通常是FLOPSFloating Point Operations Per Second每秒钟完成的浮点运算次数。现代GPU性能强大通常用PFLOPS或TFLOPS作为算力单位。1P 10³T 10⁶G 10⁹M 10¹²K 10¹⁵1PFLOPS 10¹⁵FLOPS1TFLOPS 10¹²FLOPS浮点数有多种规格如FP64、FP32、TF32等同一款显卡在不同浮点数规格下的算力不同因此在描述算力时通常需要标注对应的浮点数规格。如英伟达B200显卡的单卡TF32算力为2.5PFLOPSFP32算力为80TFLOPSFP64算力为40TFLOPS随着硬件性能的发展目前顶尖显卡的算力已迈入PFLOPS级别。分类1.按模型功能/输出形态分类按“模型输出的数学形态 使用方式”分类。1生成式模型Generative Model1定义输入上下文控制生成结果。输出样本可以是token序列或别的形式。核心特征是生成接近真实分布的样本可以是各种模态的数据。2典型用途对话、推理、图像生成3示例GPT-5系列 / DeepSeek-V3系列 / Qwen3系列 / DALL·E / Nano-Banana2嵌入模型/向量表征模型Embedding Model / Representation Model1定义输入各种模态的数据输出固定维度向量dense vector不生成文本2典型用途语义搜索RAG 向量检索相似度计算3示例BGE系列 / Qwen3-Embedding系列 / Qwen3-VL-Embedding系列3重排序 / 相关性打分模型Reranking / Scoring Model1定义输入querydoc输出相关性分数scalar2典型用途RAG的第二阶段Top-K精排Top-N50/100/200 → Top-K5/10/203示例BGE-Reranker系列 / Qwen3-Reranker系列 / Qwen3-VL-Reranker系列4分类器 / 判别模型Classifier / Judge Model1定义输入各种模态数据输出标签 / 概率 / Yes-No2用途意图识别内容审核路由决策3示例通常是经过微调的小模型如基于BERT微调的分类模型。2.生成模型根据模态分类1什么是模态Modality模态是指人或机器感知世界的方式常见的模态有文本、图像、音频/语音、视频等。根据模态可以将大模型分为语言大模型、多模态理解大模型和多模态生成大模型。如果没有特别说明“大模型”通常是指“语言大模型”。2语言/文本模型Language/Text Model又称为大语言模型Large Language Model简称LLM。1定义输入文本输出文本token序列2典型能力对话、写作、推理、代码生成3示例Qwen3系列 / DeepSeek-V3.2系列 / GPT-5系列语言模块 / Gemini-3系列语言模块注意ChatGPT和Gemini都是一个以语言大模型为中枢的智能体系统是面向用户推出的AI产品支持文本生成、图像理解和生成。并不属于单一的某一类。3多模态理解模型Multimodal Understanding Model1定义输入文本 图像 / 音频 / 视频输出通常是文本2典型能力看图说话VQA文档理解PDF / 表格 / 图像视频理解、音频理解3示例GPT-5图片理解模块 / Qwen3-VL系列 / Gemini-3图片理解模块4多模态生成模型Multimodal Generative Model1定义输入文本 / 图像输出图像 / 视频 / 音频2子类文生图Text-to-Image文/图片生视频Text/Image-to-Video文生音频TTS / Music3示例图像生成Stable Diffusion系列 / DALL·E / GPT-Image-1.5 / Nano-Banana系列视频生成Sora系列 / Veo系列音频生成AudioLM / VALL-E总结按照功能分类生成式大模型 GPT-5/DeepSeek-V3/Qwen3嵌入模型 BGE/Qwen3-Embedding重排序模型 BGE-Reranker/Qwen3-Reranker分类模型 通常是经过微调的小模型生成模型按照模态分类大语言模型 Qwen3/DeepSeek-V3/GPT-5语言模块多模态理解模型 Qwen3-VL/GPT-5视觉理解模块多模态生成模型 Stable Diffusion/DALL·E/Nano-BananaAIGC和AGI1AIGC的定义AIGC人工智能生成内容Artificial Intelligence Generated Content是以生成式模型为核心基于对海量数据分布、模式与关联结构的学习在人类提示或条件约束下自动生成文本、图像、音频、视频、代码等多模态内容的生成技术及其应用。简而言之AIGC就是用AI生成内容。2AGI的定义和大模型一样AGI并没有统一的定义。AGIArtificial General Intelligence通用人工智能可以理解为一种具备跨领域、跨任务的通用认知能力的人工智能形态能够在不同环境和目标下进行理解、学习、推理、规划与知识迁移并在缺乏明确任务定义或规则约束的情况下自主发现问题并制定解决策略其整体智能水平接近或超越人类。简而言之AGI是通用人工智能可以自主学习并解决大多数人类可以解决的问题。目前AGI尚未实现涉及复杂决策、随机应变以及和物理世界交互的任务AI基本都无法完成。3对比大模型的开源大模型由四个要素构成模型权重参数、训练代码、推理代码、训练数据集。不同于传统软件的开源大模型开源主要指开源权重模型参数可能包含推理代码通常不包含训练代码和数据集。1开源模型DeepSeek系列、Qwen系列、Llama系列。2闭源模型GPT系列不包括早期的GPT-1、GPT-2以及最近开源的GPT-OSS系列Gemini系列大多数Claude系列。相关文章大模型快速入门-01大模型常识大模型快速入门-02大语言模型的架构演进大模型快速入门-03模型的训练范式和算力大模型快速入门-04大模型的工程实现(上)大模型快速入门-05大模型的工程实现(中)大模型快速入门-06大模型的工程实现(下)LangChainLangChain快速入门-01概述LangChain快速入门-02Model I/OLangChain快速入门-03RAG(概述与文档加载)LangChain快速入门-04RAG(文档切分与嵌入)LangChain快速入门-05RAG(向量数据库)LangChain快速入门-06AgentsLangGraphLangGraph快速入门-01概述LangGraph快速入门-02状态LangGraph快速入门-03节点与边
