目录一、Token令牌 / 词元1. 什么是 Token2. Token 换算规则通用参考3. 两类 Token4. 举例二、Context Window 上下文窗口上下文长度1. 定义2. 工作逻辑3. 常见模型窗口规格4. 实操问题三、max_tokens 最大生成 token 数1. 作用2. 边界问题四、temperature 温度随机性 / 创造力参数1. 核心逻辑2. 分段取值效果3. 关键注意五、top_p 核采样Nucleus Sampling1. 定义2. 和 temperature 配合逻辑3. 对比 top_k补充区分4. 取值参考六、流式输出 SSEServer-Sent Events 服务器推送事件1. 什么是流式输出2. SSE 底层协议原理3. SSE 核心特点4. 流式返回关键字段通用 API 规范5. 优缺点6. 和 WebSocket 区分配套实战参数组合示例场景 1代码生成严谨无幻觉场景 2日常聊天 / 文案写作平衡场景 3创意小说写诗高创造力补充关键联动关系总结一、Token令牌 / 词元1. 什么是 Token大模型不直接处理文字会把文本切分成最小处理单元这个单元就是 Token分为三类英文单词、子词、标点、空格hello1tokenunhappiness拆成unhappiness2 个 token中文单汉字、偏旁组合、标点1 个中文汉字≈1.5~2 个 token特殊换行符、系统指令标记、结束符|endoftext|2. Token 换算规则通用参考英文1 token ≈ 4 个字母 / 0.75 个单词中文1000 token ≈ 500700 个汉字计费、长度限制全部按 Token 计算不是字符3. 两类 Token输入 Tokenprompt tokens你发给模型的提问、历史对话、系统提示词消耗的 token输出 Tokencompletion tokens模型生成回答消耗的 token 总消耗 输入 输出计费按两者之和4. 举例句子你好介绍一下Java后端拆分后大概 1215 token模型读取全部 token 再推理生成回复。二、Context Window 上下文窗口上下文长度1. 定义模型单次推理能一次性读取、记忆的最大总 Token 容量是模型硬件 训练决定的硬上限。 公式上下文总token 系统提示词 全部历史对话 当前提问 即将生成的回答总和不能超过上下文窗口上限否则报错 / 截断。2. 工作逻辑对话轮次增多历史记录持续累积 token总量接近窗口上限时必须丢弃最早的历史消息截断一旦历史被截断模型会遗忘前面的对话内容出现 “失忆”。3. 常见模型窗口规格轻量模型4k4096 token通用商用8k / 32k超长上下文128k、1M、12M token长文档分析、整本书读取4. 实操问题窗口 4k系统词占 1k单次回答 max_tokens 设 1k → 留给对话历史 当前提问只剩 2k长对话场景需要自动滑动窗口、摘要压缩历史减少 token 占用。三、max_tokens 最大生成 token 数1. 作用限制模型单次输出回答最多能生成多少 token只管控输出不包含输入 prompt。设 500模型最多输出约 250 个中文写完立刻停止设 0 / 不填使用模型默认上限2. 边界问题若剩余可用上下文空间 max_tokens以剩余空间为准提前截断回答回答写到 max_tokens 上限会强行中断句子半截结束用途控制成本、防止无限生成长文本、限制回复长度。四、temperature 温度随机性 / 创造力参数1. 核心逻辑控制模型选词概率分布的平滑程度值域0 ~ 2本质调整 softmax 输出概率温度越低越保守、越高越天马行空。2. 分段取值效果temperature效果适用场景0完全确定性每次输入输出一模一样只选概率最高的词代码生成、数据抽取、数学计算、标准答案、企业知识库问答0.1 ~ 0.3极低随机严谨、少幻觉逻辑稳定文案改写、专业报告、客服标准回复0.5 ~ 0.7平衡创意与准确日常聊天、写作日常对话、随笔、普通文案1.0原生模型概率正常创造力故事、创意文案1.01.2~1.8大幅增加低概率词汇容易跑题、产生幻觉诗歌、脑洞小说、创意灵感生成≥2.0文字混乱、语义断裂基本不可用无实用场景3. 关键注意temperature0 时top_p 参数会自动失效优先完全贪心采样。五、top_p 核采样Nucleus Sampling1. 定义不固定只取前 N 个词而是累积概率达到 p 阈值的最小词集合值域0 ~ 1。 举个例子 top_p0.9 把所有候选词按概率从高到低排序依次累加概率直到总和 ≥90%只在这批词里随机选词剩下 10% 低概率词直接抛弃。2. 和 temperature 配合逻辑两者共同控制随机性行业通用搭配规则严谨场景temp0top_p1只用贪心top_p 无效平衡通用temp0.7top_p0.9最主流配置创意写作temp1.2top_p0.95放宽低概率词范围3. 对比 top_k补充区分top_k固定只取概率前 k 个词容易卡死多样性top_p动态选词池文本流畅度更好主流 API 都默认用 top_p4. 取值参考top_p0.1选词极度单一接近 temp0 效果top_p0.9行业标准top_p1.0放开全部候选词完全由 temperature 控制随机度六、流式输出 SSEServer-Sent Events 服务器推送事件1. 什么是流式输出常规非流式一次性返回 客户端发请求 → 模型完整生成全部文字 → 一次性返回完整 JSON长回答会有几秒几十秒空白等待。流式输出 模型每生成一小段 token立刻分片实时传给前端实现打字机逐字弹出效果用户无需等待全文生成。2. SSE 底层协议原理SSE 是 HTTP 长连接单向推送标准专门做服务端向客户端实时下发数据是 LLM 流式接口底层标准客户端发起普通 GET 请求请求头携带Accept: text/event-stream服务端不关闭 HTTP 连接持续保持长连接数据固定格式分片下发每条消息结构data: {token:你好,finish_reason:null} \n\n单条 data 代表一段增量 token持续推送全部生成完成时推送结束标记data: [DONE]客户端收到分片后拼接所有token字段得到完整回答。3. SSE 核心特点基于标准 HTTP无需 WebSocket兼容性极强单向通信只能服务端推送给客户端客户端不能实时回传自动断线重连浏览器原生支持文本协议轻量适合大模型文字流输出。4. 流式返回关键字段通用 API 规范choices[0].delta.content增量新生成的单个 / 多个字符 token流式独有非流式用message.contentfinish_reason结束原因null还在持续输出stop正常回答结束length达到 max_tokens 上限强制截断5. 优缺点✅ 优点交互体验好、首字延迟低、用户感知更快 ❌ 缺点前端需要额外逻辑拼接分片、日志 / 存储要合并完整文本无法中途修改提问SSE 单向。6. 和 WebSocket 区分SSELLM 流式输出首选简单、无额外握手纯文本推送WebSocket双向通信适合需要客户端实时上传数据的场景语音实时对话等。配套实战参数组合示例场景 1代码生成严谨无幻觉temperature0 top_p1.0 max_tokens1024 streamfalse非流式一次性返回场景 2日常聊天 / 文案写作平衡temperature0.7 top_p0.9 max_tokens2048 streamtrueSSE流式打字效果场景 3创意小说写诗高创造力temperature1.2 top_p0.95 max_tokens4096 streamtrue补充关键联动关系总结所有输入 输出 token 总和 ≤ context windowmax_tokens 限制输出长度总和超限会截断temperature top_p 共同控制生成随机性温度 0 时 top_p 失效streamtrue 开启 SSE 流式分片输出增量 delta 拼接完整回答。
