)
8.1 归纳一句话LLM 其实完全不知道“真相”只知道“哪种说法更像人类文本”。也就是说人类 大模型判断真假 判断概率事实验证 文本延续外部世界 语料分布所以模型本质其实是在做“像事实的生成” 而不是 “真实判断”8.2 举一个例子输入爱因斯坦提出了____模型会输出相对论高概率光电效应解释高概率质能方程高概率但如果你问爱因斯坦在2024年发表了____论文模型仍然可能“补全”一篇关于量子引力的新论文 ❌假的为什么呢因为模型在做“这句话通常怎么写”的补全而不是结合上下文判断真实性后在作答(当然,最近的模型通过深度思考和游览器查询补充上下文后,已经很少出现类似问题了)8.3 幻觉的根本原因这里我们拆成三个层次。① 训练目标没有“真实性约束”模型训练目标是[P(next_token | context)]没有任何一项是truth constraint真实性约束所以关键点就在于,概率高并不等于事实正确.② 自然语言本身就允许“编造但合理”的表达我们人类语言中小说假设推测错误信息这些编造的信息,本身也都是合法文本模型的参数来自于大量互联网资料训练,所以很难区分,“真实描述” 和 “合理虚构”的差异③ 模型没有外部验证机制(为了减少幻觉,新模型通过MCP或原生Tools已经具备了类似功能)模型没有数据库查询搜索引擎实时校验事实比对所以它只能在内部概率空间“自洽地生成”剩下的内容8.4 一个非常重要的概念其实我们可以这样理解模型不是“查资料回答”而是“闭卷写作文”。在闭卷考试里不能查资料只能凭记忆和语言规律写结果就是写得很像但不一定对8.5 为什么模型会“编造得很自信”这是很多人困惑的点。原因1概率最大化机制前面我们一直在讲,模型输出的是最可能的 token所以还是那句话,最可能不等于最真实原因2语言中“自信表达”本身是高概率模式在大模型的训练语料中包含大量的学术论文、教科书、技术文档,这些文献资料通常都是 强断言语气.所以模型学到了这些资料中的一个关键语气“正确答案等于自信表达”原因3缺少“不知道”的高质量表达数据在我们现实中,如果遇到了不知道或者不清楚的事情我们正常会说我不确定可能是没有找到资料但训练数据里这种表达比例远低于“确定性表达” (因为获取的大量互联网资料,都不是提问,而是文章)所以导致的结果就是,模型更倾向“给答案”而不是“拒答”8.6 幻觉的三种类型我们可以把模型的幻觉简单的分类成以下三点.类型1事实型幻觉编造不存在的信息虚构论文错误历史事件假 API类型2逻辑型幻觉推理过程看似合理但是结论错误.(比如之前很火的,50米加油站,是开车去 还是走过去的问题.)类型3引用型幻觉这是最危险的一类编造来源编造链接编造书籍8.7 为什么通过 RAG 能缓解幻觉为了解决模型幻觉和参数很难实时更新的问题.后面出现了RAG等相关技术,来缓解模型的幻觉输出.但是为什么RAG能减少模型的幻觉呢?我们先了解一下RAG到底做了些什么.RAG 做的事用户问题↓检索外部知识库↓把资料塞进 Context↓LLM 生成答案本质作用,其实就是把“闭卷考试”变成“开卷考试”为什么会有效呢因为模型现在可以对照RAG资料,并且基于证据生成回复(实际上,我们可以理解RAG把模型需要的上下文补全了很多,所以预测的token也就准了许多)但为什么不能根治因为RAG只能补全模型对话的上下文,但是在上下文不够清晰的情况下, 模型仍然可能产生“编造 资料混合”的情况也就是说有证据时更准,但仍可能误读证据.但是,一定要记住,RAG只能缓解幻觉,并不能完全解决幻觉.很多人误以为RAG 解决幻觉❌ 错正确理解RAG 降低幻觉概率不改变生成机制8.8 为什么工具调用Tool Use更可靠比如搜索SQLAPI代码执行原因这些工具提供“外部真实反馈”对比方式 是否有事实约束纯 LLM ❌RAG ⚠️部分Tool Execution ✔8.9 幻觉无法彻底消除的根本原因我们需要明确这个核心。因为说到底模型本质是概率生成模型而不是事实数据库只要满足以下条件幻觉就必然存在生成式模型无外部验证基于概率采样所以幻觉不是错误是生成机制的副作用8.10 为什么有时候幻觉“看起来很合理”因为模型学到的是人类语言本身的“高压缩结构”就算错误信息也可能语法正确、逻辑通顺、表达专业所以错误的内容它也可以“长得像真理”8.11 总结如果只用一句话总结的话,我们可以认为幻觉的本质是模型在没有外部世界约束的情况下用概率去生成“最像答案的文本”而不是“真实答案”。本章总结我们解决了四个核心问题① 为什么会幻觉
