AI的能力边界 —— 同一个机制既让它强大又让它不可靠Coding 与 Agent驾驭 AI 的底层逻辑 · 第2篇从预测 token到能力边界上一篇我们知道了AI 不是在查询数据库而是在预测下一个 token——它是概率生成器不是确定查询器。不过这里有两个绕不开的问题这么简单的预测机制怎么能写代码、翻译、推理、讲笑话为什么有时候它很聪明有时候又会一本正经地胡说答案藏在 AI 的两个核心特性里涌现Emergence和幻觉Hallucination。更重要的是——这两个特性是同一枚硬币的两面。理解了这个你就能建立对 AI 的正确预期。能力来源为什么它能做这么多事涌现规模带来的副产品当模型规模参数量 训练数据量大到一定程度它突然就会做很多训练时没有明确教过它的事——比如写代码、翻译、推理、甚至讲笑话。这就是涌现Emergence。这不是魔法而是统计规律的副产品。想象一下你读过 1 万本书你能总结出一些写作规律LLM 读过几十亿篇网页、代码、对话它能总结出的规律远超人类这些规律足够多、足够复杂时就会产生一些训练时没教过的能力。看几个真实的涌现案例案例1代码互译训练数据里没有把 Python 翻译成 JavaScript的明确任务但因为它见过大量 Python 代码大量 JavaScript 代码两种语言的语法规律、常见模式它就能涌现出翻译能力——把一种语言的逻辑转换成另一种语言的语法。案例2发现代码 bug你贴一段代码foriinrange(10): print(i)i1# 无效for 循环每次迭代会把 i 重新赋值为 range() 的下一个值手动修改不会被保留AI 会告诉你「i 1不起作用因为for循环每次迭代会把i重新赋值为range()生成的下一个值手动修改不会被保留。」训练时没有找 bug任务但因为它见过大量代码 注释意图代码 错误讨论Stack Overflow代码 正确实现GitHub它涌现出了对比意图和实现的能力。案例3写 SQL 查询你描述「找最近 7 天下单超过 3 次的 VIP 客户按消费金额倒序。」AI直接给出 JOIN GROUP BY HAVING ORDER BY 的完整 SQL。训练时没有按这个业务需求写 SQL的明确任务但因为它见过大量 SQL 教材、Stack Overflow 答案、ORM 文档常见业务查询模式筛选、聚合、排序统计规律足够复杂就涌现出了读懂需求 → 写对应查询的能力。涌现的边界天花板存在而且模糊但这也意味着它的能力有天花板而且边界模糊。你永远不知道它在哪个问题上突然就不行了。看一个边界案例✅ 你问「12 × 3 ?」AI「36」正确训练数据里见过很多❌ 你问「127 × 89 ?」AI「11,263」错误正确答案是 11,303❌ 你问「1234567 × 9876543 ?」AI「12,193,256,781」错误而且差得很远为什么简单算术在训练数据里大量出现 → 统计规律足够复杂算术很少出现 → 统计规律不足它不是在计算而是在预测看起来像答案的数字边界模糊的核心是当任务偏离训练数据的常见分布时能力会非线性下降——不是随数字增大线性变差而是在某个区间突然崩10 以内乘法准确率 ~99%训练数据里反复出现100 以内两位数乘法准确率 ~80%开始稀疏1000 以上大数乘法准确率 ~30%训练数据几乎没覆盖这就是涌现的另一面——统计规律在分布稀疏处失效而且你事先不知道阈值在哪。这就是边界模糊的体现——你不知道它在哪个问题上突然就不行了。这不是 bug这是涌现能力的特点不是精确设计出来的而是统计规律的副产品。所以用 AI 时要养成习惯✅裸用 AI 就能信任文本改写、格式转换、创意草稿、SQL 草稿⚠️套工具才可靠事实查询开联网、精确计算开代码执行、API 用法开 RAG边界模糊所以你要按裸用还是套工具分层使用——后面建立正确预期那节会展开讲。能力陷阱为什么它会一本正经地胡说你肯定遇到过这些幻觉回到刚才 127 × 89 的例子。AI 不是在调用计算器而是在预测“这道算术题的答案按照我见过的文本模式应该是……”如果训练数据里见过类似的题它可能蒙对。如果没见过它就会编一个看起来像答案的东西。这就是幻觉Hallucination。场景1编造不存在的 API你Python 列表怎么打乱顺序AI使用list.shuffle()方法就可以了my_list[1,2,3,4,5]my_list.shuffle()print(my_list)你运行代码AttributeError:listobject has no attributeshuffle真相正确的是random.shuffle(my_list)不是my_list.shuffle()。为什么 AI 会错它见过list.sort()、list.reverse()这样的方法它也见过random.shuffle(list)它把两个模式混合了生成了一个看起来合理的答案这就是幻觉——看起来像但不是。场景2超出训练数据的时间范围你下一届诺贝尔文学奖会颁给谁AI根据近年趋势下一届诺贝尔文学奖很可能会授予非洲或拉美作家……接下来编造一个听起来很专业的分析真相AI 的训练数据有截止时间未来事件它不可能知道。但它会按照最像预测分析的模式编造一个有逻辑的答案。为什么它知道诺贝尔文学奖的句式模式它见过大量预测性文章、评论、推测当你问超出训练数据范围的事情它会按照最像预测文章的模式生成一个注意——它的分析听起来逻辑严密、用词专业但没有任何事实依据。这种半真半假最容易骗过你。场景2-补如果你想测试具体年份已发生但 AI 不知道的情况你2024 年诺贝尔文学奖得主是谁假设 AI 的训练数据截止在 2023 年AI2024 年诺贝尔文学奖授予了某作家……编造一个名字真相训练数据截止在 2023 年的 AI 不可能知道 2024 年的结果但它依然会自信地给你一个答案。写作建议发布文章时把下一届替换为AI 训练截止之后的具体年份——既演示了超出训练数据的幻觉模式又不会因真实年份公布而失效。场景3编造不存在的论文你有没有关于 Transformer 架构优化的最新研究AI当然Smith et al. 2023 发表在 NeurIPS 上的论文“Efficient Attention Mechanisms for Large-Scale Models”提出了一种新的注意力机制能降低 50% 的计算量……你去查 NeurIPS 2023→ 找不到这篇论文Smith 这个作者也不存在。真相AI 编造了作者、论文标题、发表会议、研究结论——所有信息都是假的但格式完美、逻辑合理。为什么 AI 会编它见过大量论文引用的格式作者 年份 标题 会议它见过 Transformer 优化相关的研究主题当它不知道真实答案时就按照最像论文引用的模式生成了一个这是最危险的幻觉——格式、语气、逻辑都完美但内容全假。场景4逻辑严密但结论错误你如果所有 A 都是 B所有 B 都是 C那么是否所有 C 都是 AAI是的根据传递性原则如果所有 A 都是 B所有 B 都是 C那么所有 C 都是 A。这是逻辑学中的三段论规则。真相这是错的正确答案是所有 A 都是 C不是所有 C 都是 A。这是典型的**“肯定后件谬误**affirming the consequent——从所有 A 都是 C无法推导出所有 C 都是 A”。为什么 AI 会错它见过大量逻辑推理题知道传递性这个词但它只是在预测看起来像逻辑推理的文本它生成的答案语气自信、术语专业、格式规范——但逻辑错了这就是最难察觉的幻觉——它不是说我不知道而是给你一个看起来完美的错误答案。幻觉的两类成因两类幻觉要分清|类型|含义|例子|| — | — | — ||知识盲区|训练数据里根本没有 → 只能编|2025 年诺奖、虚构论文||知识混淆|训练数据里有 → 但模式混了|list.shuffle()混淆了list.sort()和random.shuffle()|混淆型幻觉更危险——因为 AI 的答案看起来很合理但其实是把多个真实模式拼接成的弗兰肯斯坦答案。防御方法关键代码必须运行测试关键事实必须查原始来源。幻觉的本质不是 bug是特性幻觉不是 bug这是它的工作机制。因为 AI 的目标是生成看起来合理的文本不是生成正确的答案。✅训练目标下一个词的概率分布要接近真实数据❌不是训练目标答案必须正确所以当它不知道答案时它会生成看起来最像答案的东西——这就是幻觉。打个比方AI 就像一个记忆力超强但没有外部知识的考生。它记住了 1 万道题的答案模式考试时遇到类似的题它能答对遇到没见过的题它会编一个看起来像标准答案的东西而且编的时候语气和格式都跟真答案一模一样所以它才会一本正经地胡说。一体两面同一机制的两种表现现在你应该明白了涌现和幻觉来自同一个机制。|维度|涌现|幻觉|| — | — | — ||本质|统计规律足够复杂|统计规律≠事实||表现|能做训练时没教过的事|会编造不存在的内容||原因|海量数据大规模参数|目标是像人话不是正确||结果|AI 变得很强大|AI 不可靠|它们为什么无法分离因为它们都依赖预测下一个 token这个核心机制统计规律足够复杂 → 能做复杂的事 →涌现统计规律≠真相 → 会编造内容 →幻觉你无法只要涌现、不要幻觉——就像你无法只要硬币的一面。打个比方这就像天气预报涌现通过大量历史数据预报系统能涌现出预测天气的能力幻觉但统计规律≠真实天气所以永远无法 100% 准确你无法让天气预报只准不错——准确率高是因为统计规律足够好偶尔出错是因为统计规律≠现实。AI 也一样提升涌现能力的方法扩大规模、增加数据→ 也会放大幻觉的风险降低幻觉的方法减小规模、限制生成→ 也会削弱涌现能力这不是技术不够成熟这是概率生成器的固有特性。那么我们该如何应对建立正确预期既能用好又能防坑理解了一体两面你就能建立对 AI 的正确预期。问题1什么时候可以信任 AI根据任务类型分层|任务类型|信任度|使用策略|典型场景|| — | — | — | — ||创意生成|✅ 高|直接使用|文案草稿、头脑风暴、起名字||结构转换|✅ 高|直接使用|格式转换、语言翻译、代码互译||逻辑推理|⚠️ 中|使用验证|代码生成、算法设计、架构建议||事实查询|⚠️ 中|开联网搜索验证来源|新闻、概念解释、API 文档||精确计算|⚠️ 中|开代码执行验证结果|数学计算、财务统计、数据分析|为什么这样分层✅创意/结构没有标准答案AI 不会错只有更好或一般⚠️逻辑推理有参考答案但允许多解需要人工判断质量⚠️事实查询AI 训练数据有截止时间、会编引用但开了联网搜索后能力完全不一样⚠️精确计算AI 是预测器不是计算器但开了代码执行Code Interpreter/Function Call后计算就可靠了关键认知AI 的能力边界不是固定的而是跟着手段变的。❌裸用 AI做事实查询 → 容易编造✅AI 联网搜索→ 能给你最新、可验证的事实ChatGPT 的 Browse with Bing、Claude 的 Web Search、Perplexity❌裸用 AI做精确计算 → 大数必错✅AI 代码执行→ 计算可靠还能跑脚本Code Interpreter、Jupyter、Function Calling简单记忆法越主观的任务越能信任越客观的任务越要用工具补“裸 AI不能做的不代表AI 不能做”——换个工具就行问题2如何防范幻觉三层防御策略第一层任务设计时就规避不要让 AI 做它不擅长的事。❌ 不要问“2025 年发生了什么大事”时间盲区✅ 改问“帮我列举可能的重大事件类型我自己去查。”❌ 不要问“这个 API 怎么用”可能编造✅ 改问“生成调用这个 API 的示例代码我会去查文档验证。”第二层生成时加约束在 prompt 中明确要求如果不确定请明确说我不确定而不是编造答案。 如果需要引用资料请标注需要验证。第三层验证时有章法代码类先运行再上线事实类先核查再引用逻辑类先推演再采纳问题3如何判断 AI 是否在编四个危险信号过度自信→ “一定”、“肯定”、显然这样的词 → 越自信越可疑格式完美→ 引用格式、代码格式都完美 → 但内容可能全假细节丰富→ 具体数字、具体名字、具体日期 → 可能都是编的时间敏感→ 超出训练数据时间范围的内容 → 100% 是编的验证原则越重要的内容越要验证越精确的内容越要核查越完美的答案越要怀疑留个思考题如果你要求 AI 生成一个 99.99% 可靠性的交易风控系统AI 听完可能会自信地说没问题——但你敢直接上线吗一个概率性的 AI凭什么保证业务级的确定性下一篇我们聊聊这个矛盾。下一篇预告从确定到概率现在你知道了✅ AI 为什么强大涌现✅ AI 为什么不可靠幻觉✅ 为什么无法分离一体两面✅ 如何建立正确预期分层使用但还有一个更深层的问题你可能习惯了确定性的世界——写好的代码执行什么就是什么设定好的流程走哪步就是哪步。但 AI 是概率性的——同一个问题每次回答都可能不同。这种范式转变会颠覆你对可靠的定义。下一篇我们来聊聊这个范式转变从确定性思维到概率性思维——如何在不确定的世界里保证工程质量
