让 Agent 对失败自我批评、总结教训再重试 · 面向想做会「复盘」的智能体的开发者面试里问 Agent绕不开这一问一个 Agent 第一次做错了你怎么让它第二次做对很多人的第一反应是再跑一遍或温度调高换个采样。但如果换汤不换药模型往往会重复同一个错误——第一次在第 3 步用错了 API重试还在第 3 步用错同一个 API。这种「一条道走到黑」正是 Reflexion反思机制要解决的核心问题。问题的根重试不等于改进典型的 Agent 循环是「想 → 做 → 看结果」。当结果是失败测试没过、答案错了、工具报错时最朴素的做法是把整个任务原样再来一次。问题在于模型没有我刚才错在哪的记忆下一轮的输入和上一轮几乎一样自然容易走回同一条错路失败信号被浪费了那次失败其实携带了宝贵信息哪一步崩了、报什么错但简单重试把它丢掉了靠随机性碰运气调高温度重采样能不能碰对全凭运气且不可复现。Reflexion 的洞见是失败不该被丢弃而该被读懂并变成下一轮的指导。它借鉴了人类的复盘——考砸一次先分析我为什么错写下教训下次带着教训进考场。Reflexion 三步批评、成文、回灌ReflexionShinn 等人 2023 年提出把自我改进拆成三个角色协作的闭环Actor行动者真正去执行任务、产出行动与答案的那个 LLMEvaluator评估器判断这次做得好不好——可以是单元测试、标准答案比对、启发式规则或另一个 LLM 打分产出一个成功/失败信号Self-Reflection自我反思拿到失败信号后让 LLM用自然语言写一段教训——分析这次为什么失败、下次该怎么改。三步走通一轮Actor 做 → Evaluator 评 → 若失败Self-Reflection 生成一段反思文本。这段文本会被存进一块记忆并在下一轮任务开始时拼进 Actor 的提示词里。于是下一轮的 Actor 不再失忆而是带着上次我在解析日期时用错了格式这次要先确认格式这样的教训重新出发。关键中的关键反思结果必须回灌到下一轮的输入。写了一段深刻的教训却没喂回给 Actor等于没写——Reflexion 之所以有效全靠这条教训 → 下一轮提示词的回路。评价—修正循环伪代码把上面的机制落成一段可执行的循环核心就是维护一块reflections记忆并在每轮把它拼回提示词# 评价—修正循环失败 → 反思 → 回灌 → 重试 reflections [] # 记忆累积的历次教训 for attempt in range(MAX_TRIES): # 1) 把历史教训回灌进提示词再让 Actor 执行 prompt task \n过往教训\n join(reflections) trajectory, answer actor.run(prompt) # 2) 评估这次结果测试 / 比对 / LLM 打分 ok, feedback evaluator.judge(answer, trajectory) if ok: return answer # 成功直接返回 # 3) 自我批评读懂这次为什么失败写成一条教训 lesson reflect(task, trajectory, feedback) reflections.append(lesson) # 存进记忆 → 影响下一轮 return best_effort(answer) # 用尽次数返回最好的一次注意伪代码里的三处呼应采分点第 2 步是自我批评的触发判定失败第 3 步是总结教训把失败写成 lesson第 1 步是回灌把 lesson 拼回下一轮 prompt。缺了第 1 步的回灌整个循环就退化成了普通重试。和普通重试、和 RL 微调的区别Reflexion 常被拿来和直接重试以及用强化学习微调模型对比三者定位差别很大做法怎么利用失败是否改权重特点朴素重试不利用原样再跑否易重复同一错误靠运气Reflexion把失败写成语言教训回灌进下一轮提示词否只改上下文/记忆无需训练、即插即用、教训可读可审RL / 微调把成败变成梯度信号更新参数是需大量样本与算力改进沉淀进权重可以把 Reflexion 理解成用语言做的、轻量级的强化学习它不动模型参数而是把经验沉淀在文本记忆里用几乎零成本的方式让 Agent 在同一任务的多次尝试间越做越好。原论文在编程、推理、决策等基准上都验证了它相比朴素重试的明显提升。落地要注意的坑评估信号要靠谱反思质量取决于反馈质量。有可验证的信号能跑的单测、明确的答案时效果最好纯靠 LLM 自评时要防自我感觉良好的误判。反思要具体、可执行我要更仔细没用下次调用前先校验参数类型才有用。提示词里应引导它给出可操作的教训。记忆会膨胀多轮累积的 reflections 会撑大上下文需要设上限、做摘要或只保留最相关的几条。设重试上限不是无限反思就能成功要有MAX_TRIES兜底超限就返回最好的一次尝试。一句话总结Reflexion 解决的是「Agent 失败后一条道走到黑」它让智能体先自我批评判断哪里错了把失败总结成一段自然语言教训再回灌到下一轮的提示词里带着经验重试——不改一个权重就用一块语言记忆实现了越试越对。而这条回路里最不能省的一步永远是把反思结果喂回下一轮。
