拓冰网站优化 
1. 项目概述当大模型“说”与“做”不一致时最近在折腾大模型智能体LLM Agent的评测发现一个挺有意思的现象你问一个Agent某个问题它给出的“计划”或“推理过程”听起来头头是道逻辑清晰但真让它去执行这个计划结果却可能南辕北辙。这就像你问一个朋友“怎么去机场最快”他能给你画出一张完美的路线图但真让他开车带你去他却可能迷路。这种“认知”与“行动”之间的割裂在当前的LLM Agent中普遍存在却缺乏一个系统性的方法来量化它。这就是“STOCKTAKE”这个项目想解决的核心问题我们如何客观、公平地测量LLM Agent“想”的和“做”的之间到底有多大差距传统的Agent评测大多只关注最终任务的成功率Action Success Rate这就像只凭考试分数评价学生却不管他的解题思路是否正确。一个靠蒙对答案的学生和一个通过严谨推理得出正确答案的学生价值完全不同。对于Agent而言同样如此。一个通过错误推理但侥幸执行出正确动作的Agent其可靠性和可解释性远低于一个推理与行动一致的Agent。STOCKTAKE引入了一个关键概念——“公平先知”Fair Oracle旨在构建一个不受偏见影响的标尺分别评估Agent的“感知/规划能力”Perception和“行动能力”Action从而精准定位差距所在。这个项目对于所有从事Agent开发、应用和评估的研究者、工程师来说都极具价值。它不仅能帮你更深入地理解自家Agent的薄弱环节是“想不明白”还是“做不出来”还能为改进方向提供定量依据。无论是构建复杂的自动化工作流还是开发可靠的对话机器人确保Agent的“知行合一”都是走向实用化的关键一步。接下来我将拆解STOCKTAKE的设计思路、核心实现方法并分享在复现和拓展这类评测时的一些实操心得与避坑指南。2. 核心设计思路解构“知行差距”与引入“公平先知”要测量差距首先得定义清楚我们在测量什么。STOCKTAKE的整个设计哲学建立在两个核心拆解上一是将Agent的综合能力拆分为“感知/规划”和“行动”两个独立维度二是设计一个绝对公平的裁判——“公平先知”来分别对这两个维度打分。2.1 为何要拆分“感知”与“行动”在真实世界任务中一个LLM Agent的工作流程通常是接收任务指令 - 理解任务并规划步骤Perception/Planning- 调用工具或生成代码执行具体动作Action- 根据环境反馈调整。这里的“感知/规划”阶段对应的是模型对任务的理解、分解和策略制定能力它主要考验模型的推理、知识和对环境的认知。而“行动”阶段则考验模型将计划转化为具体、可执行指令的能力包括工具调用的准确性、API参数的正确性、代码的语法正确性等。将二者混为一谈进行评测会掩盖很多问题。例如高分错觉一个Agent可能拥有强大的常识和推理能力感知强但工具调用格式总出错行动弱导致任务失败。如果只看最终结果这个Agent会被评为“差”但我们无法知道该去加强它的工具使用训练还是它的推理本身就有问题。低分误判另一个Agent可能推理逻辑混乱感知弱但它在某个特定任务上恰好蒙对了一组合适的工具调用序列行动侥幸正确最终完成了任务。如果只看成功率它会被评为“好”但这种“好”是不可靠、不可复现的。因此STOCKTAKE的核心思路是分别评估感知分数Perception Score在理想条件下Agent制定的计划或推理链的质量。暂时忽略它执行这些计划的能力。行动分数Action Score在给定完美计划或至少是高质量计划的前提下Agent将其转化为正确动作的能力。两者之间的差值即“感知-行动差距”Perception-Action Gap才是我们真正关心的“知行合一”程度指标。一个差距小的Agent说明它既能想对也能做对是可靠的。一个差距大的Agent则说明它的能力存在明显的脱节。2.2 “公平先知”的设计哲学与实现挑战要分别给“感知”和“行动”打分就需要两个裁判。但这里有个关键陷阱你不能用同一个有偏见的裁判。例如如果你用一个基于最终结果成功与否的评估器来反向评价“计划”的好坏那这个评估器本身就隐含了“行动”能力的影响无法做到公平。“公平先知”就是为了充当这个无偏见的、理想的裁判。它的设计目标是能够独立、准确地评估“计划”的质量而不受评估“行动”时任何偏差的影响。在实践中这通常通过两种方式实现基于规则的先知Rule-based Oracle针对特定领域如数据库查询、数学计算、游戏我们可以定义一套完备的规则来判断一个计划是否在逻辑上正确。例如在一个“从数据库找数据”的任务中公平先知可以检查Agent生成的SQL查询语句的逻辑是否正确是否选择了正确的表、字段WHERE条件是否合理而无需真正执行它。这隔离了“感知”评估。基于模型的先知Model-based Oracle对于更开放、难以用规则定义的任务可以使用一个更强的、被假定为“近乎完美”的LLM如GPT-4作为先知。这个“先知模型”的任务是在不看到任何行动结果的情况下仅根据任务描述和Agent生成的“计划”推理链、步骤列表来评判这个计划本身的质量例如给计划的逻辑性、完整性、可行性打分。这里的关键是评估过程必须与Agent实际执行动作的环境和结果完全脱钩。实现“公平先知”的最大挑战在于“脱钩”的彻底性。在复现时你必须确保评估“感知”时先知绝对不能访问Agent执行动作后的环境状态或任务最终成功与否的信息。评估“行动”时输入给Agent的“计划”应该来自一个高质量的来源例如人工标注的黄金标准计划或由“先知模型”生成的高分计划从而确保我们测试的是纯粹的“执行”能力而不是“规划”能力。这种设计使得STOCKTAKE框架具有很高的灵活性可以适配各种不同的任务领域和Agent架构。3. 评测框架搭建与核心指标计算理解了设计思路后我们需要将其转化为一个可操作的评测框架。STOCKTAKE的框架主要包含三个模块任务与环境设置、公平先知模块、以及评分计算模块。3.1 任务设计从简单到复杂的场景构建评测的有效性很大程度上取决于任务的设计。任务需要能够清晰地区分“感知”和“行动”阶段。通常适合的任务具有以下特点可分解性任务可以自然地分解为多个离散的步骤或子目标。可观察的中间状态任务的执行过程有明确的、可评估的中间结果或状态而不仅仅是最终的一个成功/失败信号。工具/动作交互任务需要Agent与外部环境、API或工具进行交互。常见的任务类型包括知识密集型问答需检索如“请找出爱因斯坦在1905年发表的四篇重要论文的标题”。这里感知阶段是理解问题、规划检索策略先查生平再查1905年论文列表行动阶段是正确调用搜索引擎API并解析结果。代码生成与执行如“编写一个Python函数计算列表的中位数并处理空列表情况”。感知阶段是理解需求、设计算法逻辑行动阶段是生成语法正确、逻辑无误的代码。网络操作任务如“在某某电商网站搜索‘无线鼠标’按价格从低到高排序将前三项商品信息保存到本地文件”。感知阶段是规划操作流程打开网站 - 搜索 - 排序 - 提取信息 - 保存行动阶段是正确模拟点击、输入、解析网页元素等操作。在搭建自己的评测集时建议从简单的、领域特定的任务开始逐步增加复杂度和开放性。每个任务都需要准备好任务描述Instruction给Agent的初始指令。黄金标准计划Gold Plan用于评估行动分数的“完美”计划可由人工或强模型生成。环境模拟器或工具集用于Agent执行动作的沙盒环境。3.2 评分计算量化感知、行动与差距假设我们对一个任务运行了N次实验可能涉及不同的Agent或同一Agent的不同配置对于第i次实验感知分数P_i将Agent在第i次实验中生成的“计划”推理链、步骤列表提交给“公平先知”。先知根据既定规则或模型判断输出一个标准化分数例如0到1之间的值或一个分类标签如“完美/可用/有缺陷/错误”再映射为分数。这个分数完全基于计划文本本身与执行无关。行动分数A_i将“黄金标准计划”或一个被先知评为高分的计划作为输入交给Agent去执行。记录其执行过程中每一步动作的正确性。评估方式可以是最终结果匹配执行后的最终状态是否与预期一致传统成功率。过程精确匹配每一个执行步骤是否与黄金标准动作序列一致。部分信用分配对部分正确的动作给予一定分数。 最终得到一个标准化行动分数A_i0到1之间。这个分数评估的是“执行给定计划的能力”。综合得分与差距计算平均感知分数Mean Perception Score:P_avg (Σ P_i) / N平均行动分数Mean Action Score:A_avg (Σ A_i) / N感知-行动差距Perception-Action Gap:Gap P_avg - A_avg对这个差距的理解至关重要Gap 0 (正差距)这是最常见的情况意味着Agent“想”的比“做”的好。平均而言它的计划质量高于其执行能力。这指向“行动”是瓶颈需要加强工具使用、代码生成或与环境交互的微调。Gap ≈ 0接近“知行合一”是理想状态。说明Agent的规划能力和执行能力匹配。Gap 0 (负差距)较少见但可能存在意味着Agent的执行能力超过了其规划能力。这可能发生在一些“直觉型”或经过大量动作微调的模型上它们可能不擅长表达复杂的推理但能通过模式匹配直接输出正确的动作。这提示我们需要增强模型的推理和解释能力。除了平均差距分析差距的分布方差也很有意义。方差大说明Agent表现不稳定有时能知行合一有时则严重脱节。3.3 可视化与诊断报告一个优秀的评测框架不仅要输出数字还要能提供洞察。STOCKTAKE框架通常会生成以下分析雷达图/条形图对比不同Agent或同一Agent不同配置下的P_avg, A_avg和Gap。散点图以感知分数为横轴行动分数为纵轴绘制每次实验的散点。理想情况下点应聚集在yx这条线表示知行合一附近。点的分布形态能直观显示Agent的能力特性。错误案例归类将任务失败案例按原因归类如“感知错误错误理解任务”、“感知错误逻辑缺陷”、“行动错误工具调用语法错”、“行动错误参数错误”等。这能直接指导改进方向。4. 实操复现构建一个简易的STOCKTAKE评测系统理论讲完了我们来点实际的。假设我们要评测一个基于GPT-3.5/4的Agent在“多步网络信息检索与处理”任务上的表现。我们搭建一个简化版的评测流程。4.1 环境与工具准备首先确定我们的技术栈Agent核心使用OpenAI API或开源模型如Qwen、DeepSeek作为Agent的大脑。工具集为Agent配备几个关键工具web_search(query): 模拟网络搜索返回一段结构化文本摘要。parse_and_extract(text, pattern): 从文本中提取特定信息如日期、价格、人名。save_to_file(data, filename): 将数据保存为本地JSON文件。公平先知由于任务涉及开放域信息我们采用“基于模型的先知”。这里为了绝对公平我们使用比被测Agent更强的模型例如用GPT-4来评估基于GPT-3.5的Agent的计划。关键先知模型只能看到任务描述和Agent生成的计划不能看到搜索返回的结果或保存的文件。任务集设计3-5个任务例如T1: “搜索2023年诺贝尔物理学奖得主提取他们的姓名和主要贡献并保存到nobel_physics_2023.json。”T2: “找出目前市值最高的三家科技公司及其当前股价近似值即可保存到top_tech_companies.json。”4.2 核心代码流程拆解以下是评测一个任务的核心伪代码逻辑import openai import json # 1. 定义任务 task “搜索2023年诺贝尔物理学奖得主提取他们的姓名和主要贡献并保存到nobel_physics_2023.json。” # 2. 运行Agent获取其“计划” def run_agent_for_plan(task_description): # 提示词引导Agent先输出“思考过程”即计划 prompt f 你是一个智能助手。请完成以下任务{task_description} 请先逐步输出你的思考过程和计划步骤用‘计划’开头然后再输出你将执行的具体动作。 response openai.ChatCompletion.create( modelgpt-3.5-turbo, messages[{role: user, content: prompt}] ) full_response response.choices[0].message.content # 简单地从响应中分离出“计划”部分实际应用需更鲁棒的解析 if “计划” in full_response: plan full_response.split(“计划”)[1].split(“具体动作”)[0].strip() action_part full_response.split(“具体动作”)[1].strip() if “具体动作” in full_response else “” else: plan “未明确分离出计划” action_part full_response return plan, action_part agent_plan, agent_action_text run_agent_for_plan(task) # 3. 使用公平先知评估“感知分数” def evaluate_perception_with_oracle(task_description, plan): oracle_prompt f 你是一个公平的评估员。请仅根据以下任务描述和助手生成的计划评估该计划的质量。 请勿考虑该计划是否能够成功执行仅评估其逻辑性、完整性和与任务的相关性。 任务描述{task_description} 助手生成的计划{plan} 请从以下四个等级中选择一个作为评估结果 A. 完美计划完全覆盖任务要求步骤逻辑清晰无误。 B. 可用计划基本覆盖任务逻辑大体正确存在微小瑕疵但不影响整体。 C. 有缺陷计划遗漏关键步骤或存在明显逻辑错误但部分思路可取。 D. 错误计划完全偏离任务或逻辑混乱。 只输出字母选项。 oracle_response openai.ChatCompletion.create( modelgpt-4, # 使用更强的模型作为先知 messages[{role: user, content: oracle_prompt}], temperature0.0 ) grade oracle_response.choices[0].message.content.strip() # 将等级转换为分数A1.0, B0.67, C0.33, D0 score_map {A: 1.0, B: 0.67, C: 0.33, D: 0} return score_map.get(grade, 0) perception_score evaluate_perception_with_oracle(task, agent_plan) # 4. 评估“行动分数”使用黄金计划 # 首先人工或通过强模型生成一个该任务的“黄金标准计划” gold_plan “” 1. 使用web_search工具以“2023年诺贝尔物理学奖得主”为关键词进行搜索。 2. 从搜索结果中使用parse_and_extract工具提取获奖者姓名。 3. 再次使用web_search工具分别以每位获奖者姓名加“诺贝尔奖贡献”为关键词搜索。 4. 从新搜索结果中使用parse_and_extract工具提取他们的主要贡献描述。 5. 将提取到的姓名和贡献组成一个字典列表。 6. 使用save_to_file工具将该列表保存为‘nobel_physics_2023.json’文件。 “” # 然后将这个黄金计划作为指令的一部分让Agent去执行。 def run_agent_for_action(task_description, given_plan): prompt f 请严格遵循以下计划步骤来完成任务。 任务{task_description} 必须遵循的计划 {given_plan} 请直接输出你需要执行的具体工具调用格式为工具名(参数)。 response openai.ChatCompletion.create( modelgpt-3.5-turbo, messages[{role: user, content: prompt}] ) action_sequence response.choices[0].message.content.strip() return action_sequence executed_actions run_agent_for_action(task, gold_plan) print(f“Agent根据黄金计划生成的动作为{executed_actions}”) # 5. 执行动作并评估结果模拟 # 这里需要连接真实或模拟的工具环境执行executed_actions中的命令。 # 然后比较执行结果最终生成的JSON文件内容与预期结果。 # 行动分数可以根据最终结果的匹配度如F1分数、完全匹配率来计算。 # 假设我们通过模拟执行和比较得到一个行动分数 action_score 0.8 # 假设本次执行部分正确 # 6. 计算本次实验的差距 gap perception_score - action_score print(f“感知分数{perception_score:.2f}, 行动分数{action_score:.2f}, 差距{gap:.2f}”)4.3 实操注意事项与心得计划提取的鲁棒性在实际操作中从Agent的自由格式响应中稳定地提取出“计划”部分是一个挑战。上面的简单字符串分割方法很脆弱。更好的做法是在给Agent的提示词中强制要求其使用特定的结构化格式输出例如在“计划”部分前后加上明确的标记如plan.../plan。或者使用函数调用Function Calling特性让Agent先调用一个“propose_plan”的函数来输出计划然后再执行动作。先知评估的稳定性即使使用GPT-4作为先知其评估也可能存在波动。为了提高评估的一致性使用零温度temperature0设置。提供更详细、更具操作性的评估准则Rubric而不仅仅是几个等级选项。对于重要评测可以考虑让先知对同一计划进行多次评估取平均或使用多个先知模型投票。黄金计划的构建行动分数的评估高度依赖“黄金计划”的质量。如果黄金计划本身有歧义或不完整行动分数就会失真。建议由领域专家人工编写黄金计划。或者使用最强的模型如GPT-4生成多个候选计划再由人工筛选和修正最佳的一个。工具环境的模拟在研发阶段完全连接真实网络环境执行动作成本高、速度慢且不可控。建立一个高度仿真的工具模拟器至关重要。例如web_search工具可以不真的去搜索而是从一个预设的、与任务相关的知识库中返回固定文本。这能保证评测的可复现性和高效性。5. 结果分析与Agent能力诊断运行完一批任务的评测后我们会得到一系列数据。如何解读这些数据并用于诊断Agent的“病情”5.1 典型问题模式识别通过分析感知分数、行动分数和差距的分布我们可以识别出几种典型的问题模式“空想家”型高感知低行动感知分数显著高于行动分数Gap 0.3。这通常表明工具使用不熟练Agent不熟悉工具调用的具体语法、参数格式或约束条件。环境反馈理解差Agent无法正确解析工具执行后返回的结果导致后续步骤出错。动作序列化能力弱能将大计划分解成步骤但无法将这些步骤转化为精准、有序的动作指令。改进方向针对性地进行工具使用示例的微调Tool Tuning增加动作规划与执行的链式思考Chain-of-Thought训练或者改进Agent的“动作空间”表示方法。“莽夫”型低感知高行动行动分数接近甚至高于感知分数Gap 0。这相对少见但可能意味着任务过于简单或模式化任务可能不需要复杂规划Agent通过死记硬背或简单的模式匹配就能输出正确动作。评估偏差黄金计划可能过于详细限制了Agent的发挥或者行动评估标准过于宽松。模型特性某些模型在指令跟随和格式输出上训练得很好但复杂推理能力不足。改进方向需要设计更复杂、需要多步推理的任务来检验其真正的感知能力。同时检查黄金计划是否限制了Agent的创新性解决路径。“不稳定型”感知和行动分数的方差Variance都很大。这说明Agent的表现严重依赖于任务的具体表述或随机种子缺乏鲁棒性。改进方向需要增加提示词的鲁棒性工程或者通过更多样化的训练数据来提高模型的泛化能力。5.2 错误根因分析案例假设我们在“查询天气并建议穿衣”任务上发现Agent的感知分数高但行动分数低。我们深入分析错误案例任务“查询北京明天的天气并根据天气情况给出穿衣建议。”Agent计划“1. 调用天气API查询北京明天天气。2. 根据返回的温度、降水概率等数据生成穿衣建议。”Agent实际动作get_weather(beijing)-suggest_clothing(“北京明天天气晴气温5-15度”)这里suggest_clothing工具需要结构化输入但Agent传入了字符串。诊断感知阶段完全正确知道先查天气再根据结果给建议。行动阶段失败在工具调用的参数格式错误。这明确指向了“工具接口适配”问题而不是逻辑推理问题。解决方案是为suggest_clothing工具提供更清晰的参数说明或在训练数据中加入更多正确调用该工具的示例。5.3 框架的扩展与变体STOCKTAKE的基础框架可以扩展以适应更复杂的场景多轮对话任务在对话式Agent中“感知”可能包括理解对话历史、用户意图和规划下一轮回应策略“行动”则是生成符合策略的自然语言回复。公平先知需要评估回复策略的恰当性如是否解决了用户问题、是否遵循了预设角色而行动分数则可以由回复的流畅度、安全性等指标衡量。具身智能Embodied AI在机器人或游戏环境中感知是理解视觉场景和任务目标并规划路径行动是生成具体的移动、抓取等动作指令。公平先知可以是一个知道全局地图和物体位置的“上帝视角”规划器用于评估Agent提出的行动路径是否合理。引入人类评估对于主观性较强的任务如创意写作、设计可以将“公平先知”替换为经过校准的人类评估员对“计划”如文章大纲和“成品”如完整文章进行独立打分。6. 常见陷阱、挑战与应对策略在实践STOCKTAKE评测框架时我踩过不少坑也总结出一些让评测更可靠、更有说服力的经验。6.1 先知本身的“公平性”陷阱这是最核心的挑战。我们假设“先知”是公平且准确的但事实可能并非如此。问题如果先知模型本身存在偏见或能力不足它对“计划”的评估就会失真。例如一个创造力不足的先知可能会给那些循规蹈矩但缺乏创新的计划打高分而给更有创意但略显非常规的计划打低分。应对策略使用规则先知在可能的情况下优先设计基于明确规则的评估逻辑这是最客观的。先知校准如果必须用模型先知可以先用一批人工标注好“计划质量”的数据集来校准它确保其打分与人类判断有较高的一致性。多先知投票使用多个不同的强模型作为先知取它们评估结果的平均值或多数票可以减少单个模型的偏差。评估先知定期抽样检查先知的评估结果与人工判断进行对比监控其“裁判”水平的稳定性。6.2 任务设计与评估指标的耦合问题如果任务设计得不好“感知”和“行动”的边界会模糊。例如在一个需要复杂计算的任务中Agent的“计划”里如果包含了具体的计算步骤那么执行这些计算步骤行动的难度几乎为零。这样测出来的行动分数会虚高差距会缩小。应对策略精心设计任务确保“规划”和“执行”是相对独立的两个环节。规划环节侧重逻辑和策略执行环节侧重对工具、API或环境的精确操作。可以在任务描述中明确要求“输出步骤思路不执行具体计算”。6.3 黄金计划的“唯一性”误区问题认为解决一个任务只有一种“黄金计划”。这会导致在评估行动分数时如果Agent执行了一个与黄金计划不同但同样有效甚至更优的计划会被误判为低分。应对策略对于开放域任务准备多个可接受的“黄金计划”变体。在评估行动分数时可以检查Agent的执行结果是否与任何一个黄金计划的预期结果相符。或者将评估重点从“是否严格遵循了给定计划”转向“执行给定计划后是否达成了任务目标”。6.4 计算资源与成本问题STOCKTAKE框架需要运行两次评估感知一次行动一次如果使用商用大模型API成本是传统只评估最终结果方法的两倍。同时模拟工具环境也需要开发成本。应对策略分层抽样不必对所有任务和所有实验都进行完整的STOCKTAKE评估。可以先进行大规模的传统成功率筛选再对成功和失败的任务样本进行深入的STOCKTAKE分析找到共性原因。开源模型在先知和Agent本体上可以尝试使用优秀的开源模型如Qwen、DeepSeek、Llama等来降低成本但需注意其能力与商业模型的差距可能影响评估的绝对尺度。建设可复用的评测沙盒投入时间构建一个高度模拟真实工具环境的评测沙盒虽然前期投入大但长期来看能极大提升评测效率和一致性。6.5 动态环境下的评估问题在真实应用中环境可能是动态变化的如网页结构改变、API更新。在静态评测中表现“知行合一”的Agent可能在动态环境中失效。应对策略在STOCKTAKE框架中引入“环境扰动”测试。例如在评估行动分数时可以轻微改变工具接口的格式或模拟网络请求超时观察Agent的应对能力。这能评估其“行动”能力的鲁棒性而不仅仅是针对固定环境的最优表现。STOCKTAKE框架的价值在于它不再将LLM Agent视为一个黑箱只关心输入和输出而是打开了这个黑箱去审视其内部“思考”与“执行”这两个关键过程是如何协作或脱节的。通过系统性地测量“知行差距”我们能够像医生看化验单一样精准地诊断出Agent的“病因”究竟是出在“大脑”感知规划还是“四肢”行动执行从而进行有的放矢的优化。无论是对于学术研究还是工业界的产品迭代这套方法论都提供了一个远比单一成功率指标更有深度的评估视角。在实际操作中最关键的是理解其思想内核并根据自己面对的具体任务和资源条件灵活地设计和实施这套评测体系。 LLM Agent知行合一评测：STOCKTAKE框架解析与实操指南
1. 项目概述当大模型“说”与“做”不一致时最近在折腾大模型智能体LLM Agent的评测发现一个挺有意思的现象你问一个Agent某个问题它给出的“计划”或“推理过程”听起来头头是道逻辑清晰但真让它去执行这个计划结果却可能南辕北辙。这就像你问一个朋友“怎么去机场最快”他能给你画出一张完美的路线图但真让他开车带你去他却可能迷路。这种“认知”与“行动”之间的割裂在当前的LLM Agent中普遍存在却缺乏一个系统性的方法来量化它。这就是“STOCKTAKE”这个项目想解决的核心问题我们如何客观、公平地测量LLM Agent“想”的和“做”的之间到底有多大差距传统的Agent评测大多只关注最终任务的成功率Action Success Rate这就像只凭考试分数评价学生却不管他的解题思路是否正确。一个靠蒙对答案的学生和一个通过严谨推理得出正确答案的学生价值完全不同。对于Agent而言同样如此。一个通过错误推理但侥幸执行出正确动作的Agent其可靠性和可解释性远低于一个推理与行动一致的Agent。STOCKTAKE引入了一个关键概念——“公平先知”Fair Oracle旨在构建一个不受偏见影响的标尺分别评估Agent的“感知/规划能力”Perception和“行动能力”Action从而精准定位差距所在。这个项目对于所有从事Agent开发、应用和评估的研究者、工程师来说都极具价值。它不仅能帮你更深入地理解自家Agent的薄弱环节是“想不明白”还是“做不出来”还能为改进方向提供定量依据。无论是构建复杂的自动化工作流还是开发可靠的对话机器人确保Agent的“知行合一”都是走向实用化的关键一步。接下来我将拆解STOCKTAKE的设计思路、核心实现方法并分享在复现和拓展这类评测时的一些实操心得与避坑指南。2. 核心设计思路解构“知行差距”与引入“公平先知”要测量差距首先得定义清楚我们在测量什么。STOCKTAKE的整个设计哲学建立在两个核心拆解上一是将Agent的综合能力拆分为“感知/规划”和“行动”两个独立维度二是设计一个绝对公平的裁判——“公平先知”来分别对这两个维度打分。2.1 为何要拆分“感知”与“行动”在真实世界任务中一个LLM Agent的工作流程通常是接收任务指令 - 理解任务并规划步骤Perception/Planning- 调用工具或生成代码执行具体动作Action- 根据环境反馈调整。这里的“感知/规划”阶段对应的是模型对任务的理解、分解和策略制定能力它主要考验模型的推理、知识和对环境的认知。而“行动”阶段则考验模型将计划转化为具体、可执行指令的能力包括工具调用的准确性、API参数的正确性、代码的语法正确性等。将二者混为一谈进行评测会掩盖很多问题。例如高分错觉一个Agent可能拥有强大的常识和推理能力感知强但工具调用格式总出错行动弱导致任务失败。如果只看最终结果这个Agent会被评为“差”但我们无法知道该去加强它的工具使用训练还是它的推理本身就有问题。低分误判另一个Agent可能推理逻辑混乱感知弱但它在某个特定任务上恰好蒙对了一组合适的工具调用序列行动侥幸正确最终完成了任务。如果只看成功率它会被评为“好”但这种“好”是不可靠、不可复现的。因此STOCKTAKE的核心思路是分别评估感知分数Perception Score在理想条件下Agent制定的计划或推理链的质量。暂时忽略它执行这些计划的能力。行动分数Action Score在给定完美计划或至少是高质量计划的前提下Agent将其转化为正确动作的能力。两者之间的差值即“感知-行动差距”Perception-Action Gap才是我们真正关心的“知行合一”程度指标。一个差距小的Agent说明它既能想对也能做对是可靠的。一个差距大的Agent则说明它的能力存在明显的脱节。2.2 “公平先知”的设计哲学与实现挑战要分别给“感知”和“行动”打分就需要两个裁判。但这里有个关键陷阱你不能用同一个有偏见的裁判。例如如果你用一个基于最终结果成功与否的评估器来反向评价“计划”的好坏那这个评估器本身就隐含了“行动”能力的影响无法做到公平。“公平先知”就是为了充当这个无偏见的、理想的裁判。它的设计目标是能够独立、准确地评估“计划”的质量而不受评估“行动”时任何偏差的影响。在实践中这通常通过两种方式实现基于规则的先知Rule-based Oracle针对特定领域如数据库查询、数学计算、游戏我们可以定义一套完备的规则来判断一个计划是否在逻辑上正确。例如在一个“从数据库找数据”的任务中公平先知可以检查Agent生成的SQL查询语句的逻辑是否正确是否选择了正确的表、字段WHERE条件是否合理而无需真正执行它。这隔离了“感知”评估。基于模型的先知Model-based Oracle对于更开放、难以用规则定义的任务可以使用一个更强的、被假定为“近乎完美”的LLM如GPT-4作为先知。这个“先知模型”的任务是在不看到任何行动结果的情况下仅根据任务描述和Agent生成的“计划”推理链、步骤列表来评判这个计划本身的质量例如给计划的逻辑性、完整性、可行性打分。这里的关键是评估过程必须与Agent实际执行动作的环境和结果完全脱钩。实现“公平先知”的最大挑战在于“脱钩”的彻底性。在复现时你必须确保评估“感知”时先知绝对不能访问Agent执行动作后的环境状态或任务最终成功与否的信息。评估“行动”时输入给Agent的“计划”应该来自一个高质量的来源例如人工标注的黄金标准计划或由“先知模型”生成的高分计划从而确保我们测试的是纯粹的“执行”能力而不是“规划”能力。这种设计使得STOCKTAKE框架具有很高的灵活性可以适配各种不同的任务领域和Agent架构。3. 评测框架搭建与核心指标计算理解了设计思路后我们需要将其转化为一个可操作的评测框架。STOCKTAKE的框架主要包含三个模块任务与环境设置、公平先知模块、以及评分计算模块。3.1 任务设计从简单到复杂的场景构建评测的有效性很大程度上取决于任务的设计。任务需要能够清晰地区分“感知”和“行动”阶段。通常适合的任务具有以下特点可分解性任务可以自然地分解为多个离散的步骤或子目标。可观察的中间状态任务的执行过程有明确的、可评估的中间结果或状态而不仅仅是最终的一个成功/失败信号。工具/动作交互任务需要Agent与外部环境、API或工具进行交互。常见的任务类型包括知识密集型问答需检索如“请找出爱因斯坦在1905年发表的四篇重要论文的标题”。这里感知阶段是理解问题、规划检索策略先查生平再查1905年论文列表行动阶段是正确调用搜索引擎API并解析结果。代码生成与执行如“编写一个Python函数计算列表的中位数并处理空列表情况”。感知阶段是理解需求、设计算法逻辑行动阶段是生成语法正确、逻辑无误的代码。网络操作任务如“在某某电商网站搜索‘无线鼠标’按价格从低到高排序将前三项商品信息保存到本地文件”。感知阶段是规划操作流程打开网站 - 搜索 - 排序 - 提取信息 - 保存行动阶段是正确模拟点击、输入、解析网页元素等操作。在搭建自己的评测集时建议从简单的、领域特定的任务开始逐步增加复杂度和开放性。每个任务都需要准备好任务描述Instruction给Agent的初始指令。黄金标准计划Gold Plan用于评估行动分数的“完美”计划可由人工或强模型生成。环境模拟器或工具集用于Agent执行动作的沙盒环境。3.2 评分计算量化感知、行动与差距假设我们对一个任务运行了N次实验可能涉及不同的Agent或同一Agent的不同配置对于第i次实验感知分数P_i将Agent在第i次实验中生成的“计划”推理链、步骤列表提交给“公平先知”。先知根据既定规则或模型判断输出一个标准化分数例如0到1之间的值或一个分类标签如“完美/可用/有缺陷/错误”再映射为分数。这个分数完全基于计划文本本身与执行无关。行动分数A_i将“黄金标准计划”或一个被先知评为高分的计划作为输入交给Agent去执行。记录其执行过程中每一步动作的正确性。评估方式可以是最终结果匹配执行后的最终状态是否与预期一致传统成功率。过程精确匹配每一个执行步骤是否与黄金标准动作序列一致。部分信用分配对部分正确的动作给予一定分数。 最终得到一个标准化行动分数A_i0到1之间。这个分数评估的是“执行给定计划的能力”。综合得分与差距计算平均感知分数Mean Perception Score:P_avg (Σ P_i) / N平均行动分数Mean Action Score:A_avg (Σ A_i) / N感知-行动差距Perception-Action Gap:Gap P_avg - A_avg对这个差距的理解至关重要Gap 0 (正差距)这是最常见的情况意味着Agent“想”的比“做”的好。平均而言它的计划质量高于其执行能力。这指向“行动”是瓶颈需要加强工具使用、代码生成或与环境交互的微调。Gap ≈ 0接近“知行合一”是理想状态。说明Agent的规划能力和执行能力匹配。Gap 0 (负差距)较少见但可能存在意味着Agent的执行能力超过了其规划能力。这可能发生在一些“直觉型”或经过大量动作微调的模型上它们可能不擅长表达复杂的推理但能通过模式匹配直接输出正确的动作。这提示我们需要增强模型的推理和解释能力。除了平均差距分析差距的分布方差也很有意义。方差大说明Agent表现不稳定有时能知行合一有时则严重脱节。3.3 可视化与诊断报告一个优秀的评测框架不仅要输出数字还要能提供洞察。STOCKTAKE框架通常会生成以下分析雷达图/条形图对比不同Agent或同一Agent不同配置下的P_avg, A_avg和Gap。散点图以感知分数为横轴行动分数为纵轴绘制每次实验的散点。理想情况下点应聚集在yx这条线表示知行合一附近。点的分布形态能直观显示Agent的能力特性。错误案例归类将任务失败案例按原因归类如“感知错误错误理解任务”、“感知错误逻辑缺陷”、“行动错误工具调用语法错”、“行动错误参数错误”等。这能直接指导改进方向。4. 实操复现构建一个简易的STOCKTAKE评测系统理论讲完了我们来点实际的。假设我们要评测一个基于GPT-3.5/4的Agent在“多步网络信息检索与处理”任务上的表现。我们搭建一个简化版的评测流程。4.1 环境与工具准备首先确定我们的技术栈Agent核心使用OpenAI API或开源模型如Qwen、DeepSeek作为Agent的大脑。工具集为Agent配备几个关键工具web_search(query): 模拟网络搜索返回一段结构化文本摘要。parse_and_extract(text, pattern): 从文本中提取特定信息如日期、价格、人名。save_to_file(data, filename): 将数据保存为本地JSON文件。公平先知由于任务涉及开放域信息我们采用“基于模型的先知”。这里为了绝对公平我们使用比被测Agent更强的模型例如用GPT-4来评估基于GPT-3.5的Agent的计划。关键先知模型只能看到任务描述和Agent生成的计划不能看到搜索返回的结果或保存的文件。任务集设计3-5个任务例如T1: “搜索2023年诺贝尔物理学奖得主提取他们的姓名和主要贡献并保存到nobel_physics_2023.json。”T2: “找出目前市值最高的三家科技公司及其当前股价近似值即可保存到top_tech_companies.json。”4.2 核心代码流程拆解以下是评测一个任务的核心伪代码逻辑import openai import json # 1. 定义任务 task “搜索2023年诺贝尔物理学奖得主提取他们的姓名和主要贡献并保存到nobel_physics_2023.json。” # 2. 运行Agent获取其“计划” def run_agent_for_plan(task_description): # 提示词引导Agent先输出“思考过程”即计划 prompt f 你是一个智能助手。请完成以下任务{task_description} 请先逐步输出你的思考过程和计划步骤用‘计划’开头然后再输出你将执行的具体动作。 response openai.ChatCompletion.create( modelgpt-3.5-turbo, messages[{role: user, content: prompt}] ) full_response response.choices[0].message.content # 简单地从响应中分离出“计划”部分实际应用需更鲁棒的解析 if “计划” in full_response: plan full_response.split(“计划”)[1].split(“具体动作”)[0].strip() action_part full_response.split(“具体动作”)[1].strip() if “具体动作” in full_response else “” else: plan “未明确分离出计划” action_part full_response return plan, action_part agent_plan, agent_action_text run_agent_for_plan(task) # 3. 使用公平先知评估“感知分数” def evaluate_perception_with_oracle(task_description, plan): oracle_prompt f 你是一个公平的评估员。请仅根据以下任务描述和助手生成的计划评估该计划的质量。 请勿考虑该计划是否能够成功执行仅评估其逻辑性、完整性和与任务的相关性。 任务描述{task_description} 助手生成的计划{plan} 请从以下四个等级中选择一个作为评估结果 A. 完美计划完全覆盖任务要求步骤逻辑清晰无误。 B. 可用计划基本覆盖任务逻辑大体正确存在微小瑕疵但不影响整体。 C. 有缺陷计划遗漏关键步骤或存在明显逻辑错误但部分思路可取。 D. 错误计划完全偏离任务或逻辑混乱。 只输出字母选项。 oracle_response openai.ChatCompletion.create( modelgpt-4, # 使用更强的模型作为先知 messages[{role: user, content: oracle_prompt}], temperature0.0 ) grade oracle_response.choices[0].message.content.strip() # 将等级转换为分数A1.0, B0.67, C0.33, D0 score_map {A: 1.0, B: 0.67, C: 0.33, D: 0} return score_map.get(grade, 0) perception_score evaluate_perception_with_oracle(task, agent_plan) # 4. 评估“行动分数”使用黄金计划 # 首先人工或通过强模型生成一个该任务的“黄金标准计划” gold_plan “” 1. 使用web_search工具以“2023年诺贝尔物理学奖得主”为关键词进行搜索。 2. 从搜索结果中使用parse_and_extract工具提取获奖者姓名。 3. 再次使用web_search工具分别以每位获奖者姓名加“诺贝尔奖贡献”为关键词搜索。 4. 从新搜索结果中使用parse_and_extract工具提取他们的主要贡献描述。 5. 将提取到的姓名和贡献组成一个字典列表。 6. 使用save_to_file工具将该列表保存为‘nobel_physics_2023.json’文件。 “” # 然后将这个黄金计划作为指令的一部分让Agent去执行。 def run_agent_for_action(task_description, given_plan): prompt f 请严格遵循以下计划步骤来完成任务。 任务{task_description} 必须遵循的计划 {given_plan} 请直接输出你需要执行的具体工具调用格式为工具名(参数)。 response openai.ChatCompletion.create( modelgpt-3.5-turbo, messages[{role: user, content: prompt}] ) action_sequence response.choices[0].message.content.strip() return action_sequence executed_actions run_agent_for_action(task, gold_plan) print(f“Agent根据黄金计划生成的动作为{executed_actions}”) # 5. 执行动作并评估结果模拟 # 这里需要连接真实或模拟的工具环境执行executed_actions中的命令。 # 然后比较执行结果最终生成的JSON文件内容与预期结果。 # 行动分数可以根据最终结果的匹配度如F1分数、完全匹配率来计算。 # 假设我们通过模拟执行和比较得到一个行动分数 action_score 0.8 # 假设本次执行部分正确 # 6. 计算本次实验的差距 gap perception_score - action_score print(f“感知分数{perception_score:.2f}, 行动分数{action_score:.2f}, 差距{gap:.2f}”)4.3 实操注意事项与心得计划提取的鲁棒性在实际操作中从Agent的自由格式响应中稳定地提取出“计划”部分是一个挑战。上面的简单字符串分割方法很脆弱。更好的做法是在给Agent的提示词中强制要求其使用特定的结构化格式输出例如在“计划”部分前后加上明确的标记如plan.../plan。或者使用函数调用Function Calling特性让Agent先调用一个“propose_plan”的函数来输出计划然后再执行动作。先知评估的稳定性即使使用GPT-4作为先知其评估也可能存在波动。为了提高评估的一致性使用零温度temperature0设置。提供更详细、更具操作性的评估准则Rubric而不仅仅是几个等级选项。对于重要评测可以考虑让先知对同一计划进行多次评估取平均或使用多个先知模型投票。黄金计划的构建行动分数的评估高度依赖“黄金计划”的质量。如果黄金计划本身有歧义或不完整行动分数就会失真。建议由领域专家人工编写黄金计划。或者使用最强的模型如GPT-4生成多个候选计划再由人工筛选和修正最佳的一个。工具环境的模拟在研发阶段完全连接真实网络环境执行动作成本高、速度慢且不可控。建立一个高度仿真的工具模拟器至关重要。例如web_search工具可以不真的去搜索而是从一个预设的、与任务相关的知识库中返回固定文本。这能保证评测的可复现性和高效性。5. 结果分析与Agent能力诊断运行完一批任务的评测后我们会得到一系列数据。如何解读这些数据并用于诊断Agent的“病情”5.1 典型问题模式识别通过分析感知分数、行动分数和差距的分布我们可以识别出几种典型的问题模式“空想家”型高感知低行动感知分数显著高于行动分数Gap 0.3。这通常表明工具使用不熟练Agent不熟悉工具调用的具体语法、参数格式或约束条件。环境反馈理解差Agent无法正确解析工具执行后返回的结果导致后续步骤出错。动作序列化能力弱能将大计划分解成步骤但无法将这些步骤转化为精准、有序的动作指令。改进方向针对性地进行工具使用示例的微调Tool Tuning增加动作规划与执行的链式思考Chain-of-Thought训练或者改进Agent的“动作空间”表示方法。“莽夫”型低感知高行动行动分数接近甚至高于感知分数Gap 0。这相对少见但可能意味着任务过于简单或模式化任务可能不需要复杂规划Agent通过死记硬背或简单的模式匹配就能输出正确动作。评估偏差黄金计划可能过于详细限制了Agent的发挥或者行动评估标准过于宽松。模型特性某些模型在指令跟随和格式输出上训练得很好但复杂推理能力不足。改进方向需要设计更复杂、需要多步推理的任务来检验其真正的感知能力。同时检查黄金计划是否限制了Agent的创新性解决路径。“不稳定型”感知和行动分数的方差Variance都很大。这说明Agent的表现严重依赖于任务的具体表述或随机种子缺乏鲁棒性。改进方向需要增加提示词的鲁棒性工程或者通过更多样化的训练数据来提高模型的泛化能力。5.2 错误根因分析案例假设我们在“查询天气并建议穿衣”任务上发现Agent的感知分数高但行动分数低。我们深入分析错误案例任务“查询北京明天的天气并根据天气情况给出穿衣建议。”Agent计划“1. 调用天气API查询北京明天天气。2. 根据返回的温度、降水概率等数据生成穿衣建议。”Agent实际动作get_weather(beijing)-suggest_clothing(“北京明天天气晴气温5-15度”)这里suggest_clothing工具需要结构化输入但Agent传入了字符串。诊断感知阶段完全正确知道先查天气再根据结果给建议。行动阶段失败在工具调用的参数格式错误。这明确指向了“工具接口适配”问题而不是逻辑推理问题。解决方案是为suggest_clothing工具提供更清晰的参数说明或在训练数据中加入更多正确调用该工具的示例。5.3 框架的扩展与变体STOCKTAKE的基础框架可以扩展以适应更复杂的场景多轮对话任务在对话式Agent中“感知”可能包括理解对话历史、用户意图和规划下一轮回应策略“行动”则是生成符合策略的自然语言回复。公平先知需要评估回复策略的恰当性如是否解决了用户问题、是否遵循了预设角色而行动分数则可以由回复的流畅度、安全性等指标衡量。具身智能Embodied AI在机器人或游戏环境中感知是理解视觉场景和任务目标并规划路径行动是生成具体的移动、抓取等动作指令。公平先知可以是一个知道全局地图和物体位置的“上帝视角”规划器用于评估Agent提出的行动路径是否合理。引入人类评估对于主观性较强的任务如创意写作、设计可以将“公平先知”替换为经过校准的人类评估员对“计划”如文章大纲和“成品”如完整文章进行独立打分。6. 常见陷阱、挑战与应对策略在实践STOCKTAKE评测框架时我踩过不少坑也总结出一些让评测更可靠、更有说服力的经验。6.1 先知本身的“公平性”陷阱这是最核心的挑战。我们假设“先知”是公平且准确的但事实可能并非如此。问题如果先知模型本身存在偏见或能力不足它对“计划”的评估就会失真。例如一个创造力不足的先知可能会给那些循规蹈矩但缺乏创新的计划打高分而给更有创意但略显非常规的计划打低分。应对策略使用规则先知在可能的情况下优先设计基于明确规则的评估逻辑这是最客观的。先知校准如果必须用模型先知可以先用一批人工标注好“计划质量”的数据集来校准它确保其打分与人类判断有较高的一致性。多先知投票使用多个不同的强模型作为先知取它们评估结果的平均值或多数票可以减少单个模型的偏差。评估先知定期抽样检查先知的评估结果与人工判断进行对比监控其“裁判”水平的稳定性。6.2 任务设计与评估指标的耦合问题如果任务设计得不好“感知”和“行动”的边界会模糊。例如在一个需要复杂计算的任务中Agent的“计划”里如果包含了具体的计算步骤那么执行这些计算步骤行动的难度几乎为零。这样测出来的行动分数会虚高差距会缩小。应对策略精心设计任务确保“规划”和“执行”是相对独立的两个环节。规划环节侧重逻辑和策略执行环节侧重对工具、API或环境的精确操作。可以在任务描述中明确要求“输出步骤思路不执行具体计算”。6.3 黄金计划的“唯一性”误区问题认为解决一个任务只有一种“黄金计划”。这会导致在评估行动分数时如果Agent执行了一个与黄金计划不同但同样有效甚至更优的计划会被误判为低分。应对策略对于开放域任务准备多个可接受的“黄金计划”变体。在评估行动分数时可以检查Agent的执行结果是否与任何一个黄金计划的预期结果相符。或者将评估重点从“是否严格遵循了给定计划”转向“执行给定计划后是否达成了任务目标”。6.4 计算资源与成本问题STOCKTAKE框架需要运行两次评估感知一次行动一次如果使用商用大模型API成本是传统只评估最终结果方法的两倍。同时模拟工具环境也需要开发成本。应对策略分层抽样不必对所有任务和所有实验都进行完整的STOCKTAKE评估。可以先进行大规模的传统成功率筛选再对成功和失败的任务样本进行深入的STOCKTAKE分析找到共性原因。开源模型在先知和Agent本体上可以尝试使用优秀的开源模型如Qwen、DeepSeek、Llama等来降低成本但需注意其能力与商业模型的差距可能影响评估的绝对尺度。建设可复用的评测沙盒投入时间构建一个高度模拟真实工具环境的评测沙盒虽然前期投入大但长期来看能极大提升评测效率和一致性。6.5 动态环境下的评估问题在真实应用中环境可能是动态变化的如网页结构改变、API更新。在静态评测中表现“知行合一”的Agent可能在动态环境中失效。应对策略在STOCKTAKE框架中引入“环境扰动”测试。例如在评估行动分数时可以轻微改变工具接口的格式或模拟网络请求超时观察Agent的应对能力。这能评估其“行动”能力的鲁棒性而不仅仅是针对固定环境的最优表现。STOCKTAKE框架的价值在于它不再将LLM Agent视为一个黑箱只关心输入和输出而是打开了这个黑箱去审视其内部“思考”与“执行”这两个关键过程是如何协作或脱节的。通过系统性地测量“知行差距”我们能够像医生看化验单一样精准地诊断出Agent的“病因”究竟是出在“大脑”感知规划还是“四肢”行动执行从而进行有的放矢的优化。无论是对于学术研究还是工业界的产品迭代这套方法论都提供了一个远比单一成功率指标更有深度的评估视角。在实际操作中最关键的是理解其思想内核并根据自己面对的具体任务和资源条件灵活地设计和实施这套评测体系。