AI能否分清不同用户需求美团推VitaBench 2.0应对挑战一个经常加班的白领一个带着孩子出游的父亲AI助理能分清他们需要什么样的服务吗现实是它常常分不清。AI能执行明确指令却难记住藏在场景和身份背后的真实需求。它们是真的无法理解还是情商不够高呢自去年10月发布了VitaBench 1.0首次定义生活场景下智能体任务的复杂度美团Longcat团队再次推出VitaBench 2.0它不再仅关注任务难度而是投向更深层次的挑战。VitaBench 2.0是首个真实生活场景下面向长期动态用户建模的智能体评测基准它系统性地评测大语言模型在长期、真实、动态的用户互动中个性化与主动性的能力。VitaBench 2.0的核心看点有哪些其核心“硬核”看点包括一是高难度业界首创首次将智能体场景与丰富用户生态相结合打造面向长期动态用户建模的智能体基准包含56名真实特征用户、819个复杂任务、超2000个动态偏好及66个可执行工具二是超长跨度动态追踪平均每位用户包含2093个交互事件平均时间跨度长达1580天严格按时间线向Agent暴露真实还原用户偏好的演进与漂移三是统一评测生态针对长文本上下文学习与智能体记忆策略的统一评测平台。VitaBench 2.0的设计原理是什么搭建“人生副本”让AI在真实用户轨迹中接受考验不同于一次性问答VitaBench 2.0为56位虚拟用户在送餐、到店、差旅等多个真实领域中构建了包含2000多种动态偏好、跨度长达数年的生活轨迹。这背后有庞大而真实的数据支撑数据生态包含56个拟真用户每个用户都有基于真实世界统计数据构建的独特身份、习惯和需求819个可执行任务贯穿于用户的整个生命周期用户的偏好会动态演变平均每个用户的偏好会发生超过48次动态变化。这些偏好被嵌入到碎片化的互动历史中智能体需从混杂着“信号”与“噪音”的线索中持续对用户进行理解。引入“时间标尺”将持续理解作为核心目标传统的Agent评测关注“单个任务是否完成”而VitaBench 2.0的核心目标是评测智能体是否在持续理解一个动态的人。为此评测的时间轴被拉长用户的平均交互周期长达1580天约4.3年最长甚至达到2974天。在这漫长的时间线里智能体需要不断地提取、利用、并更新对用户的理解才能在后续任务中做出正确决策这改变了评测焦点从单次任务的成功转向了对用户偏好的考核。设立“记忆擂台”对决AI的两种记忆模式为探究记忆在长期用户建模中的作用VitaBench 2.0搭建了首个真实用户场景下的统一长期智能体评测平台通过可扩展的接口让智能体记忆和RAG记忆两种代表性机制在此对决。智能体记忆是AI自己决定记住什么、忘记什么主动维护一个精炼的用户档案RAG记忆像一个外部搜索引擎根据当前任务检索最相关的历史片段。通过对比这两种模式可看到不同记忆架构及同架构下不同设计对个性化决策的真实影响回答“AI应该如何记忆”这一关键问题。同时还设计了主动性任务考验AI的“眼力劲”在这些任务中AI必须意识到信息不足并主动提问而不是盲目决策。用VitaBench 2.0能看清模型的哪些短板VitaBench 2.0不仅给出了总分更用数据揭示了模型们犯错的具体原因。从主要模型在不同记忆设置下的性能排行榜可以看出即使在“开卷”模式下最强的模型Claude - Opus - 4.6的平均分也刚过0.5说明从海量信息中准确提炼偏好本身就比较困难。而切换到更真实的记忆模式模型的表现出现不同程度的下滑。洞察一时间越长AI忘得越快随着任务序列索引增加即时间推移所有模型的平均性能都在下降说明处理超长上下文的能力和记忆模块的累积误差严重限制了AI的长期服务能力。且记忆并没有成为解药大部分模型在接入Agentic Memory或RAG Memory后性能反而低于直接使用全历史记录的场景记忆的正确更新、检索和利用才是真正的挑战。洞察二高“智商”不等于高“情商”常见假设是开启模型的“思考模式”能提升其表现但VitaBench 2.0的实验结果给出了相反答案开启思考模式在个性化任务上并不总是有帮助。从模型在开启/关闭思考模式下的性能与效率关系图可以看到开启思考模式的点并没有稳定地比关闭模式更优越。洞察三AI普遍缺乏“主动沟通”的意愿模型普遍缺乏在信息不足时主动提问的“眼力见”所有模型家族在需要主动提问的任务上得分都出现了“断崖式”下跌。例如Claude家族的平均分从46.0骤降至27.4表明AI倾向于“想当然”而不是在不确定时“多问一句”。洞察四就算“喂到嘴边”AI也未必会吃直接把真实用户偏好告诉模型性能虽有所提升但仍有很大进度空间。即便把真实偏好直接告诉模型多数模型仍然失败说明即使拥有准确的用户画像在高压、多约束的决策中正确应用这些偏好本身就是一个巨大的挑战。洞察五从“工具失误”到“情商不足”的瓶颈转移对模型的失败原因进行分类统计在由66个真实工具构成的复杂生活服务场景中早期模型更多地犯下工具使用错误而更强的模型虽然工具用得更好了但在偏好理解和应用上的失败却成了主要矛盾。这表明随着模型基础能力的提升个性化已是当前Agent的最大瓶颈。定义下一代智能体评测范式VitaBench 2.0有何价值VitaBench 2.0清晰地揭示了当前AI在成为“高情商助理”的路上依然任重道远。它的核心价值在于推动了评测范式的演进从单点任务到长期陪伴从被动执行到主动沟通从黑盒到透明。这使得VitaBench 2.0成为一座连接技术与产品的“桥梁”用可量化的数据回答了“我的AI为什么不够好用”的问题并为开发者指明了模型在“服务于人”这一终极目标上的具体短板。希望VitaBench 2.0能成为一个起点激发更多研究关注智能体的个性化、记忆和主动性共同推动AI从一个强大的“工具”进化为一个有温度的“伙伴”。VitaBench 2.0已全面开源各大模型能否通过这次“情商”大考呢
