26年7月来自清华、上海AI实验室、北大和中科大的论文“Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation”。尽管近期的视觉-语言-动作VLA模型在实现通用操作策略方面展现出巨大潜力但由于其仅依赖当前观测的马尔可夫特性它们在处理长程long-horizon任务时往往力不从心。分层双-系统方法虽能缓解这一问题却面临着高层规划语义与底层执行运动学之间存在鸿沟的挑战。为此本文提出 Cortex——一个具备双向对齐能力的具身智体框架。该框架引入定制化的规划接口能够将高层视觉-语言模型VLM生成的规划转化为底层 VLA 可执行且易于求解的子任务方案。具体而言将操作子任务标准化为 32 种典型技能原语并在数据生成流程中融入了可求解性原则如代表性物体属性和优化的轨迹可达性。这能够自动标注超过 4000 小时的开源视频数据并生成 30 小时的仿真数据。此外设计一种事件平衡采样event-balanced sampling策略来构建微调数据从而提升框架在子任务切换期间处理规划歧义的能力同时通过精心设计的驾驭harness工程实现了从任务上下文到技能约束的有效衔接进一步增强了推理阶段的性能。开环 VLM 评估与闭环系统评估均证实了 Cortex 的有效性例如在 Libero-long 和 RoboTwin 基准测试中其性能分别比单一模型基线高出 3.1% 和 4.1%。视觉-语言-动作VLA模型通过将多模态输入直接映射到连续的运动控制从根本上重塑了具身智能并在短时程任务中实现了卓越的零样本泛化能力 [1, 2, 3, 4]。然而随着任务在时间维度上的复杂度增加单一架构的 VLA 面临着一个关键瓶颈马尔可夫式的“短视”问题。由于仅依赖即时反应而缺乏持续的进度验证或时空记忆这些模型难以区分实际的任务进展与瞬时的视觉观测 [5, 6]。因此在执行长时程指令时它们经常丢失对中间状态的追踪并盲目重复动作不可避免地导致执行误差的累积。近期尝试通过视觉帧缓冲 [7, 8] 来缓解这一问题的方案受限于有限的上下文窗口难以构建逻辑规划所需的语义记忆。另一种方案是采用分层双-系统范式将认知规划与反应式执行解耦。然而这类方法从根本上缺乏双向对齐机制即高层视觉-语言模型VLM应考量底层 VLA 的能力而底层 VLA 也应具备针对 VLM 输出的鲁棒性与适应性。早期的双系统规划器 [9, 10] 往往充当“脱离具身环境的观察者”其输出的规划缺乏明确的具身约束导致指令对于下游执行器而言在运动学上缺乏落地基础从而引发了严重的语义与运动学域间差距。近期的研究 [5, 11, 12] 虽然赋予了 VLA 记忆能力但在规划对齐方面仍显不足。为应对这些挑战提出 Cortex——一个与执行过程相协同的认知调度器。该系统基于一个双向对齐的具身智体框架构建并采用定制化的规划接口将可执行且易于处理的信息从高层 VLM 传递给底层 VLA。具体而言首先定义一种接口子任务表述方式并据此构建相应的元数据。为了确保可执行性将操作类子任务标准化为 32 种规范化的技能原语从而实现了对超过 4000 小时开源视频数据的自动标注。为了确保系统的可控性与可处理性将物理原理如具有代表性的物体属性和改进的轨迹可达性直接融入数据生成流程从而构建超过 30 小时的高质量仿真数据集。基于这些元数据设计一种事件平衡采样策略用于构建子任务执行与转换样本从而微调框架使其能更好地应对不同阶段的规划不确定性。在推理阶段我们通过精心设计的驾驭工程harness engineering包括结合任务上下文与技能约束去增强智体框架以确保规划器与执行器之间的高度协同。如图1所示与以往工作相比Cortex 是一个具身智体框架它在子任务的可执行性和可操作性层面将高层 VLM 与底层 VLA 对齐从而实现了长程操作任务中的协同规划与执行。1 框架概述如图2所示Cortex框架由VLM视觉-语言模型和VLA视觉-语言-动作模型组成。VLM接收指令和图像观测作为输入并结合文本记忆记录进行子任务规划VLA则接收子任务作为输入进行反应式执行。这里的关键问题在于定义一个定制化的子任务接口以实现VLM与VLA的对齐该接口需同时满足可执行性和可处理性的要求。接口表述。为了实现通用具身自主性分层智体必须能够可靠地将开放式的人类意图全局指令 I转化为连续、高频的运动指令动作序列 a_t。然而若直接将不受约束的高层认知推理映射到底层反应式控制不可避免地会导致严重的语义-运动学鸿沟。其将子任务s_t实例化为一个双向对齐的接口来解决这一问题。例如针对“清洗烧杯”这一复杂的全局指令 I该接口将规划落地为可执行的技能原语如 s_1“从桌上[抓取]烧杯”。尽管接口 s_t 保证即时的运动学落地但若系统仅执行孤立的子任务在视觉状态出现歧义时极易陷入执行循环。因此引入一个动态更新的语义记忆 M(t)作为连接离散子任务的时间桥梁。在第 k 个子任务阶段的任意时间步 t该时间先验信息会聚合所有先前达成的里程碑M(t) M(0) ⊕ L_k−1 Φ(s_i) 其中 ⊕ 表示语义拼接Φ(s_i) 对第 i 个子任务的完成状态进行编码。从初始记忆 M(0)例如“这是第一个子任务尚未完成任何子任务”开始M(t) 积极地将先前的里程碑聚合成一个综合的历史记录。举例说明在生成第4个子任务s_4“[旋开]水瓶盖”之前记忆会明确记录“机器人已抓取烧杯并将其放置在平台上随后抓取了水瓶”。2 元数据标注与生成基于接口定义构建后续训练所需结构化元数据的可扩展流水线。开源数据标注。整合来自既有基准如 AgibotWorld [31, 32]、Galaxea [33]、BEHAVIOR-1K [34]、RoboCerebra [35]及新采集的真实世界遥操作数据的长程任务片段平均包含超过 7 个子任务总时长超过 4000 小时。为确保可执行性规范 32 种标准技能原语skill primitives。每个原语均被赋予特定的技能类别及严格的语言模板例如[旋松] [物体]、将 [物体1] [堆叠] 在 [物体2] 上以建立统一的语法规范。对于现有的开源数据集利用 Qwen3-VL-235B [36] 依据上述模板重新标注子任务并显式合并静态帧。如图3所示针对真实世界的演示数据部署一套自动化的边界推断流水线将原始轨迹转换为结构化的子任务标注。首先通过对均匀采样的帧提示promptingQwen-VL为参考片段生成粗略的边界先验信息。对于其余片段将分割任务建模为多模态序列划分问题。在每一帧 t将状态-动作对 (o_t, a_t) 与视觉特征 I_t 融合为联合表征 x_t [φ_s(o_t, a_t), φ_v(I_t)]。随后利用动态规划算法计算最优单调边界 b_1 · · · b_K−1即最小化帧与子任务间的兼容性代价同时引入持续时间先验和低运动状态边界惩罚项进行正则化约束。仿真环境下的程序化数据生成。利用 RoboTwin [37] 和 RMBench [12] 等仿真器根据高层任务程序化地合成新且最优的操作序列并在专家演示数据采集过程中实时生成子任务标注。子任务边界是在专家执行过程中通过程序定义的当进入某个语义阶段时相应的作用域即开始并在构成该阶段的底层原语执行完毕后结束。为了确保计算的可行性提取详细的仿真资产以确定物体类别并直接根据其材质属性推导颜色例如“蓝色玩具车”。当场景中存在多个相同的资产时利用物体的位姿信息通过相对空间标识符例如“右侧的白色订书机”来区分它们。交互次数则采用基于规则的方法进行标注。至关重要的是数据生成流程明确纳入机器人本体的描述以评估可达性从而确保能够生成最优的子任务规划路径以及满足运动学约束的执行轨迹。3 训练事件平衡采样。基于经筛选的元数据对双-系统框架进行微调时需要解决子任务转换期间的规划模糊性问题。标准的均匀帧采样会使模型严重偏向于当前的执行过程从而掩盖关键的任务边界。因此设计一种事件平衡采样策略来构建训练数据。如图4所示首先根据轨迹中各时刻与真实子任务边界 t_k 的接近程度定义三个不同的时间阶段。为了捕捉状态变化引入非对称的时间裕度epsilon_1边界前和 epsilon_2边界后。边界转换阶段定义为 t ∈ [t_k − ε_1 , t_k ε_2]。由于视觉上的完成标志通常在确切的子任务边界之后稍晚出现根据经验设定 epsilon_2 epsilon_1并将该转换阶段的总时长保持在约 1 秒。在此阶段模型必须通过视觉确认物理完成情况以消除转换的模糊性进而通过更新记忆并规划下一个子任务 s_k1 来触发离散的状态推进。任务内执行阶段涵盖了剩余的时间区间定义为 ∈ (t_k−1 ε_2, t_k − ε_1)。在此阶段观测数据反映稳定的动作模型必须学习“语义耐心”即在不修改记忆状态的情况下维持当前活跃的子任务 s_k。最后的尾部阶段为 t ∈ [t_K − ε_1, t_K]标志着轨迹的结束。该模型处理最终的记忆状态与当前的视觉观测信息并显式输出一个终止token以表明全局指令已完全执行完毕。为了平衡连续状态维护与离散逻辑推进的学习过程在这些阶段之间设定近乎相等的采样比例。鉴于转换帧transition frames和结束帧final frames较为稀缺在这些边界阶段采用更密集的采样步长并根据不同数据集的子任务长度差异动态调整步长。首先利用这一事件均衡数据集对 系统-2 VLM [36] 进行微调使其能够主动预测当前子任务并根据视觉流更新记忆。随后基于相应的运动指令对 系统-1 VLA [19] 进行微调并严格限定其执行由 VLM 接口提供的可执行子任务。4 推理异步推理。为了在不阻塞高层协调器orchestrator的前提下最大化系统的响应能力双-系统以异步方式持续运行。系统-2 以较低频率运行结合流式视觉观测数据与循环记忆日志recurrent memory log来监控任务进展。驾驭Harness工程。为了成为多功能的通用智体智体必须动态弥合开放式人类意图与符合运动学约束的技能之间的鸿沟。如图5所示Cortex 通过将多样化的全局指令 I涵盖粗略抽象目标、详细程序描述及明确子任务列表无缝映射至统一指令接口来实现这一目标。驾驭Harness构建严谨的提示prompts为视觉-语言模型VLM提供丰富的任务上下文——主要结合了指令 I 与实时更新的记忆日志 M(t)。为确保可执行性对 VLM 的输出空间施加严格的技能约束。在后处理阶段Harness 利用序列匹配技术将生成的原始子任务描述准确映射至预定义 VLA 技能库中最匹配的标准基元canonical primitive。实现细节场景类别与任务分配。为了探究“系统2”System-2规划的互补维度将评估套件划分为三个场景类别分别对应空间定位spatial grounding、长时程序列推理long-horizon sequential reasoning以及计数-敏感的操控任务counting-sensitive manipulation。每个类别包含五个选自 AgibotWorld [31]、Galaxea [33] 和 BEHAVIOR-1K [34] 的任务总计 15 个执行任务。图 10 展示这三类场景的代表性画面从中可以直观了解各评估维度所特有的观测复杂度和规划挑战。在回合级episode-level评估中为每个任务采样 10 条轨迹即每个场景类别包含 50 条轨迹总计 150 条轨迹。在步骤级step-level评估中利用 AgibotWorld [31]、Galaxea [33] 和 BEHAVIOR-1K [34] 的验证集构建了一个均衡的基准测试集使得每个类别包含约 1,000 个经评估的样本。原子技能词汇表。System-2 不会生成不受约束的自由形式动作。相反训练和评估均采用包含 32 种机器人原子技能的固定候选词汇表如下所示基于当前的观测、任务指令和活跃语言记忆System-2 在执行任务时必须首先从该词汇表中精确选择一项技能随后生成相应的子任务及更新后的记忆。这种受限的技能空间减少了开放词汇带来的偏差并提高了生成子任务的稳定性从而有利于后续的指令标准化和 System-1 执行。提示模式评估。遵循“全格式指令接口”Omni-Format Instruction Interface的设计在三种互补的指令模态下评估 System-2粗略的抽象目标、详细的程序性描述以及明确的子任务列表。这些模态在提供给规划器的任务顺序监督信息量和结构上各不相同但共享同一个预测目标即在给定当前观测和累积语言记忆的条件下模型必须识别出当前可执行的子任务及其对应的活跃压缩记忆状态。Qwen-3.5-9B 评判提示词。用 Qwen-3.5-9B [38] 作为大语言模型LLM评判员进行评分。对于每个样本评判员针对子任务正确性和记忆正确性给出 {0, 0.4, 0.9, 1.0} 范围内的离散归一化评分。为避免因完全词汇匹配而导致评判员评分偏低若预测的子任务或记忆字符串与参考答案逐字符完全一致则确定性地给予满分。真实世界机器人实验硬件配置。真实世界实验在 ARX ACONE 双臂平台上进行该平台配备了用于场景观测的 RGB 摄像机。机器人在包含家居用品、厨房工具及化学实验容器的桌面操作场景中进行评估。除非另有说明所有实验均从人工重置的场景配置开始而后续的子任务转换由 Cortex 在线决定无需人工干预。 System-1 以约 10 Hz 的频率运行闭环动作生成而 System-2 则以约 2 Hz 的频率执行高层验证和子任务生成。System-1 执行器。现实世界中的执行器被实例化为一种 MEM 风格的 VLA 策略 [5]记为 π_sub该策略利用一个持续数秒的短时记忆窗口。它是在目标机器人配置下收集的长程long-horizon演示数据上进行训练的但其动作预测依赖于当前的 RGB 观测、短时记忆窗口以及由驾驭harness接收的可执行子任务。与依赖原始长程任务指令的任务级端到端基线 π_mem 相比System-1 接收的是简短且具有物理落地意义的指令例如“拿起玻璃烧杯”或“把杯子放进微波炉”。这种指令输入方式抑制了无关的未来步骤并在同一任务片段中出现多个视觉相似物体或重复的技能基元时降低了歧义性。执行器训练数据。System-1 的训练数据被分割成子任务级别的片段包含成对的语言标注和连续动作轨迹。对于复杂的现实世界任务针对部分演示数据使用人工校准的边界以便在抓取、倾倒、放置和释放工具等涉及丰富接触交互的转换阶段建立可靠的监督信号。其余轨迹则可通过自动分割流程进行对齐。这种混合策略旨在保持执行精度的同时减少长程数据收集所需的人工标注工作量。部署驾驭Deployment Harness。长程任务执行需要 System-2 规划与 System-1 控制之间的紧密协作而现实世界的部署环境往往伴随着瞬时遮挡、状态变化延迟以及意外扰动。为了稳定这种异步双-系统循环部署驾驭充当低频规划器与高频执行器之间的轻量级仲裁层。在 System-2 的每个推理步骤中驾驭harness都会接收一个候选子任务及记忆更新信息。它不会将每一次预测直接转发给 System-1而是执行指令保持command holding和异常转换过滤操作。只有当新指令能够映射为可执行的 System-1 指令且在相邻的 System-2 预测之间未表现出异常的高频切换时该指令才会被采纳否则系统将保留先前的指令从而使 System-1 能够持续生成高频动作避免出现不连续的中断。标准化指令映射。由于 System-2 生成的是开放式语言而 System-1 是基于标准化的指令标注进行训练的因此驾驭harness会将生成的每个子任务标准化为执行器可识别的指令。当生成的指令符合规范的技能模板时系统采用精确模板匹配对于语义等价但表层表达形式不同的指令例如“grasp the beaker”和“pick up the beaker”则采用关键词匹配作为一种保守的备选方案。当存在多个合理的可执行标签时驾驭harness会根据前述的“异常切换过滤器”来选择输出。这些标准化和保守选择规则减少了因语言表层形式差异而导致的数据分布偏移促使 System-1 依据预期的子任务指令进行决策而非依赖训练数据中特定场景的偏差。基于超时的动作处理。现实世界中的感知与执行往往无法完全同步。在某些情况下System-1 可能会在 System-2 视觉确认状态转换之前就完成了动作导致机器人停留在某个边界状态附近。为防止死锁驾驭引入了超时机制。如果在预设的时间间隔内 System-2 未输出可接受的状态转换机器人将执行一个缓慢、小幅度的纠正或重置动作。该动作并不强制推进任务进度而是旨在刷新 System-2 可获取的视觉信息同时将对任务状态的干扰降至最低。这一机制在烧杯清洗和化学液体搅拌任务中尤为重要因为在这些任务中最具信息量的头部视角观测来自较高的摄像机位置这与大部分训练数据分布存在显著差异。在这种更具挑战性的零样本zero-shot部署场景下利用超时机制摆脱局部死锁能显著提升现实环境中的可靠性且无需对 System-1 进行额外的数据增强。零样本部署能力。Cortex 零样本部署的两项核心能力提示模式prompt-mode的灵活性与子任务级的进度反馈。前者使 Cortex 能够适应不同的提示规范同时确保整体规划的正确性后者则通过决定何时维持当前子任务、更新记忆或推进流程从而稳定长程任务的执行过程。提示模式的灵活性。 Cortex 在统一的部署接口中支持粗略目标、详细的操作步骤指令以及明确的子任务列表。这种灵活性在“零样本”zero-shot场景下至关重要因为现实世界中的任务对于提示prompt所需提供的操作结构细节要求各不相同。选择“垃圾处理”实验作为提示模式对比的主要案例研究因为它既足够精简以便进行受控对比又涵盖物体定位object grounding和完成情况验证等必要环节。子任务级反馈——支持试错机制。Cortex 在物理执行过程中保持实时反馈。当观测的物理状态偏离预期规划时Cortex 能够识别出这种不匹配而不会盲目地按照固定顺序或常规操作逻辑切换到下一个子任务也不会在不重新评估的情况下固守当前子任务。得益于训练期间的记忆压缩和时间对齐能力Cortex 综合考量输入记忆、任务指令和当前观测结果以判断当前子任务是否已完成以及是否需要更新记忆中记录的状态。随后它会相应地更新可执行子任务和记忆内容。这种能力在面对现实世界的扰动、部分执行失败或视觉验证延迟等情况时尤为重要。通过两个典型案例评估这一能力人为引起的状态扰动和机器人操作过程中的局部执行失败。在扰动案例中预定任务要求机器人拿起水瓶、拧开瓶盖并倒水。在执行前手动拧开瓶盖。Cortex 观测到这一状态变化并自动添加了“我拧开瓶盖”这一记忆更新。在拿起水瓶后它直接进入倒水子任务而不会多余地输出拧开瓶盖的指令。在化学液体搅拌任务的局部失败案例中机器人尝试从试管架上抓取一个瓶塞。由于瓶塞在接触时发生转动导致难以捏住最初的几次尝试均告失败。Cortex 检测到瓶塞未被成功抓取保留当前的记忆和子任务状态直到第三次尝试成功后才推进到下一个子任务。这些案例直接检验 Cortex 是否执行在线成功验证而非盲目遵循预计算好的子任务列表。
