--- Environment 目录)
0x00 概要本系列的目的是借着对 OpenClaw-RL 源码的学习来梳理强化学习的一些相关概念和思想。所以会有一些扩展和发散OpenClaw-RL 只是一个切入点。而且因为整篇系列是一个整体所以有些概念的解读/学习会在不同的文章中出现还请大家谅解。OpenClaw-RL 是一个用于在线强化学习Online RL的框架专门针对智能体工具使用场景。它通过从环境反馈中提取过程奖励信号来训练语言模型支持三种主要模式openclaw-rl基于二元奖励的强化学习Binary RL / GRPOopenclaw-opd基于后见之明提示的在线策略蒸馏On-Policy Distillation, OPDopenclaw-combine联合方法在同一 PPO 更新中同时利用 RL reward 和 OPD teacher signalframework我们先给全篇定个基调在 OpenClaw-RL 中环境Environment并不是一个独立封装的模块而是由 真实用户 OpenClaw App FastAPI Proxy 三者共同构成的隐式实体。OpenClaw-RL 的设计哲学是环境的其他部分状态、动作、转移都可以用事实性描述来定义比如 “代码执行后输出 X”、“用户回复了 Y”这些都是可被客观验证的。因此本篇我们就来看看 OpenClaw-RL 的环境到底是如何设计的以及一些与环境相关的功能。0x01 环境建模基础环境建模的核心不是把现实世界完整模拟出来而是把真实工作 “转写” 成一个结构上不失真的可训练决策过程。1.1 标准 RL 系统的 4 模块架构下图是标准 RL 系统的 4 模块架构可以清楚地看到 “环境Environment” 所处的位置。8-四模块结构1.2 单轮 RL 下环境的退化在深入讨论环境建模之前我们先看一个关键背景LLM 单轮 RL 中环境被极度简化。完整 RL loop 中环境承担四类职责s0 → a0 → r0 → s1 → a1 → r1 → … → st → done环境负责: s0初始状态、s1→st 的转移、r0→rt奖励、done终止但 LLM 单轮 RL 把多步交互压扁成了一次性输出s0 → [a0, a1, …, at] → r环境只负责: s0 (prompt) 和 r (terminal reward)中间步骤token 生成全在 model 内部完成环境不参与 token-level 交互 → 环境退化为 “prompt 提供器 reward 打分器”因此在单轮场景下环境的四类职责State / Transition / Reward / Termination中Transition 和 Termination 几乎退化为零真正起作用的只剩 State提供 prompt 和 Reward打分 两项。我们后面在 0x03 会看到OpenClaw 的多轮对话场景会把这四项重新拉满但理解单轮的退化形态有助于看清 OpenClaw 设计的特殊性。这里点出一个容易被忽视的点State 虽然看起来只是提供 prompt但它决定了 prompt 分布而 prompt 分布直接决定训练效率。想象两个环境Env A 只提供数学题Env B 提供数学代码写作即使两者用完全相同的 reward function训练出的模型也完全不同。State 的质量本质上就是 Rollout Allocation 的一部分。1.3 环境建模的特点环境建模的核心是结构性不失真即因果结构的等价性而非现象层面的相似性。一个看起来很简单但保留了哪些决策影响哪些结果的环比一个看起来很真实但扭曲了这条因果链的环境更有价值。完整模拟的代价与陷阱我们来看看Web Agent的完整模拟尝试其模拟如下真实浏览器 完整渲染 JavaScript执行真实网站(可能需要登录、CAPTCHA)真实网络延迟其问题如下单次rollout耗时数分钟(无法并发训练)网站随时变化(训练数据不可复现)大量细节与做决策无关(像素精度对决策无意义)无法reset到相同初始状态(非Markov化)完整模拟不仅不必要而且可能损害训练一它把大量计算浪费在与决策无关的细节上。什么是结构上不失真”核心保留决策的因果结构而非感官的真实性。结构 以下四者的组合。结构上不失真就说明其保留了这四者的组合。动作空间(可以做什么)状态—动作因果关系(做什么会导致什么)奖励信号的归因结构(哪些决策真正重要)难度分布(任务有没有代表性)一个反例(结构失真)是假设为了简化把Web任务的搜索操作改为“输入关键词系统直接返回最相关的5个结果”。此时问题如下真实Web关键词选择影响后续哪些信息可见简化版关键词选择对结果几乎无影响(系统帮你做了retrieval) → 模型永远学不到如何构造有效搜索词这个技能 → 结构被破坏即使视觉上看起来像网页结构失真 vs 细节失真细节失真(可接受)WebShop没有真实的UI渲染ALFWorld的物理引擎不是完全准确的 → 对学习如何导航到物品的技能无影响结构失真(不可接受)奖励函数惩罚所有超过10步的轨迹”(即使10步可以完成任务) → 模型学到的是如何在10步内完成任务”而非如何完成任务” → 泛化到真实任务时任务需要15步→模型表现差所有agent action必须从预定义列表中选择”(离散化action空间) → 模型无法学习构造复杂的文字指令→ 迁移到真实任务(自由文本输入)时完全失效转写的含义转写 找到一个 MDP使其与真实工作在决策层面等价真实工作 → MDP 转写─────────────────────────────────────────────────────────程序员修复 bug State: 代码 issue 描述Action: 生成 diff / 调用命令Transition: 执行命令后的输出Reward: 测试通过/失败用户与 AI 对话 State: 对话历史Action: 生成回复文本Transition: 用户的下一句话(真实行为)Reward: next_state 是否表明帮到了用户家庭机器人导航 State: 房间图 物体位置Action: 移动/拾取/放置Transition: 物理模拟结果Reward: 任务是否完成OpenClaw 的转写方式OpenClaw 是这个原则的极致实践—它几乎不转写直接使用真实工作真实对话 直接的 MDPState messages array(原始对话历史无抽象)Action 完整自然语言回复(无离散化)Transition 用户的下一条真实消息(非模拟)Reward judge(response, next_state)(唯一的人工成分)转写的最小化带来的优势无模拟Gap(真实环境即训练环境)动作空间与真实部署完全一致状态转移由真实用户驱动(最真实的外部反馈)唯一的结构风险是Reward函数设计不当 → 即使其他一切真实MDP结构仍然失真 → 这就是PRM judge 设计的核心挑战。0x02 真实用户 Environment2.1 标准 env标准 env如 Atari/MuJoCo/数学验证的优点如下☑ 确定性相同 action → 相同 next state☑ 可重复env.reset() 随时重来☑ 可控速想跑多快跑多快☑ 可并行开 1000 个 env 实例☑ 可观测完整状态可见☑ 均匀分布可以控制 prompt 分布2.2 真实用户真实用户创造了自然的能力边界课程用户不发送不可能完成的任务(会换平台)用户不发送完全无需AI的任务(会自己做)→ 用户群体的需求分布天然集中在AI需要思考但可以成功的区间 → 这是一种有机的curriculum无需显式的难度控制对比离线RL必须从固定数据集采样可能大量遇到模型太强/太弱的任务(饱和/无法完成)产生大量零梯度组2.3 特殊挑战真实用户作为 Environment 的特殊挑战如下。不可控的数据到达速率凌晨3点0个用户 → 训练饿死 → rollout_batch_size16可能等 30 分钟晚上8点50个用户同时聊 → 数据洪水 → queue 堆积→数据变staleoff-policy 程度加剧代码应对_drain_output_queue 的while 循环 timeout 日志“waiting for API-produced samples: 3/16, queue0” ← 在等用户不可控的Prompt分布标准RL从curated dataset采样 → 数学题/代码题/写作题均匀分布OpenClaw用户想问啥问啥可能的情况连续50个人问“帮我写情书”→模型在情书上过拟合没人问数学→数学能力退化大量hello/你好→无效训练数据→ 无法做curriculum learning 课程学习 → 无法控制 difficulty distribution不可重复Non-replayable标准RL同一个prompt可以生成N16个回答 → GRPO组内比较OpenClaw:用户说“帮我分析这个bug”你不能让用户“再说一遍“然后给4个不同回答→ N1GRPO退化 → 无法做rejection sampling挑最好的回答 → 无法做best-of-N非平稳Non-stationary标准RLenv 规则不变CartPole的物理规则固定OpenClaw:周一用户主要问工作问题周末用户主要闲聊新功能上线后用户行为突变某个话题在社交媒体爆火→ 突然大量相关问题→ “环境“本身在变化 → 之前学到的策略可能不再适用 → 需要持续适应延迟反馈Delayed Partial Reward标准RLaction→立即得到reward毫秒级OpenClaw:模型回复 → 用户看了… → 可能5分钟后才回复下一条 → 这5分钟内不知道用户满不满意 → PRM评分是替代品不是真实用户反馈 → 用户可能直接退出无反馈→ 真实的reward signal其实从未获得 → PRM是noisy proxy部分可观测Partial Observability标准RLenv.state完全可见OpenClaw:用户的真实意图不可见“帮我写代码“→是作业工作学习用户的满意度不可见沉默满意用户的上下文不可见他之前用别的 AI 聊过什么多轮对话中的隐式状态不可见→ 模型只能通过messages推断意图 → PRM也只能基于文本评分无法知道用户真实感受训练影响环境Training Affects Environment标准RL:env 不受agent训练影响CartPole不会因为agent变强而改变物理规则OpenClaw:模型变好 → 用户满意度上升 → 用户更活跃 → 更多数据 → 训练更快模型变差 → 用户流失 → 数据减少 → 训练变慢/停滞模型学会某种风格 → 吸引特定用户群 → prompt 分布偏移→ 正反馈/负反馈循环 → 非平稳加剧 → 可能陷入 “filter bubble” (信息茧房)2.4 OpenClaw 的应对策略挑战 OpenClaw 的应对 效果①数据断流 _drain_output_queue 阻塞等待 ⭐⭐ 基本够用②分布不可控 无 (完全被动) ❌ 未解决③不可重复 N1 OPD 补偿 ⭐⭐⭐ 部分补偿④非平稳 无显式处理 ❌ 未解决⑤延迟反馈 PRM 即时代理评分 ⭐⭐⭐ 可用但有噪声⑥部分可观测 多轮 session 维护 ⭐⭐ 基本够用⑦训练影响环境 无显式处理 ❌ 未解决真实用户作为 environment 有 7 大挑战。OpenClaw 解决了能跑起来的工程层面的 3 个 (①③⑤ / 数据断流、不可重复、延迟反馈)但跑得好的理论层面的 4 个 (②④⑥⑦ / 分布不可控、非平稳、部分可观测、训练影响环境) 还未解决还有很大空间。0x03 OpenClaw 环境的作用前面 1.2 节我们看到单轮 LLM RL 中环境会退化为prompt 提供器 reward 打分器。但 OpenClaw 是多轮对话场景四类职责会被重新拉满。我们结合代码逐一拆解。先回顾环境在 OpenClaw 中的四类职责对应关系8-OpenClaw 环境
