阿里：GD2PO缓解多奖励冲突

标题GD2PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization来源arXiv, 2606.16771v1️文章简介研究问题大模型后训练强化学习中如何解决多维度奖励信号相互抵消导致优化效率低下的问题主要贡献论文提出GD2PO算法通过冲突感知过滤和查询级重加权机制有效消除多奖励冲突并显著提升训练效率。重点思路针对现有GDPO方法在聚合优势时正负信号相互抵消的缺陷提出组动态奖励解耦策略在损失聚合前拦截跨奖励冲突。设计Rollout级冲突感知过滤机制包含硬过滤和信噪比过滤两种规则剔除各维度奖励优势方向严重不一致的样本。引入查询级重加权策略利用过滤后的样本保留比例作为一致性代理指标动态调整每个Query的策略更新强度以稳定训练。将上述机制整合为统一目标函数使模型聚焦于多奖励共识样本避免无效梯度干扰从细粒度和全局粒度双重缓解冲突。分析总结在工具调用和有用性-安全性对齐任务中GD2PO在多个基座模型上均显著优于GRPO和GDPO等基线方法。两奖励设置下硬过滤效果更佳而在三奖励复杂场景中基于信噪比的软过滤因能区分轻微分歧与严重冲突而表现更优。消融实验证实查询级重加权带来了额外性能增益且SNR阈值在一定范围内具有鲁棒性无需精细调参。训练过程中的冲突比率分析表明多奖励冲突是普遍存在的动态现象验证了冲突感知过滤作为通用机制的必要性。案例研究显示该方法提升了语义层面的决策质量如准确追踪工具依赖和在安全对齐中提供更清晰的边界引导。个人观点论文借鉴DAPO的动态采样思想将其从单一正确性验证拓展至多维奖励一致性检测在优势聚合前进行样本级“清洗”从根本上解决了信号抵消问题。