标题Autodata: An agentic data scientist to create high quality synthetic data来源arXiv, 2606.25996v2️文章简介研究问题如何让AI智能体像数据科学家一样自主迭代生成并优化高质量合成训练数据主要贡献论文提出Autodata框架及Agentic Self-Instruct方法通过智能体闭环与元优化显著提升合成数据质量与模型训练效果。重点思路构建数据科学家智能体循环包含数据创建、定性定量分析、洞察综合与配方更新四个迭代阶段直至数据质量达标。设计Agentic Self-Instruct具体实现由主协调器指挥挑战者、弱求解器、强求解器和验证者四个子智能体协同工作。利用强弱求解器的性能差距作为反馈信号动态调整生成策略确保数据难度适中且能有效区分模型能力。引入元优化机制将智能体脚手架视为代码通过进化算法自动分析失败轨迹并修改提示词提升智能体造数能力。针对非可验证任务采用基于评分标准的评估体系并根据弱求解器的反馈方差判断数据对强化学习的适用性。分析总结在计算机科学任务中智能体循环使弱求解器得分下降22分强弱差距扩大至31.4%生成的数据更具区分度。使用Agentic数据训练的4B模型在CS和法律推理任务上均优于CoT数据训练模型甚至在法律任务上超越397B基座模型。在法律推理任务中智能体成功解决了传统方法生成数据过难导致RL梯度消失的问题提升了弱求解器得分方差。科学推理实验表明高质量难例数据不仅提升难题表现还能正向迁移至简单任务且比单纯增加数据量更高效。元优化使数据科学家智能体的验证通过率从62.1%提升至79.6%自动发现了防止上下文泄露等关键改进策略。训练显著降低了推理截断率约50%的准确率提升归因于模型学会了在固定Token预算内更高效地推理。个人观点论文将合成数据生成从静态流水线转变为动态优化的智能体系统建立了以“下游学习效用”为目标的自适应反馈机制。
