Agentic RL 必读论文合集（附代码）

2025年一篇由牛津、UCSD等顶尖机构联合完成的、整合了超过500篇文献的综述发表该文提出的“双重分类体系”从“能力”和“任务”两个核心维度来解构Agentic RL为我们提供了一个清晰的定位研究、发现空白的坐标系。本次就从“能力”维度出发整理了23篇Agentic RL必看前沿论文按六大核心能力分组规划、工具使用、记忆、推理、自我改进、感知。由于篇幅原因每组只选取1篇高质量论文解读对更多工作感兴趣同学可以获取完整合集仔细研读。另外合集内附开源代码可直接复现。全部论文开源代码需要的同学看文末1规划 (Planning)将复杂任务拆解为多步行动计划并能根据环境反馈动态调整。论文Learning Agentic Policy from Action Guidance背景动机现在的LLM智能体强化学习受基础模型能力边界限制难题会出现奖励状态不可达、训练停滞依赖成本高昂的SFT冷启动而海量仅动作交互数据未被有效利用因此亟需低成本方案突破探索壁垒。核心创新本文提出ACTGUIDE-RL以轻量化行为轨迹作为自适应最小干预式动作指引配合混合策略优化解决智能体强化学习基础模型能力边界导致的探索失效问题无需大量SFT冷启动即可媲美SFTRL流水线效果。2工具使用 (Tool Use)自主判断并调用外部工具如搜索引擎、代码解释器来完成任务。论文Agentic-R: Learning to Retrieve for Agentic Search背景动机现有检索器仅依靠单轮RAG的局部相似度训练无法适配多轮智能体搜索的全局推理链路易引入误导文档且训练查询分布存在偏差同时检索器与搜索模型单向优化、无法互相迭代提升因此本文设计面向智能体搜索的专用检索训练框架Agentic-R。核心创新提出Agentic-R检索训练框架融合局部查询相关性与全局最终答案正确率双重文档效用指标构建正负样本并设计智能体与检索器双向迭代优化流程交替训练二者实现互相增益在多类问答任务显著提升效果且减少检索轮次。3记忆 (Memory)在长期交互中保留关键信息并学会“什么值得记住”。论文ECHO: Prune to act, trace to learn with selective turn memory in agentic RL背景动机长时序智能体RL的上下文压缩方案会丢失原始交互溯源信息导致稀疏终末奖励无法精准分配到有效证据步骤易产生冗余工具调用、训练低效、泛化差的问题因此本文提出ECHO框架解决上下文压缩与可追溯信用分配的耦合痛点。核心创新提出ECHO选择性回合记忆框架采用源索引存储各轮交互摘要并由模型自主筛选历史证据重构受限上下文配套溯源式信用分配机制仅给最终答案、选中记忆及选择动作分配正向奖励在不额外增加开销下兼顾长时序推理效率与精准梯度更新大幅提升多类任务性能与零样本泛化能力。4推理 (Reasoning)根据任务需求在快速的直觉推理与深度的链式推理间切换。论文Agentic critical training背景动机现有模仿学习仅让模型复刻专家动作、无法区分优劣早期反思方法仍属于模仿范式只能复刻预设反思文本而非自主评判动作好坏因此本文提出ACT通过强化学习训练模型自主对比动作、生成真实反思以提升智能体决策与泛化能力。核心创新提出Agentic Critical TrainingACT两阶段强化学习框架构造专家与次优动作对比样本仅依靠选择正误奖励驱动模型自主形成评判式反思无需预设反思文本可前置搭配IL/RL提升智能体任务性能、域外泛化与通用推理能力。5自我改进 (Self-Improvement)通过反思和总结经验实现自我修正和持续进化。论文ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL背景动机当前智能体RL方法将技能构建与策略优化割裂易出现技能与演化策略冲突、泛化差的问题且缺乏能在训练环路内低成本动态迭代、验证筛选适配技能的方案因此本文提出RESKILL实现技能与策略协同共进化。核心创新提出嵌入GRPO训练环路的RESKILL协同进化框架依托组内采样、自适应折扣汤普森采样实现新旧技能版本在线对照评估并通过断言式故障诊断自动迭代技能库在不增加额外采样开销下达成技能与策略同步优化显著提升域外任务性能。6感知 (Perception)理解和处理多模态信息如图像、音频与环境建立更丰富的联系。论文PyVision-RL: Forging Open Agentic Vision Models via RL背景动机现有多模态智能体RL普遍存在训练交互坍缩、模型减少工具调用的问题动态Python工具方案仅局限于图像且视频方向缺乏成熟开源方案传统视频均匀采样还会产生大量冗余视觉token亟需稳定高效、兼顾图像与视频的统一开源多智能体RL框架。核心创新提出统一多模态强化学习框架PyVision-RL采用Python作为通用动态工具设计累积工具奖励与过采样-筛选-排序回滚策略解决训练交互坍缩问题并为视频推理设计按需上下文构造机制大幅削减视觉token开销同时构建图像、视频两套智能视觉模型。关注下方《学姐带你玩AI》回复“222”获取全部方案开源代码码字不易欢迎大家点赞评论收藏