百度：经验引导强化学习压缩思维链

标题ExpThink: Experience-Guided Reinforcement Learning for Adaptive Chain-of-Thought Compression来源arXiv, 2605.07501v1️文章简介研究问题如何解决现有强化学习方法在压缩思维链时因忽略模型能力动态变化和题目难度差异而导致无法兼顾准确率与推理长度的问题主要贡献论文提出了 ExpThink 框架通过经验引导的奖励塑造和难度自适应优势估计实现了在不降低准确率的前提下大幅压缩推理长度。重点思路构建全局经验缓冲区记录每个问题在训练过程中出现过的最短正确解答长度作为动态收紧的压缩目标基准。设计三层奖励机制对短且正确的回答给予满分对长但正确的回答给予折扣分对错误回答给零分利用历史最优解自动演化课程难度。提出基于正确数量的优势归一化方法替代传统的标准差归一化使梯度大小随题目难度单调变化在难题上优先保证准确率在简单题上优先鼓励简洁。将上述机制整合进 DAPO 优化目标中形成“准确率优先、压缩次之”的训练动态无需人工调度即可实现自进化训练。分析总结实验表明该方法在多个数学推理基准上能将平均回复长度减少高达 77%同时显著提升准确率打破了以往压缩必损精度的权衡困境。模型规模越大收益越明显大模型能更早发现简短解法从而更快收紧经验阈值单位 token 的智能密度IPT最高提升至基线的 3 倍。消融实验证明若移除对冗长正确回答的折扣奖励会导致模型坍塌为短而错的输出若使用标准优势归一化则无法区分难易题导致压缩效果大幅下降。该方法能有效抑制“过度思考”关键词的使用减少不必要的自我纠正步骤并且这种高效推理能力能泛化到代码生成和科学问答等域外任务。个人观点论文打破了传统强化学习训练轮次独立的假设复用历史轨迹中的最短正确解作为动态奖励阈值让模型“自己教自己”更简洁的自进化课程机制。