来自北航、北大、美团的研究团队提出了Policy Improvement Reinforcement Learning,PIRL，，，以及对应的落地算法PIPO。。。。。。这项事情关注的是大模子 RL 后训练中一个很是；；　⒌憔帽荒咸奈侍猓阂淮胃略谀拷袷萆峡雌鹄从呕搜靶藕牛，是否就真的说明模子战略变强了？？ PIRL/PIPO 进一步追问的是：这一步学完之后，，，模子真的前进了吗？？若是前进了，，，能否进一步牢靠这一偏向？？若是没有前进，，，甚至带来了负面影响，，，能否实时削弱或校正这次更新？？ 提出PIRL这一新的强化学习后训练视角。。。。。。它不但看目今批次里的奖励、优势预计或西席信号，，，而是把跨迭代的战略提升自己作为优化目的提出PIPO这一即插即用的闭环优化框架。。。。。。PIPO 可以直接接入险些现有所有的 RL 后逊с法，，，如 PPO、GRPO、DAPO 和自蒸馏等要领。。。。。。它不替换原要领中的局部学习信号，，，而是在其外层加入一层 “转头验证” 机制：对确实带来战略提升的更新偏向举行进一步放大，，，对未能带来提升甚至造成性能下降的更新偏向举行抑制、抵消或反向校正。。。。。。在数学推理、代码、工具挪用和自蒸馏设置下举行验证。。。。。。实验显示，，，PIPO 在多种基础算法和使命场景中都带来了一致提升。。。。。。 从经典的 PPO，，，到推理使命里常见的 GRPO、DAPO、GSPO，，，再到使用模子自身轨迹和反馈举行学习的 OPD 与自蒸馏，，，要领越来越多，，，效果也越来越强。。。。。。它们都在解决一个焦点问题：怎样把目今这批数据里的奖励、优势预计、执行反馈或西席信号，，，转化成一次有用的参数更新，，，探索出新战略。。。。。。 这些要领虽然能推动战略变强，，，这也是 RL 后训练成为主流范式的原因。。。。。。但它们大多尚有一个配合特点：优化主要爆发在目今采样轨迹上。。。。。。也就是说，，，算法会认真盘算目今这批轨迹该怎么学，，，却很少显式验证这一步学完之后，，，新的战略是否真的比已往更好。。。。。。 这就是本文所说的开环优化。。。。。？？凡⒉涣衔蹲乓煳扌В，而是说训练历程少了一个要害环节：更新之后的效果验证，，，以及基于验证效果对上一轮更新偏向举行回溯校正。。。。。。 RL 后训练不可只盯着目今批次里的局部信号，，，还需要一个跨时间的验证机制，，，以及能够对历史更新偏向举行再加权、抑制或校正的回溯调解机制。。。。。。 论文在理论上证实晰：这个目的不会改变最终优化偏向。。。。。。关于牢靠初始战略，，，最大化累计战略提升，，，和最大化最终战略性能是对齐的；；；也就是说，，，这种目的改写并没有偏离最终想要的模子能力。。。。。。 基于 PIRL，，，论文进一步提出了Policy Improvement Policy Optimization, PIPO。。。。。。它的焦点是两步：先让基础算法正常探索，，，再在下一轮使用战略提升反馈转头验证这次探索是否真的带来了战略前进。。。。。。若是新战略相较历史基准体现更好，，，PIPO 会以为上轮更新偏向与战略提升一致，，，从而进一步放大、牢靠这一偏向；；；若是新战略没有带来提升，，，甚至导致性能下降，，，PIPO 则会削弱该更新偏向的影响，，，须要时通过回溯校正在优化意义上抵消有害更新。。。。。。 这样一来，，，PIPO 就可以在 PPO、GRPO、SDPO 等原有要领基础上即插即用地加入跨迭代验证。。。。。。它把单批次内的局部学习信号和批次之间的历史体现联系起来，，，让每次更新都多一道判断：这次更新之后，，，模子整体有没有更强？？若是变强，，，就牢靠有用的更新偏向；；；若是变弱，，，就削弱有害的更新影响。。。。。。由此，，，原本开环的 RL 后训练被转化为带有战略提升反馈的闭环优化历程。。。。。。 PIPO 不是只对数学推理有用。。。。。。论文进一步在代码使命和工具挪用使命上举行了实验验证。。。。。。论文还验证了 PIPO 在自蒸馏设置下的提升作用。。。。。。 这也是本文最焦点的看法：RL post-training 不可只盯着目今批次里的奖励、优势预计或西席信号。。。。。。真正主要的是，，，每次更新之后，，，模子有没有爆发可验证的战略提升，，，从而对更新举行动态的强化或者削弱。。。。。。 若是说古板 RL 后训练更像是在一直凭证目今信号往前走，，，那么 PIRL/PIPO 想做的是：让模子每走一步，，，都转头看一眼，，，确认自己是不是真的在变强，，，并进一步牢靠有用偏向、校正有害影响。。。。。。