来自清华大学与腾讯的研究者提出了Generalizable Predictive Prompt Selection（GPS）。。GPS 的做法很直接：先训练一个小型、可泛化的 Prompt Predictive Model（PPM），，让它展望差别 prompt 在目今模子下的难度；；；；；；再凭证难度和 batch 多样性选择训练样本，，从而镌汰无效 rollout。。 实验显示，，GPS 在数学推理和逻辑推理使命上都带来了显着收益：相比 Uniform 随机采样，，训练步数加速抵达1.4×–2.0×；；；；；；相比需要真实评估的 DS（Dynamic Sampling）Oracle 基线，，GPS 在坚持相近甚至更优性能的同时，，最多镌汰69% rollout 本钱，，训练时间镌汰28%–47%。。更有意思的是，，这个训练历程中学到的小展望模子，，还可以复用到测试时盘算分配中：在牢靠预算下最高提升3.2%，，或在性能不下降的情形下最多节约36.4%推理盘算。。 这种要领有用，，但价钱很是高。。原因很直接：每个训练 step 都需要大宗 rollout，，而 rollout 需要真实挪用大模子生生长谜底，，盘算和显存开销都很大。。 若是一个题太简朴，，模子险些每次都能答对，，奖励没有转变，，梯度信号很弱；；；；；；若是一个题太难，，模子险些每次都答错，，同样很难提供有用学习信号。。真正有价值的，，往往是那些 “模子有时能答对、有时会答错” 的中等难度 prompt。。 一类是基于真实评估的要领，，例如 Dynamic Sampling（DS）。。它会对候选 prompt 特殊做真实 rollout，，再筛掉无效样本。。这类要领效果不错，，但特殊评估自己就很是腾贵。。 另一类是基于展望的要领，，例如 MoPPS、GRESO 等。。它们试图凭证历史奖励预计 prompt 难度，，阻止大宗特殊 rollout。。但这些要领通常把每个 prompt 当成自力工具建模：某个 prompt 被采样得多，，难度预计就更准；；；；；；采样得少，，信息就很希罕。。更贫困的是，，大模子在训练中一直转变，，统一个 prompt 的难度也会随时间转变，，自力建模很难跟上这种动态转变。。 是否可以构建一个轻量但可泛化的 PPM，，让它使用整个优化历史，，在差别 prompt 之间共享信息，，并用更好的 batch 选择战略提升 RL 后训练效率？？ 但模子能力的转变并不是按问题伶仃爆发的。。训练历程中，，模子在某一类题型上变强后，，语义相近、结构相似的其他题也可能随之变容易。。 为此，，GPS 引入了一个全局潜变量，，也就是论文中所说的 difficulty context。。它可以被明确为一个压缩后的 “目今训练状态”，，用于纪录模子在已往优化历程中积累出的难度信息。。 论文还给出了理论剖析：在历史信息确实包括特殊展望信号时，，使用完整优化历史举行展望，，相比只使用 prompt-specific 历史，，能够获得更低的展望均方误差。。 第一部分是难度收益。。GPS 更偏好乐成率靠近 0.5 的 prompt，，由于在二值奖励场景中，，这类样本更容易爆发非零奖励方差，，也更可能给 GRPO 等算法提供有用梯度。。 这种设计被论文称为history-anchored diversity。。直观明确就是：既要选 “难度恰恰” 的题，，也要让训练笼罩更多差别区域，，阻止模子在局部题型上重复打转。。 对特殊简朴的题，，少采样就够了；；；；；；对险些不可解的题，，多采样也未必有用；；；；；；真正值得投入更多盘算的，，是 “有挑战但仍可能解出来” 的题。。 GPS 训练获得的 PPM 可以展望测试 prompt 的难度，，并据此把测试样天职成差别区间：容易题和近乎不可解的题少分配预算，，中等偏难、仍有希望的题多分配预算。。 Uniform：随机采样 prompt；；；；；；MoPPS：为每个 prompt 维护自力 Beta 后验；；；；；；PCL：使用 LLM 预计 prompt 难度；；；；；；GRESO：基于历史奖励统计举行概率过滤；；；；；；DS / DS Oracle：通过真实特殊评估筛选 prompt，，效果强但本钱高。。 效果显示，，GPS 只需要很少训练步数，，就能快速建设有用相关性；；；；；；随着优化历史积累，，相关性继续提升，，p-value 也快速降低。。唬；；；；痪浠八，，PPM 学到的不是某几道题的伶仃纪录，，而是训练历程中逐渐形成的 prompt 难度排序。。 由于 DS 需要特殊真实评估候选 prompt，，虽然它在 step 维度上是强基线，，但 rollout 本钱显著更高。。相比 DS，，GPS 最多镌汰69%rollout，，同时仍坚持相当甚至更好的最终效果。。 因此，，GPS 的收益不是简朴用性能换本钱。。在这些设置下，，它一边镌汰了 rollout 或训练时间，，一边维持甚至提升了平均准确率。。论文总结称，，相比 Uniform，，GPS 在数学使命上带来1.6–1.9 个点的平均提升，，在逻辑使命上带来4.1–5.7 个点的平均提升。。 论文在多个数学和逻辑测试集上验证了这一点。。效果显示，，在大都未见测试集上，，PPM 展望难度与履历乐成率之间仍坚持统计显著相关。。 这里值得注重的是：PPM 在训练阶段学到的难度判断，，并没有只停留在样本选择上，，还可以迁徙到测试阶段，，用来决议哪些题值得分配更多采样预算。。 这点很主要，，由于 DS 这类基于真实评估的要领通常依赖每个 prompt 天生多条回覆；；；；；；而 PPO 可能是单响应天生设置，，DS 的适配性会受到限制。。GPS 依赖展望模子，，不需要这种特殊真实评估，，因此更容易迁徙赴任别 RLVR 流程。。 在消融实验中，，去掉 history-anchored diversity 会造成显着性能下降；；；；；；只去掉 inter-step exploration，，也会带来一定下降；；；；；；若是把天生式 PPM 改成不含潜变量 z 简直定性 PPM，，效果同样变差。。 消融效果也能对应回 GPS 的设计念头：共享历史认真提升难度展望的泛化能力，，batch 多样性镌汰样本冗余，，潜在 difficulty context 则用于描绘训练历程中一直转变的模子状态。。 对 RL 后训练来说，，真正有价值的样本往往不是最简朴的题，，也不是完全解不出来的题，，而是那些能够爆发有用奖励差别的中等难度 prompt。。GPS 用一个小模子提前识别这些样本，，并在 batch 里兼顾多样性，，从而让大模子少做无效 rollout。。 在训练本钱越来越高的配景下，，这类要领给出的启发很直接：未来的大模子后训练，，可能不但是继续堆 GPU 和 rollout，，而是先判断哪些题值得练、哪些盘算值得花。。 曲云，，清华大学自动化本科博士，，在强化学习、大模子效率优化等领域揭晓顶级期刊 Nat Com 和 CCF-A 类论文 20 余篇，，相关效果获得图灵奖得主及国际着名院士 / Fellow 团队引用并正面评价，，并受到 Meta、Apple、千问、混元等全球领先科技企业关注。。