这项由天津大学与阿里巴巴联合开展的研究以预印本形式宣布于2026年6月，，，，，论文编号为arXiv:2606.29526，，，，，有兴趣深入相识的读者可通过该编号查阅完整论文。
。 每隔一段时间，，，，，AI领域就会冒出一种让人眼前一亮的希望——模子能推理了，，，，，能解数学题了，，，，，能写代码了。
。背后驱动这些能力的，，，，，有很大一部分收获要归于一种叫做"强化学习"的训练方式。
。简朴来说，，，，，强化学习就像是用"对了给糖、错了不给"的方式，，，，，一遍各处训练AI，，，，，让它越来越善于给出准确谜底。
。 然而，，，，，这套看起来很美妙的训练机制，，，，，在大语言模子（也就是我们常说的GPT、DeepSeek这类AI）的现实训练中，，，，，却藏着一个恒久被忽视的致命隐患。
。天津大学与阿里巴巴的研究团队发明：你以为训练让AI变得更智慧了，，，，，但现实上，，，，，你天无邪正使用的谁人AI版本，，，，，可能基础没有获得改善，，，，，甚至可能变得更差。
。 这个发明听起来有些荒唐，，，，，却是货真价实的工程现实。
。研究团队为这个问题起了一个专业名字——"目的错位"，，，，，并提出了一套名为MIPU（枯燥推理战略更新）的解决方案。
。经由实验验证，，，，，这套方案不但提升了AI的推理效果，，，，，还显著稳固了原本懦弱的训练历程。
。 训练一个大语言模子，，，，，就像同时谋齐整家工厂和一家门店。
。门店认真展示产品、接待主顾（对应"推理引擎"，，，，，好比vLLM、SGLang）；；；工厂则认真刷新产品、调解工艺（对应"训练引擎"，，，，，好比Megatron、FSDP）。
。门店展示的是最终消耗者使用的产品，，，，，工厂里折腾的是正在改良中的版本。
。 在理想天下里，，，，，工厂刷新了产品后，，，，，连忙同步给门店，，，，，双方用的是统一套工具，，，，，天下太平。
。但在大语言模子的现实工程中，，，，，这两套系统的底层实现方式保存玄妙的差别——数值精度差别、盘算方式差别、后端架构差别。
。这就导致哪怕你把工厂最新版本的模子参数同步给了门店，，，，，门店展示出来的行为，，，，，仍然和工厂里测试的效果有细微的差别。
。 研究团队把这两个"两全"划分命名为"训练战略π"（工厂里的谁人）和"推理战略μ"（门店里的谁人）。
。它们共享统一套模子参数，，，，，但由于底层实现的差别，，，，，对统一段文字给出的概率评估却并不完全相同。
。这种差别，，，，，就是所谓的"训练-推理不匹配"。
。 这个问题早就有人知道了，，，，，也有人想过种种调解步伐——好比在盘算时修正一下比例、过滤掉误差太大的样本、降低学习率让更新步子小一点，，，，，等等。
。这些要领都在起劲让工厂和门店之间的差别只管小。
。 但研究团队发明，，，，，所有这些要领都在回覆统一个问题："怎么让工厂里的产品刷新得更稳固？？"而他们真正想问的问题是："刷新之后，，，，，门店里展示的产品真的变好了吗？？" 研究团队用一个清晰的数学不等式道破了问题所在：工厂里的AI变好了（训练战略π的体现提升），，，，，并不可包管门店里用户现实使用的AI也变好了（推理战略μ的体现提升）。
。 这里J代表的是"AI在给定使命上能答对几多题"，，，，，下标k和k+1代表训练的前后两步。
。公式的意思是：即便工厂在这一轮训练中确实前进了（前者大于即是零），，，，，门店里的谁人版本却未必同步前进，，，，，甚至可能退步。
。 为什么会这样？？以现在最盛行的强化学习算法GRPO为例，，，，，它在训练时做了一件很自然的事：让门店（推理引擎）天生一批谜底，，，，，然后评估这些谜底的优劣，，，，，再用这个评估效果来调解工厂（训练引擎）里的模子。
。 问题在于，，，，，整个优化历程盯着的是工厂里的前进，，，，，而不是门店里的前进。
。当工厂改良完成、参数同步到门店时，，，，，由于两套系统的底层差别，，，，，门店的现实体现可能和工厂的预期截然差别。
。这就像一个厨师在自家厨房（工厂）里调解好了配方，，，，，以为菜肯定更好吃了，，，，，但送到餐厅（门店）的厨房后，，，，，由于灶台火力、锅具材质的差别，，，，，做出来的菜却不如以前——厨师浑然不知，，，，，还以为自己刷新乐成了。
。 更玄妙的是，，，，，GRPO在估算"这道菜好欠好"时，，，，，用的是门店厨房里做出来的那批菜的评分，，，，，而不是自家厨房的标准。
。当门店和工厂原来就保存差别时，，，，，这个评分自己就带有误差，，，，，即是是用一把禁绝的尺子在量菜。
。 研究团队基于这个熟悉，，，，，提出了一个新的目的：强化学习的优化偏向，，，，，应该是让"门店里的AI"枯燥地变得更好，，，，，而不是让"工厂里的AI"变得更好。
。他们把这个原则称为MIPI——枯燥推理战略刷新原则。
。 第一块是"同步之后，，，，，门店和工厂之间的差别"——即新版本参数同步到门店之后，，，，，门店的现实体现和工厂预期的体现之间的落差。
。这个差别代表"这次改良究竟有没有被门店如实泛起出来"。
。 第二块是"工厂自身的训练前进"——也就是这一轮训练让工厂里的模子变好了几多。
。这是古板强化学习一直在优化的谁人量。
。 第一步叫做"以采样方为参照的战略更新"，，，，，主要针对的是上述三块中的后两块合在一起的部分——"工厂相关于门店，，，，，究竟前进了几多"。
。 这一步的焦点调解是：改变训练时盘算"更新幅度"的参照系。
。古板GRPO在盘算这个幅度时，，，，，用的是工厂旧版本和工厂新版本之间的比值；；；而MIPU第一步改成用门店版本和工厂新版本之间的比值，，，，，也就是让门店成为权衡前进的基准。
。同时，，，，，为了阻止由于门店和工厂之间本就保存的差别带来过大的盘算误差，，，，，研究团队引入了一个截断机制——当门店和工厂的差别过大时，，，，，把这个差别压缩到一个上限以内，，，，，防止它主导整个训练偏向。
。这套机制被称为TIS（截断主要性采样）。
。 相比之下，，，，，论文中还讨论了两种近似方案：一种是PPO-IS，，，，，直接把整个比值（包括门店工厂差别和目今更新幅度）放在一起做截断，，，，，效果是截断机制经常在模子还没怎么更新时就介入，，，，，把正常的学习信号给压制掉了；；；另一种是Vanilla-IS，，，，，把差别和更新幅度拆开处理，，，，，但对门店工厂的差别不做任何限制，，，，，一旦某个词在门店里泛起概率极低，，，，，这个差别会变得极大，，，，，导致训练极不稳固。
。TIS综合了两者的优点，，，，，保存了拆开处理的结构，，，，，同时对门店工厂差别做了上限截断，，，，，是三者中最稳固的选择。
。 这一步的逻辑是：工厂完成了一轮训练、天生了候选的新版本、并同步到了门店之后，，，，，先不要急着接受这个版本作为"真正的新门店"。
。而是特殊收罗一批门店的测试样本，，，，，估算一个叫做"同步后推理侧差别署理指标"的量（研究中用T_post体现）。
。若是这个指标低于某个阈值，，，，，就说明这次同步很可能是有问题的——门店并没有如实泛起工厂的刷新——那就把这次更新整个回滚，，，，，恢复到上一个版本。
。 这个署理指标实质上权衡的是：相比于刚刚同步的新版工厂，，，，，新版门店在好谜底上给的概率是高照旧低？？若是门店给好谜底的概率反而比工厂低，，，，，说明这次同步泛起了"翻译失真"，，，，，更新应当被拒绝。
。 值得一提的是，，，，，研究团队在盘算这个指标时，，，，，专门设计了一种"长度归一化的序列比值"来做主要性修正。
。全序列的主要性采样比值在实践中方差极大（想象两段概率都极小的文内情比，，，，，比值会是个天文数字），，，，，长度归一化之后，，，，，这个比值稳固多了，，，，，署理指标的可靠性也因此大幅提升。
。 c越大，，，，，代表你越容忍门店体现不如工厂，，，，，也就越禁止易触发回滚；；；c越。
。ㄉ踔廖菏，，，，，代表你要求门店必需比工厂体现更好才接受，，，，，门槛更高。
。 研究团队发明，，，，，把c设得太严酷（好比用负数要求正增益）并不是好事。
。原因在于：在FP8量化推理（后文会诠释这个看法）的早期阶段，，，，，T_post自然处于较低水平，，，，，若是此时门槛太高，，，，，大宗有益的更新都会被拒绝，，，，，模子学不到工具，，，，，最终障碍在一个较低的性能平台上。
。 正因云云，，，，，研究团队为MIPU设计了一个动态容忍度：训练最先的前100步使用较宽松的容忍度，，，，，让模子能顺遂完成早期的有用学习；；；以后逐步收紧，，，，，过渡到更严酷的标准，，，，，保；；ず笃谘盗凡槐恢柿坎罹⒌母滤刍扑。
。 现代AI芯片在做盘算时，，，，，需要确定用几多位数字来体现一个数。
。位数越多，，，，，精度越高，，，，，但盘算也越慢、越耗内存。
。FP16（16位浮点数）是现在常见的训练精度；；；FP8（8位浮点数）则是把精度砍半，，，，，换取更快的推理速率。
。 问题在于，，，，，FP8的精度更低，，，，，同样的模子参数，，，，，用FP8推理出来的效果和用更高精度训练出来的效果之间，，，，，差别会比平时更大。
。；；痪浠八，，，，，FP8量化推剖析人为放大训练引擎和推理引擎之间的"不匹配水平"，，，，，制造出一个高压测试情形。
。 研究团队在两个差别规模的模子（阿里巴巴的Qwen3-1.7B和Qwen3-4B，，，，，即参数目划分约为17亿和40亿的版本）上举行了实验，，，，，并与三种基准要领举行较量：标准GRPO基线、MIS（通过过滤极端不匹配样原来稳固训练）、以及LR-decay（通过周期性降低学习率来减缓不匹配的影响）。
。 测试笼罩了五个数学推理基准：MATH500（笼罩高中及竞赛数学的大型测试集）、AIME24（美国数学约请赛2024年问题）、AMC23（美国数学竞赛2023年问题）、Minerva（谷歌提出的定量推理评测）、以及OlympiadBench（奥林匹克数学竞赛双语题库）。
。 在Qwen3-4B上，，，，，MIPU的平均得分为66.71%，，，，，显着高于标准GRPO的64.42%、MIS的63.42%，，，，，以及LR-decay的65.66%。
。详细来看，，，，，AMC23上MIPU抵达85.00%，，，，，Minerva上抵达45.96%，，，，，在各基准中名列前茅。
。在Qwen3-1.7B上，，，，，MIPU的平均得分为53.97%，，，，，同样领先于其他要领（基线50.86%、MIS 51.73%、LR-decay 52.23%）。
。MATH500上，，，，，MIPU抵达86.52%，，，，，OlympiadBench上抵达59.52%。
。 但更令人印象深刻的不是峰值效果，，，，，而是训练稳固性。
。标准GRPO、MIS和LR-decay这三种要领，，，，，在训练中途都泛起了差别水平的"瓦解"或"急剧下滑"——性能曲线先攀升，，，，，然后突然坠落。
。MIPU的训练曲线则在抵达较高水平后坚持稳固，，，，，直到训练竣事都没有泛起显着的退步迹象。
。这一点在训练曲线可视化图中很是清晰。
。 研究团队还通过一个叫做"Mismatch-K3"的指标来量化训练引擎和推理引擎之间的现实差别巨细。
。这个指标实质上是在盘算两个概率漫衍之间的"误差水平"，，，，，数值越大说明两台机械给出的谜底越纷歧样。
。实验中可以看到，，，，，Qwen3-1.7B的不匹配水平显着高于Qwen3-4B，，，，，与之对应的T_post的波动幅度也更大——这说明这个署理指标确着实捕获真实的不匹配信号，，，，，而不是随机噪声。
。 只用第一步时，，，，，模子通过更准确的参照系获得了更好的训练信号，，，，，平均得分相比基线有所提升（从64.42%升至65.36%），，，，，但训练历程仍然保存不稳固风险，，，，，由于没有任何机制去过滤"被门店误解"的更新。
。 只用第二步时，，，，，模子在某种水平上阻止了瓦解，，，，，但无法提升训练质量——由于第二步依赖的候选更新仍然是有误差的，，，，，好的候选原来就很少，，，，，第二步只是在拒绝更新，，，，，真正有益的候选并没有增多。
。效果平均得分反而低于基线（62.81%），，，，，说明纯粹的"守旧拒绝"在没有质量改善的条件下，，，，，并不比什么都不做更好。
。 两步连系才抵达了最好的效果，，，，，充分印证了二者的互补关系：第一步爆发质量更高的候选，，，，，第二步筛掉那些"翻译失真"的候选。
。 为了进一步扫除"第二步起作用只是由于它拒绝了更多更新"这一可能的诠释，，，，，研究团队还设计了一个"随机回滚"比照组：以同样甚至更高的概率（67%比照第二步的53.5%）随机拒绝更新，，，，，但不凭证任何推理侧信号做判断。
。实验效果显示，，，，，随机回滚拒绝了更多次更新，，，，，却仍然泛起了瓦解；；；而第二步依赖T_post信号有选择地接受或拒绝，，，，，则维持了稳固的训练曲线。
。这说明第二步的价值不在于"镌汰更新次数"，，，，，而在于"用对了信号"。
。 大宗现有的AI强化学习要领，，，，，都在起劲让"工厂里的谁人AI"变得更好，，，，，却遗忘了用户天天打交道的是"门店里的谁人AI"。
。两者之间由于底层系统的差别，，，，，可能保存玄妙但要害的落差。
。当这种落差被忽视时，，，，，训练历程看起来在前进，，，，，现实安排效果却可能在悄悄退步，，，，，直到某一刻爆发成肉眼可见的"瓦解"。
。 MIPU提供的解法并非重大到无从明确——它实质上是在说Ｔ媚课做完改良之后，，，，，去门店现实量一量，，，，，确认门店的产品真的变好了，，，，，再把这次改良记入档案；；；若是量了发明门店没变好，，，，，那这次改良就当没爆发。
。这个思绪在工业领域着实是知识，，，，，但在大语言模子的强化学习中，，，，，却是真正意义上的首次被系统化地提出并验证。
。 虽然，，，，，论文自己也坦承下场限：受制于盘算资源，，，，，实验只笼罩了中小规模模子；；；动态容忍度参数的设定依赖一些先验履历，，，，，在差别系统和规模下是否能直接迁徙，，，，，仍有待验证。
。别的，，，，，第二步现在接纳的是验证集采样来估算推理侧差别，，，，，未来或允许以开发出盘算价钱更低、估算更准确的方式。
。 这项研究给我们留下了一个值得思索的问题：在AI的天下里，，，，，尚有几多"优化"着实只是优化了丈量仪器自己，，，，，而非被丈量的工具？？有兴趣深入探讨的读者，，，，，可通过arXiv编号2606.29526查阅完整论文。
。 A：大语言模子的强化学习需要同时运行两套系统——一套用于天生文本的推理引擎，，，，，一套用于盘算梯度和更新参数的训练引擎。
。这两套系统出于效率和精度的差别考量，，，，，在数值精度、后端实现等方面保存细节差别。
。即便两套系统使用完全相同的模子参数，，，，，对统一段文字盘算出来的概率也会纷歧致。
。当使用FP8量化推理来加速天生时，，，，，这种差别会被进一步放大，，，，，训练出来的"工厂版本"和现实安排的"门店版本"之间就会泛起系统性误差。
。 A：第二步在候选模子同步到推理引擎之后，，，，，用新的推理引擎采样一批验证样本，，，，，盘算每个谜底的组相对优势（类似于"这个谜底比同批谜底平均水平好几多"），，，，，再乘以一个主要性修正权重（用来赔偿训练引擎和推理引擎之间的概率差别）。
。这个修正权重接纳了长度归一化的序列比值，，，，，阻止了全序列主要性采样容易爆发的极端大数问题。
。最终T_post取这些乘积的负平均值——若是它显著小于负容忍度c，，，，，说明推理引擎并没有如实泛起训练引擎的刷新，，，，，更新被拒绝。
。 A：MIS和LR-decay都在试图让训练历程自己更稳固，，，，，焦点目的仍然是优化训练引擎里的模子体现，，，，，只是通过过滤样本或降低学习率来镌汰不匹配造成的滋扰。
。MIPU则在目的层面做了根天性的转变——它不再以训练引擎的体现改善为最终标准，，，，，而是直接以推理引擎的体现改善为优化目的。
。；；痪浠八，，，，，前两者是在改善"工厂的生产稳固性"，，，，，MIPU是在直接磨练"门店的产品是否真的变好了"，，，，，并以此决议是否接受这次改良。
。