这项由奥地利约翰内斯·开普勒大学与NXAI公司联合开展的研究，，，，于2026年7月6日以预印本形式宣布，，，，论文编号为arXiv:2607.05061。。。。。。有兴趣深入相识手艺细节的读者可以通过该编号盘问完整论文。。。。。。 当你和一位朋侪聊了良久之后，，，，你的大脑并不会把每一句话都原封不动地保存脑子里。。。。。。它会悄悄地做一件事：把不主要的话过滤掉，，，，只把那些真正影响后续明确的要害信息留下来。。。。。。你能做到这一点，，，，是由于你的大脑天生就善于判断"哪些话值得记着，，，，哪些话可以遗忘"。。。。。。 然而，，，，当今最先进的人工智能语言模子，，，，却没有这种能力。。。。。。它们的事情方式更像是一个强迫症患者——必需把读过的每一个字、每一个词都完整地保存一个重大的"条子本"里，，，，才华包管之后回覆问题时不遗漏任何信息。。。。。。这个"条子本"在专业上被称为KV缓存，，，，而它的问题在于：文章越长，，，，条子本越大，，，，最终大到机械的内存基础装不下，，，，速率也慢得令人难以接受。。。。。。 这个研究团队想解决的，，，，正是这个让AI工程师头疼已久的问题：能不可教会AI像人类一样，，，，提前预判哪些影象是未来有用的，，，，然后自动把没用的"条子"扔掉，，，，同时又包管回覆质量险些不打折扣
？？？？？他们给出了一个名叫KVpop的解决方案，，，，实验效果批注，，，，在把条子本压缩掉88%的情形下，，，，AI的数学推理能力依然保存了原来的97%到100%。。。。。。 以烹饪作为贯串全文的明确框架，，，，整件事会更容易理清。。。。。。把AI天生文字的历程比作一位厨师在厨房里按食谱一步步烹饪。。。。。。每次厨师要决议下一个行动时，，，，他需要回忆之前做过的每一个方法，，，，于是他把所有方法都写在小纸条上，，，，贴满了整张桌子。。。。。。菜谱越长，，，，纸条越多，，，，桌子越来越小，，，，最后连锅都放不下了。。。。。。 这就是目今AI在处理长文本时的处境。。。。。。每天生一个新词，，，，模子都需要回首此前所有词的"键值对"信息，，，，也就是那张贴满纸条的桌子。。。。。。这张桌子的巨细和文本长度成正比，，，，数学上叫做"线性增添"。。。。。。当文本长达几万字甚至十几万字时，，，，这张桌子会占满机械大宗的显存，，，，同时也会让每一步天生都变得越来越慢。。。。。。 现有的一些解决方案相当于告诉厨师"只保存最近几张纸条"，，，，但这样一来，，，，厨师可能会遗忘两小时前放入的某种香料，，，，导致最后的菜口胃全错。。。。。。也有人实验凭证某张纸条"看起来主要与否"来决议扔不扔，，，，但问题是，，，，厨师在做第三步时以为不主要的工具，，，，到了第二十步可能突然变得至关主要。。。。。。凭当下的感受判断未来的价值，，，，这种做法实质上是在推测，，，，不敷可靠。。。。。。 KVpop团队意识到，，，，真正的突破口在于：与其推测哪张纸条"现在看起来有用"，，，，不如训练AI学会预判哪张纸条"未来会被用到"。。。。。。这是一个根天性的思绪转变，，，，从被动评估转向自动展望。。。。。。 回到厨房的比喻。。。。。。KVpop做的事，，，，相当于给厨师专门开了一堂培训课。。。。。。在这堂课里，，，，先生（也就是一个"全影象"的参照AI）会亲自演示，，，，在整道菜做完之后，，，，回过头来标记出哪些纸条在后续方法中被真正用到了、被用到了几多次。。。。。。这个标记效果被称为"未来注重力目的"，，，，是一种客观权衡"这张纸条对后续有多大价值"的指标。。。。。。 学员厨师（也就是经由压缩训练的AI）的使命，，，，就是在做每一步之前，，，，凭证纸条上的内容展望它未来会不会被用到，，，，并且对这张纸条打一个分数。。。。。。最终，，，，得分高的纸条被保存，，，，得分低的被扬弃，，，，桌子始终坚持在一个牢靠巨细以内，，，，这个巨细称为"牢靠预算"。。。。。。 详细来说，，，，KVpop为每个注重力头（可以明确为厨师的差别感官——视觉、嗅觉、味觉划分认真差别方面的信息）设计了一个轻量级打分
？？？？？。。。。。。这个打分
？？？？？椴患尤胫鞑似椎呐脞，，，，它只是悄悄地旁观并打分。。。。。。桌子上永远有三类纸条不会被丢掉：最最先写下的几张"基础纸条"（称为淹没词元，，，，认真锁定上下文的基本框架），，，，最近写下的一摞"新鲜纸条"（受；；；；；さ幕翱，，，，由于刚写完的工具十有八九马上就会用到），，，，以及打分最高的那一批"历史主要纸条"（长程top-k预算）。。。。。。除此之外的所有旧纸条，，，，都会被清扫出桌面。。。。。。 这个设计让整张桌子的巨细酿成了一个牢靠的数字：基础纸条数目，，，，加上窗口巨细，，，，再加上高分保存的历史纸条数。。。。。。无论文本有多长，，，，桌子的巨细始终如一，，，，内存消耗因此变得可以展望和控制。。。。。。 现在遇到一个现实问题：要知道哪张纸条"未来会被用到几多"，，，，理论上需要先把整道菜做完，，，，再转头统计。。。。。。但训练的时间，，，，这道菜自己就是一道很长的文章，，，，若是要把所有词对所有词之间的注重力关系所有算出来，，，，那会爆发一张极其重大的矩阵，，，，大到显存基础放不下。。。。。。 研究团队用了一个很是智慧的技巧来绕开这个问题，，，，他们把这个技巧称为"转置注重力"。。。。。
？？？？？梢哉庋魅罚赫Ｇ樾蜗，，，，厨师是站在"目今方法"这个位置，，，，向前看之前所有的纸条，，，，问"哪张纸条对我现在有资助"。。。。。。而转置注重力做的是把这个偏向倒置过来，，，，让每一张纸条反过来问"未来有哪些方法会用到我"。。。。。。两个问题实质上用到的数学运算是一样的，，，，只是输入和输出的角色交流了一下。。。。。。 更妙的是，，，，AI在正常做推理的历程中，，，，已经会自动盘算一个叫做"归一化因子"的中心数值。。。。。。这个数值就像厨师在脑子里记着的"目今方法一共参考了几多张纸条"。。。。。。研究团队发明，，，，可以直接复用这个已经算好的数值来完成转置偏向的盘算，，，，基础不需要特殊跑一个完整的注重力盘算历程。。。。。。这样一来，，，，整个"未来价值"的估算险些是免费的——在训练时稍微多做一步盘算，，，，在现实使用时完全不爆发任何特殊肩负。。。。。。 第一种叫做"无状态打分器"，，，，用的是一个简朴的两层神经网络。。。。。。它的事情方式很是直接：拿起一张纸条，，，，看看上面写了什么，，，，然后打个分。。。。。。这种打分器又快又自制，，，，弱点是它只能看纸条自己的内容，，，，不知道这张纸条写下之后又爆发了什么。。。。。。 第二种叫做"有状态打分器"，，，，使用了一种叫做mLSTM的影象结构（这是一种具备"事情影象"的网络单位，，，，灵感来自人类大脑处理序列信息的方式）。。。。。。这种打分器的厉害之处在于，，，，它不急于在纸条刚写下来的时间就打分。。。。。。它会先把纸条放在受；；；；；さ男孪手教跚"缓一缓"，，，，同时继续视察后续生长，，，，比及这张纸条即将脱离受；；；；；で⒚媪"留照旧扔"的讯断时，，，，打分器才综合了以后积累的所有上下文信息，，，，做出一个越发知情的决议。。。。。。 这个设计的要害点在于：打分器不是在纸条刚写下时就被迫给出判断，，，，而是比及掌握了更多线索之后才揭晓意见。。。。。。就似乎一个厦门侦探不会在案发第一分钟就认定嫌疑人，，，，而是等网络完现场合有证据再下结论。。。。。。实验证实，，，，这种延迟打分的战略确实有用，，，，相比连忙打分的版本，，，，它在词语展望准确率上横跨了0.2个百分点——听起来未几，，，，但在云云大规模的模子上，，，，这是一个相当显著的提升。。。。。。 更主要的是，，，，这种做法与此前已有的类似要领（如DMS，，，，一种同样使用；；；；；ご翱诘囊欤┯惺抵是。。。。。。DMS虽然也有；；；；；ご翱，，，，但它在纸条进入窗口的那一刻就已经做出了去留决议，，，，只是把"执行驱逐"这个行动推迟了罢了。。。。。。KVpop的延迟打分则是真正地推迟了"做决议"这个行为自己，，，，让决议可以使用以后积累的信息，，，，这是唯一无二的做法。。。。。。 KVpop的训练方式也很是有针对性。。。。。。与其让打分器对所有纸条都举行准确排序，，，，研究团队的思绪是：只关注那道"刚恰恰踩在去留界线上"的选择题。。。。。。 每当一张纸条从受；；；；；で镒叱隼，，，，面临第一次去留讯断时，，，，目今高分纸条里排名最末的那张纸条（相当于"最后一个保住席位的选手"）就会被拿出来作为参照。。。。。。评判标准只有一个：新出来的这张纸条，，，，打分应该比"末位选手"高（代表应该保存），，，，照旧低（代表应该被镌汰）
？？？？？ 损失函数（可以明确为对打分器打蜕化误谜底时的处分力度）只针对这一对较量打分，，，，而不是对所有纸条所有举行准确排序。。。。。。这样做的利益是极为高效Ｔ媚课训练只需要看两张纸条的比照，，，，不需要处理整个长列表，，，，盘算价钱极低，，，，但训练信号又很是精准，，，，由于它直接对应了真实推理时"这张纸条事实能不可挤进名额"这个现实决议。。。。。。 研究团队在两个差别规模的大模子上测试了KVpop的效果，，，，划分是参数目约40亿的Qwen3-4B和约80亿的Qwen3-8B。。。。。。测试用的是数学竞赛题，，，，包括AIME（美国数学约请赛，，，，公以为极具挑战性的高中数学竞赛）以及HMMT（哈佛-麻省理工数学锦标赛）的问题，，，，用以权衡模子在高难度数学推理上的体现。。。。。。 在75%压缩下，，，，KVpop在Qwen3-4B上保存了完整模子98%的得分，，，，在Qwen3-8B上也抵达100%。。。。。；；；；；痪浠八，，，，把桌面缩小到原来四分之一，，，，模子的数学推理能力险些完全没有受损。。。。。。比照组中，，，，最简朴的古板要领StreamingLLM只保住了76%，，，，另一个常用要领TOVA仅保住了73%，，，，而近年来颇受关注的学习型要领DMS保住了96%。。。。。。 在更激进的88%压缩下，，，，两个比照要领StreamingLLM和TOVA直接瓦解，，，，得分下滑到只剩19%到58%，，，，已经不具备适用价值。。。。。。StreamingLLM的训练版（StreamingLLM+）回血到74%，，，，DMS抵达84%到89%。。。。。。KVpop则在Qwen3-4B上保住了97%，，，，在Qwen3-8B上惊人地保住了100%——在只剩八分之一影象容量的情形下，，，，80亿参数的模子与完整模子得分持平。。。。。。 研究团队还磨练了一个主要问题：这套战略只是在数学题上管用，，，，照旧真的学到了通用的"哪些信息值得记着"的判断能力
？？？？？为此，，，，他们把仅在数学推理数据上训练好的KVpop，，，，直接拿去测试科学推理（GPQA Diamond，，，，一个研究生级别的综合科学问答测试）和代码天生（LiveCodeBench）。。。。。。效果显示，，，，KVpop在这两个完全差别领域的使命上，，，，同样与完整模子坚持了险些相同的体现。。。。。。这说明打分器学到的并不是"数学专用手艺"，，，，而是一套更普遍适用的"未来注重力预判"能力。。。。。。 测试在单张显卡上举行，，，，生生长度从1.6万字一直拉到13万字。。。。。。完整模子的显存占用随文本变长而线性攀升，，，，从16万字时的18GB一起涨到13万字时的36GB，，，，险些翻了一倍，，，，并且速率越来越慢。。。。。。KVpop和比照要领DMS的显存占用都只增添了19%左右，，，，到13万字时仍然停留在约19GB，，，，由于桌面巨细恒定，，，，不随文本变长。。。。。。 在速率上，，，，KVpop比DMS更快。。。。。。原因在于，，，，KVpop对每一个注重力头都强制执行相同的牢靠预算，，，，导致每个头保存的纸条数目完全一样，，，，GPU在并行处理时效率极高。。。。。。而DMS接纳的是动态门控机制，，，，每个头保存的数目各不相同，，，，就像厨房里差别厨师的桌子巨细狼籍不齐，，，，统一治理起来格外贫困，，，，反而拖慢了整体节奏。。。。。。 他们从数学推理序列中随机抽取了一段，，，，可视化出每个注重力头在每一层网络中保存了哪些词。。。。。。效果显示出一种很是有纪律的模式：纯粹的数字（好比"154000"、"37"之类的盘算中心效果）被扬弃的频率显着更高，，，，而那些具有推理结构意义的词——好比体现因果关系的"Thus"（因此）、体现操作的"divides"（整除）、体现等价的等号"="——则被更多注重力头跨更多层网络保存了下来。。。。。。 这个纪律很是切合直觉：一道数学题做完第五步之后，，，，第三步盘算出来的详细数字可能已经失去自力价值，，，，但其时用来推进推理的逻辑词汇，，，，往往对后续方法依然具有参考意义。。。。。。KVpop自主发明了这一纪律，，，，而没有人明确告诉它"逻辑词比数字主要"。。。。。。 别的，，，，研究团队还丈量了KVpop的打分器与"全知先生"的一致水平：在75%压缩设置下，，，，打分器保存的高分纸条有81%与先生以为应该保存的纸条重合。。。。。。这个数字意味着，，，，打分器做出的去留决议，，，，有凌驾八成与理想谜底吻合，，，，说明这套展望机制确实学到了有用的判断标准，，，，而非随机行为。。。。。。 与纯启发式要领（如StreamingLLM或TOVA）相比，，，，KVpop的优势在于它通过训练顺应了"压缩推理"这件事自己。。。。。。古板要领只是机械地执行一个牢靠规则，，，，在规则恰恰失效的场景下毫无应对能力。。。。。。KVpop则通过在数学推理数据上的微调，，，，让整个模子习惯了"只看部分纸条思索"这件事，，，，填补了信息缺失带来的模子能力落差。。。。。。 与另一个学习型要领DMS相比，，，，KVpop的优势在于监视信号更直接。。。。。。DMS的训练方式是通过一种称为Gumbel-sigmoid的技巧，，，，让去留决议在训练时可以近似求导，，，，但这个训练信号并不直接对应"未来会不会被用到"这件事。。。。。。KVpop则用真实的未来注重力质量作为监视信号，，，，打分器学到的目的与现实推理时纸条的真实价值直接挂钩。。。。。。这个差别在88%的极端压缩设置下体现得最为显着，，，，DMS的得分下滑幅度显着大于KVpop。。。。。。 说究竟，，，，KVpop做的事情可以用一句话概括：它教会了AI在读完一段话之后，，，，不是把所有字都死记硬背，，，，而是学会了和人类一样，，，，只记着那些未来真的会用到的内容。。。。。。 这项研究的价值，，，，不但是让某几道数学题的得分悦目一些。。。。。。它指向的是一个更宏观的偏向：随着AI模子被要求处理的文本越来越长（小说、执法文书、长篇代码、科学论文……），，，，怎样在有限的硬件资源下维持推理质量，，，，将成为决议AI能不可真正普及落地的要害瓶颈之一。。。。。。KVpop提供的这套"展望性遗忘"框架，，，，或许会成为解决这个瓶颈的主要工具之一。。。。。。 研究团队也坦诚地指出了目今的局限：mLSTM打分器虽然效果好，，，，但它事实是一种特定的架构，，，，尚有其他影象结构值得探索。。。。。。别的，，，，每个注重力头都强制使用相同的牢靠预算，，，，虽然带来了执行效率，，，，但若是允许差别层、差别头使用差别的预算，，，，或许能进一步提升性价比。。。。。。这些都是未来值得继续深挖的偏向。。。。。。 对这套要领的完整细节感兴趣的读者，，，，可以通过论文编号arXiv:2607.05061盘问全文，，，，相关训练好的模子也已经在模子社区果真宣布，，，，代号为Qwen3-8B-KVpop-4x，，，，供研究者自行下载和测试。。。。。。 A：KV缓存是AI语言模子在天生文字时用来存储历史信息的"条子本"，，，，让模子无需重新盘算就能回首之前所有的词。。。。。。问题在于，，，，条子本的巨细和文本长度成正比，，，，文章越长，，，，占用的显存越多，，，，每一步天生也越慢，，，，最终成为限制AI处理长文本的焦点瓶颈。。。。。。 A：两者都是通过训练来决议哪些历史信息可以扬弃，，，，但焦点监视信号差别。。。。。。DMS用一种数学近似技巧来训练去留决议，，，，而KVpop直接用"这段信息在未来被注重力现适用到了几多"作为训练目的，，，，监视信号更贴近真实使用场景，，，，在高压缩率下效果更优。。。。。。 A：可以。。。。。。研究团队测试了仅在数学推理数据上训练的KVpop在科学问答和代码天生使命上的体现，，，，效果显示与未压缩的完整模子坚持了险些相同的准确率，，，，说明KVpop学到了通用的信息筛选能力，，，，而非仅适用于数学场景的专项手艺。。。。。。