这项由不列颠哥伦比亚大学与微软研究院（温哥华实验室）联合完成的研究，，，，以预印本形式宣布于2026年6月30日，，，，论文编号为arXiv:2606.31145。。。有兴趣深入相识的读者可以通过该编号在arXiv平台盘问完整论文。。。 当你翻开一本厚达500页的书，，，，却只有一张A4纸的地方能做条记，，，，你会怎么办？？？大大都人会本能地选择：把最主要的要害词和段落摘要写在这张纸上，，，，同时把书自己好好生涯起来，，，，等真正需要某个细节时再翻回去查。。。这种"摘要在手、原书待命"的阅读战略，，，，恰恰是这篇论文的焦点头脑所在。。。 研究团队面临的问题，，，，是当今大语言模子（也就是ChatGPT、Claude这类AI助手背后的手艺）在处理超长文本时遇到的一个根天性瓶颈。。。现代AI模子越来越能吸收十万字、甚至百万字的超长输入，，，，但要让它们真正明确并记着这些内容，，，，价钱极其高昂——由于模子在事情时需要把所有文字的"明确纪录"都存放在一块腾贵的GPU显存空间里，，，，而这个空间就像你书桌上的有限台面，，，，随着文字越来越多，，，，很快就会塞满。。。 研究团队提出的解决方案叫做SEKV（语义键值缓存），，，，并在四个主流长文本测试基准上验证了它的效果：与同类最强的语义压缩要领相比，，，，SEKV平均提升了5.9%的性能，，，，同时在12.8万字的上下文长度下，，，，将GPU显存占用降低了53.3%。。。 要明确问题所在，，，，需要先相识大语言模子在处理文本时究竟在做什么。。。当AI读一段文字时，，，，它不会像人类一样直接记着"意思"，，，，而是把每一个词都转化成一组数字向量，，，，其中有两个特殊主要的工具叫做"键（Key）"和"值（Value）"，，，，合称"KV缓存"。。。 你可以把键明确为图书馆的"索引卡"，，，，值明确为"书页内容"。。。当AI需要回覆问题时，，，，它会用问题的要害词去匹配所有的索引卡，，，，找到最相关的书页内容来天生谜底。。。问题在于，，，，每一个字都对应一张索引卡和一页内容，，，，文章越长，，，，需要存放在书桌（GPU显存）上的卡片就越多。。。关于12.8万字的文章来说，，，，这堆卡片可能占用高达74.8GB的显存——而大大都高端显卡只有40到80GB的所有容量，，，，连模子自己的参数都还需要占有相当一部分空间。。。 现有的解决方案概略可以分成两类，，，，但都保存显着缺陷。。。第一类叫做"词语镌汰法"：把那些看起来不主要的词的索引卡直接扔掉，，，，只保存主要的。。。这样确实省了空间，，，，但问题是一旦扔掉就再也找不回来了。。。偏偏在长文本处理中，，，，一段看似无关紧要的配景信息，，，，可能在后面某个问题中突然变得要害。。。第二类叫做"语义分组法"：把意思相近的词合并成一个代表，，，，镌汰卡片总数。。。这个思绪更智慧一些，，，，但现有要领都是在文章读取阶段（称为"预填充阶段"）就牢靠了分组方式，，，，之后无法凭证详细问题调解细节，，，，更无法从已经压缩的内容中恢复出原始细节。。。 正因云云，，，，研究团队在论文中指出：长文本KV缓存治理需要的不但仅是更强的压缩，，，，而是一种全新的影象组织方式——能在差别分辨率下存储信息，，，，并且在需要时动态"放大"到合适的细节条理。。。 SEKV的整体设计逻辑，，，，可以用一个现代化图书馆的运作来明确。。。这个图书馆有三层空间：最触手可及的阅览桌（GPU显存）、走廊止境的书架（CPU内存）、以及书库地下室（磁盘，，，，本研究不涉及）。。。读者在阅览桌上只放最主要的摘要卡片和目今正在翻看的书页，，，，大部分书存放在书架上，，，，需要时再取来。。。要害的立异在于：书架上存放的不是完整的书，，，，而是经由全心压缩的"骨架版本"，，，，随时可以按需睁开。。。 第一步是划定"阅读单位"。。。SEKV在处理文章时，，，，不是简朴地按牢靠长度切分段落（好比每50个词一段），，，，而是凭证词语的"信息含量"来自动识别语义界线。。。详细来说，，，，每个词在被AI逐字处理时，，，，都会爆发一个叫做"惊异度"（surprisal，，，，即负对数概率）的数值，，，，反映这个词在目今上下文中的出人意料水平。。。一个新话题最先、新人物进场、或者逻辑转折的地方，，，，往往会泛起高惊异度的词——就像一本书里章节脱离处往往泛起"然而"、"与此同时"、"多年之后"这样的转折词。。。SEKV将这些高惊异度的词识别为"段落分界点"，，，，将文章自动切割成一个个语义完整的"语义段"（span）。。。切割阈值由均值加上一定倍数的标准差来控制，，，，参数α=1.0体现凌驾均值一个标准差即视为分界点。。。这些分界点处的词自己，，，，被称为"锚点词元"，，，，直接以完整名堂生涯在GPU显存上，，，，由于它们往往是语义转折的要害，，，，类似于书里每章开头那句概括全章的导语。。。 第二步是双分辨率存储。。。每个语义段有两套体现形式同时保存，，，，一套轻量、一套细腻，，，，划分保存差别的地方。。。轻量版是一个维度仅为32的"摘要向量"，，，，存放在GPU显存上，，，，专门用于快速判断这一段是否与目今问题相关，，，，就像图书馆目录卡片一样。。。详细来说，，，，这个摘要向量是段内所有词的键向量经由学习到的投影矩阵压缩后，，，，再按各词的惊异度加权平均获得的——惊异度更高的词对摘要孝顺更大，，，，由于它们往往包括更麋集的语义信息。。。细腻版则是对这一段所有词的键值矩阵做了一种叫做"截断奇异值剖析"（SVD）的数学压缩，，，，获得一组低秩骨架，，，，存放在CPU内存上。。。奇异值剖析可以明确为：把一张重大的照片剖析成若干层叠加的"基础纹理"，，，，排在最前面的几层纹理就能大致还原出照片的主要内容，，，，而不需要生涯所有像素。。。研究团队还训练了一个轻量级展望器，，，，为每个段动态决议保存几多层纹理（即有用秩），，，，信息更麋集的段保存更多，，，，重复性高的段保存更少，，，，最大秩上限设为32。。。 在AI回覆问题的天生阶段（称为"解码阶段"），，，，尚有一个始终坚持在GPU显存上的"外地窗口"，，，，包括最近512个词的完整KV信息，，，，由于刚处理过的内容最可能在接下来的天生中被用到。。。 这个机制被称为"训练式放大"（trained zoom-in），，，，分两个阶段运作，，，，就像一个图书馆员先看目录卡片决议要不要去找书，，，，再去书架取来翻阅详情。。。 阶段一是粗粒度路由。。。关于每个语义段，，，，系统会盘算目今问题（盘问向量）与该段摘要向量的相似度，，，，通过一个叫做sigmoid函数的数学操作，，，，获得一个0到1之间的"相关概率"。。。这里有个细节处理：较长的段落会被特殊增添一点相关概率，，，，阻止长段落由于摘要平均效应而系统性地被低估，，，，就像图书馆目录系统应该把厚书和薄书一律看待，，，，而不是由于厚书目录卡片字体更小就以为不主要。。。然后，，，，系统用一个学习到的阈值（每个注重力头自力设置）来决议：相关概率凌驾阈值的段，，，，触发"放大"操作。。。 为什么每个注重力头要有自力阈值？？？这是由于在Transformer架构的大模子中，，，，差别的"注重力头"肩负差别的职责。。。有些头专门认真远距离信息检索（就像认真查阅历史档案的专职图书馆员），，，，这类头应该更起劲地触发放大操作；；；；；有些头只关注局部上下文（就像只看目今书页的人），，，，则很少需要去远处取书。。。用牢靠的全局阈值处理所有头，，，，效果远不如为每个头量身定制一个阈值。。。 阶段二是细腻处理。。。关于被选中放大的语义段，，，，系统从CPU异步读取它的SVD骨架（即那些"基础纹理"），，，，重修出近似的词级别键值对，，，，然后加入完整的注重力盘算。。。"异步"意味着这个读取操作可以和GPU上的其他盘算同时举行，，，，不会造成期待。。。未被放大的段，，，，则继续用它们保存GPU上的摘要键和摘要值加入盘算，，，，同时在注重力打分时加上一个与段长度成比例的修正项，，，，让一个代表整段的摘要能够"公正竞争"，，，，不会由于只有一个向量代表多个词而系统性地处于劣势。。。最终，，，，所有泉源（锚点词元、外地窗口、被放大段的重修词元、未放大段的摘要向量）配合加入一次统一的注重力盘算，，，，输出最终效果。。。 SEKV的GPU存储部分（路由投影矩阵、每头阈值）以及谁人动态决议保存秩数的展望器，，，，是需要通过训练来学习的。。。不过，，，，训练的方式很是"节约"：整个基础大语言模子的参数完全冻结不动，，，，只训练这三套轻量级组件，，，，可学习参数总量约430万，，，，仅占LLAMA-3-8B总参数目的0.05%。。。这就好比图书馆员不需要重新读一遍所有书，，，，只需要学习怎样更好地使用目录系统。。。 训练数据来自RedPajama开放数据集（包括学术论文、书籍和代码子集），，，，与所有评测基准完全不重叠。。。训练目的由四个损失函数组合而成，，，，划分认真差别方面的优化。。。 蒸馏损失认真总体偏向：让SEKV的输出概率漫衍只管靠近使用完整KV缓存（即"先生模子"）的输出，，，，就像学徒模拟师傅的判断效果。。。放大监视损失专门训练路由能力：首先从先生模子的注重力权重中提取出"哪些段落对先生来说最主要"的信号（取累积注重力质量笼罩90%的最小段落集相助为正例），，，，然后用二元交织熵损失训练路由投影矩阵，，，，让它学会分辨哪些段相关、哪些不相关。。。重修损失认真训练谁人动态决议保存几多奇异值的展望器：保存越少奇异分量，，，，重修误差越大；；；；；使用奇异值剖析的正交性，，，，重修误差可以被写成一个关于保存门控的可导函数，，，，从而直接训练展望器。。。预算损失则起到约束作用：没有它，，，，前三个损失都会勉励模子尽可能多地放大、尽可能多地保存奇异分量，，，，导致节约下来的显存优势荡然无存。。。预算损失同时处分放大的段落数目（通过直通预计器将梯度转达给阈值参数）和保存的奇异分量总数，，，，两者的相对权重由超参数β=0.1控制。。。 训练使用AdamW优化器，，，，学习率1×10??，，，，经由约3000步、0.5B字符的训练，，，，在单台8卡A100（80GB）节点上耗时2到6小时，，，，详细取决于模子巨细。。。训练时先在8K长度文本上热身，，，，再扩展到32K，，，，以资助模子逐步顺应长上下文的处理。。。 研究团队在四个长文本明确基准上系统评测了SEKV，，，，涵盖五种差别巨细和家族的模子：LLAMA-3.2-3B、LLAMA-3-8B、LLAMA-3.1-8B、MISTRAL-7B和QWEN2.5-14B，，，，所有在相同的10%显存预算（即仅保存完整KV缓存的10%在GPU上）条件下举行较量。。。 LongBench是一个包括17个子使命的多类型长文本明确基准，，，，涵盖单文档问答、多文档问答、摘要、少样本学习等，，，，输入长度从1K到18K字不等，，，，用F1分数等指标综合评估。。。在这项测试中，，，，SEKV在五种模子上的得分介于39.47到54.71之间，，，，而最强的语义压缩基准要领SentenceKV得分介于37.83到52.31之间，，，，SEKV平均领先约1.48分。。。与完整KV缓存的差别仅为平均0.80分，，，，这意味着用10%的显存抵达了靠近100%显存的效果。。。 RULER专门测试模子能否从差别长度（4K到128K字）的长文本中精准检索和推理，，，，相比LongBench更直接考察KV压缩对有用上下文使用率的影响。。。SEKV的得分从63.84（LLAMA-3.2-3B）到87.34（QWEN2.5-14B）不等，，，，而SentenceKV对应为60.43到83.41，，，，SEKV平均领先约3.63分。。。 InfiniteBench的输入长度通常凌驾10万字，，，，包括超长文档问答、代码调试和键值检索等使命，，，，是真正迫近GPU显存极限的压力测试。。。SEKV的得分从19.72到34.83不等，，，，SentenceKV为18.34到32.17，，，，平均领先约1.85分。。。 NIAH（大海捞针）测试最直观：在一篇超长"干草堆"文章中随机插入一句要害信息（"针"），，，，看模子能否准确找到。。。这项测试最能袒露"主要词被镌汰"的问题。。。SEKV的检索准确率从65.74到91.17不等，，，，SentenceKV为60.23到84.83，，，，平均领先高达5.68分。。。研究团队还提供了NIAH热力争，，，，以LLAMA-3.1-8B为例，，，，比照了牢靠KV缓存巨细128时差别要领在差别文章长度和"针"深度组合下的检索乐成率。。。SEKV的热力争大部分格子坚持高乐成率（绿色），，，，仅在极端情形下泛起少量失败；；；；；而SentenceKV和ChunkKV有更多格子变黄变红；；；；；SnapKV、PyramidKV和StreamingLLM则泛起大片失败区域，，，，尤其在文章较长、针的位置较深时。。。 除了检索类使命，，，，研究团队还在GSM8K数学推理数据集上做了50-shot（50个示例）的长提醒测试，，，，验证KV压缩是否会破损模子的逐步推理能力。。。效果同样乐观：SEKV在五种模子上的得分为58.4到84.5，，，，比SentenceKV横跨平均2.3分，，，，与完整KV缓存的差别仅为平均2.4分。。。 在现实运行效率上，，，，研究团队以QWEN2.5-14B为测试工具，，，，较量了差别输入输出长度组合下的延迟和吞吐量。。。以4096词输入、1024词输出为例，，，，完整KV缓存需要43.60秒、吞吐量为每秒105.92词；；；；；SEKV需要38.05秒、吞吐量为每秒120.11词，，，，比完整KV缓存快约12.7%。。。相比之下，，，，StreamingLLM虽然最快（34.10秒），，，，但它靠扬弃大宗中心内容换来的速率，，，，在精度测试中损失惨重。。。在语义要领中，，，，SEKV比SentenceKV快（38.05秒对39.84秒），，，，略快于ChunkKV（37.52秒），，，，同时精度远高于两者。。。 显存占用随上下文长度的转变越发直观：从8K字扩展到128K字时，，，，完整KV缓存从36.0GB急剧膨胀到74.8GB；；；；；而SEKV仅从31.2GB温顺增添到34.9GB，，，，曲线险些平展。。。SentenceKV和ChunkKV的显存增添幅度介于两者之间，，，，但也远高于SEKV。。。这种近乎恒定的显存占用，，，，是SEKV能够在单张GPU上处理超长文本的要害所在。。。 研究团队还剖析了哪些注重力头在哪些层更频仍地触发放大操作，，，，绘制了详细的热力争。。。结论清晰：放大决议很是希罕，，，，绝大大都头在大大都时间坚持压缩状态；；；；；少数特定的头（尤其集中在中心层和较深层）显着更频仍地触发放大，，，，这些头对应的正是Transformer架构中认真远距离信息整合和语义检索的功效性头。。。 这个纪律在QWEN2.5-14B、LLAMA-3.1-8B和MISTRAL-7B三种模子上都高度一致，，，，在NIAH、RULER和InfiniteBench三个差别类型的基准上也泛起出可诠释的差别：NIAH爆发希罕但尖锐的放大模式（由于只需找一个要害事实）；；；；；RULER爆发更普遍的模式（由于包括多种检索推理子使命）；；；；；InfiniteBench则爆发最疏散的模式（由于输入更长、使命更多样）。。。 这一视察从实验层面验证了为每个头设置自力阈值的须要性。。。消融实验中，，，，把所有头统一用一个全局阈值替换后，，，，NIAH准确率从91.17降至87.82，，，，损失约3.35分，，，，印证了头级别差别化处理的价值。。。 研究团队做了系统的消融实验，，，，逐一去掉SEKV的各个组件，，，，视察性能转变，，，，以此证实每个设计都是须要的。。。去掉SVD重修（即不从CPU恢甘状炊别细节）导致NIAH从91.17跌至83.47，，，，下降7.7分，，，，是损失最大的简单操作。。。去掉训练式放大机制（改为牢靠规则触发放大）造成NIAH下降5.21分至85.96。。。去掉熵指导的语义分段（改用牢靠长度切块）导致NIAH下降4.75分至86.42，，，，说明内容自顺应的分段确实捕获到了更有意义的语义单位。。。去掉锚点词元（不但独保存高惊异度界线词在GPU上）、去掉惊异度加权摘要（改用简朴均值池化）、以及将每头阈值改为全局牢靠阈值，，，，划分造成3.86、2.74和3.35分的NIAH下降，，，，均小于前三者，，，，但仍然显著。。。 关于超参数选择，，，，最大秩R从8增添到32带来一连刷新，，，，而从32增添到64险些没有转变，，，，说明32是一个合适的上限，，，，学习到的有用秩通常不凌驾这个值。。。惊异度支解阈值α=1.0体现最优，，，，α过小会切出太多短段降低压缩效率，，，，α过大会切出太少粗段使放大不敷精准。。。外地窗口从256扩大到512有显着收益，，，，但从512扩大到1024收益极小，，，，512是性价比最高的选择。。。 归根结底，，，，SEKV这项事情的意义在于：它指出了一条不靠扬弃信息就能治理超长文本的可行路径，，，，通太过级存储和按需放大，，，，让AI系统可以用少量显存价钱换取对完整上下文的动态会见能力。。。这关于文件剖析、长对话、多轮推理等现实应用场景来说，，，，意味着以更低的硬件本钱运行更长上下文的高质量AI应用成为可能。。。虽然，，，，研究团队也坦诚指出了现有局限：关于名堂特殊的文档（如麋集表格、代码、名堂杂乱的文本），，，，熵指导的分段质量可能下降；；；；；CPU到GPU的数据传输在带宽受限的系统或极端检索麋集的场景下可能成为新的瓶颈；；；；；别的，，，，由于坚持了基础模子冻结，，，，SEKV无法让模子的内部注重力机制自动顺应压缩后的影象结构，，，，这或许是未来可以进一步探索的偏向。。。 A：SEKV把文章切针言义段，，，，在GPU上只保存每段的压缩摘要向量（32维）和要害锚点词，，，，把大部分信息以低秩SVD骨架的形式存到CPU内存。。；；；；；馗参侍馐，，，，系统判断哪些段与目今问题最相关，，，，暂时把那些段的骨架从CPU取回GPU还原出词级别细节加入盘算，，，，其余段继续用摘要加入。。。这样GPU始终只放少量数据，，，，但所有信息都可以按需找回。。。 A：两者都把语义单位的摘要放GPU、详细内容放CPU，，，，但区别在于：SentenceKV以句子为单位分段且分段方式牢靠；；；；；SEKV用词语惊异度自动识别语义界线，，，，分段更无邪。。。SEKV还引入了低秩SVD重修机制，，，，能从压缩骨架恢复近似的词级别细节，，，，而SentenceKV存放的是完整词级别KV对。。。别的，，，，SEKV的放大判断对每个注重力头自力设置阈值，，，，精度更高。。。 A：不需要。。；；；；；〈笥镅阅Ｗ拥牟问耆岢侄辰，，，，SEKV只训练三套轻量级组件：路由投影矩阵、每头放大阈值、以及动态决议保存几多奇异分量的小型展望器，，，，总参数目约430万，，，，仅占LLAMA-3-8B参数目的0.05%。。。在8张A100显卡上训练单个模子只需2到6小时，，，，所用训练数据与任何评测基准均不重叠。。。