这项由马萨诸塞大学阿默斯特分校智能信息检索中心与盘算机科学系联合开展的研究，，，，，，以预印本形式于2026年7月7日宣布于arXiv，，，，，，编号为arXiv:2607.05803v1，，，，，，分类偏向为信息检索（cs.IR）。。。有兴趣深入阅读原始论文的读者可通过该编号在arXiv平台检索完整内容。。。 每当你翻开搜索引擎，，，，，，输入一串文字，，，，，，点下回车，，，，，，背后着实有一场无形的角逐正在举行。。。成千上万的网页在瞬间接受评判，，，，，，系统要决议哪些对你最有用，，，，，，哪些可以被排在后面。。。而这场角逐的规则，，，，，，也就是"相似度评分"的要领，，，，，，在已往几十年里一直是信息检索研究的焦点战场。。。现在，，，，，，马萨诸塞大学的研究团队从数学角度切入，，，，，，系统性地证实晰一类被称为"MaxSim"的评分战略，，，，，，在理论能力上确实不逊于甚至逾越古板的单向量内积要领。。。更主要的是，，，，，，他们还提出了一种扩展方案，，，，，，让这种战略能够处理更重大的搜索需求，，，，，，好比"帮我找一篇讲人工智能但完全不涉及谷歌的文章"这类带有扫除条件的盘问。。。 这项研究的意义不但停留在数学推导层面。。。它为业界恒久视察到的一个征象——基于MaxSim的模子（尤其是ColBERT这类系统）往往在现实测试中击败更简朴的要领——提供了理论层面的诠释。。。已往人们推测这只是由于重大模子使用了更多的存储空间，，，，，，但研究者们通过严酷的数学证实，，，，，，指出真正的差别来自于评分战略自己的能力界线，，，，，，而非纯粹的参数规模。。。 第一种方式，，，，，，也是古板方式，，，，，，是给每位球员制作一张"综合能力卡"，，，，，，用一个牢靠长度的数字列表来概括这位球员的所有特点。。。同样，，，，，，也给每个搜索需求制作一张"需求卡"。。。评分时，，，，，，把两张卡片对应位置的数字逐一相乘再加总，，，，，，获得一个最终分数，，，，，，分数越高说明越匹配。。。这种要领在手艺上叫做"单向量内积"，，，，，，是绝大大都古板搜索系统的基础。。。 第二种方式则更像一位球探带着一份详细的视察清单去看角逐，，，，，，清单上每一条目都代表他最体贴的某个特质，，，，，，好比速率、传球、射门。。？
？赐杲侵鸷螅，，，，，他对每一条目的评价是：这位球员在这个特质上，，，，，，跟他见过的所有球员比，，，，，，最好能打几分？
？把每条目的最高分加总，，，，，，就是这位球员的综合评价。。。这种方式允许"多向量"体现一个搜索需求，，，，，，每个向量对应一个关注点，，，，，，然后对每个关注点找文档里最匹配的部分，，，，，，取最大值后求和。。。这就是MaxSim的焦点逻辑，，，，，，其完整表达式是：对每个盘问向量，，，，，，在文档向量荟萃中找内积最大的谁人，，，，，，然后把所有盘问向量的最大值加在一起。。。 两种方式的焦点区别在于：第一种一次性综合所有特质，，，，，，第二种划分对每个特质找最佳匹配。。。这一差别，，，，，，决议了它们各自能做到什么、无法做到什么。。。 研究者们提出的第一个焦点定理，，，，，，初看起来有些让人意外：MaxSim战略用三维空间里的向量，，，，，，就能准确模拟两个高维希罕向量之间的内积。。。 希罕向量在这里的意思是：一个可能有数万甚至无限维的向量，，，，，，但大大都位置的数值是零，，，，，，只有少数几个位置有现实数值。。。这很是切合信息检索的现实——词汇表可能有几十万个词，，，，，，但一个详细的文档或盘问通常只包括其中几十到几百个。。。 研究团队构建的要领，，，，，，实质上是用一个全心设计的多项式函数来当"识别器"。。。关于文档向量里位置为d、数值为w的某个词汇权重，，，，，，可以结构一个二次多项式，，，，，，使得这个多项式在位置d时恰恰即是w，，，，，，而在所有其他整数位置时都小于零。。。这样一来，，，，，，当盘问方的向量去和文档方的所有向量盘算内积时，，，，，，只有"位置匹配"的那对向量能爆发正的内积值，，，，，，其他所有组合都因多项式给出负值而被扫除在外。。。MaxSim里的"取最大值"操作，，，，，，恰恰起到了自动筛选匹配项的效果。。。 详细结构历程是这样的：对盘问向量中第i个非零元素，，，，，，结构一个三维向量，，，，，，形式是将1、i、i的平方组合成一个列向量，，，，，，再乘以原始权重。。。对文档向量中第i个非零元素，，，，，，则结构对应的多项式系数向量。。。当两侧对应位置的元素相遇时，，，，，，内积恰恰即是两者权重之积；；遇到不匹配的位置时，，，，，，多项式包管内积为负，，，，，，因此在取最大值时会被自然镌汰。。。文档侧还特殊加入一个零向量，，，，，，确保当盘问中某个要害词在文档里完全不保存时，，，，，，该位置的孝顺被准确地计为零而非负值。。。 这个结构的优美之处在于：盘问侧和文档侧的向量完全自力构建，，，，，，相互不需要知道对方的详细内容，，，，，，完全切合现实搜索系统中"编码器自力事情"的要求。。。一个k个非零元素的盘问向量，，，，，，对应k个三维盘问嵌入；；一个有kv个非零元素的文档向量，，，，，，只需要kv+1个三维文档嵌入。。。存储量和非零元素数目成正比，，，，，，而不是和词汇表的总巨细挂钩。。。 既然MaxSim能做到这件事，，，，，，那古板的单向量内积要领能不可也实现类似的压缩？
？研究者们的第二个定理给出了明确的否认谜底，，，，，，并且证实方式很是精练。。。 焦点论点可以这样明确：假设词汇内外有100万个词，，，，，，每个词都是一个自力的"看法"，，，，，，相互之间完全没有关联，，，，，，就像坐标系里100万个相互笔直的偏向。。。现在要把这100万个看法压缩成一个牢靠长度的向量，，，，，，让恣意两个看法之间的相似度还能被准确保存。。。这在数学上等价于：把100万个相互笔直的偏向，，，，，，硬塞进一个只有d维的空间里，，，，，，要求它们依然相互笔直。。。这显然是不可能的。。。就像三维空间里最多只能放三个相互笔直的偏向，，，，，，d维空间里最多只能保存d个相互正交的看法，，，，，，凌驾这个数目就必需让渡精度，，，，，，爆发不可阻止的混淆。。。 研究者们用矩阵秩的语言表达了这一点：若是有n个看法，，，，，，它们两两内积组成的矩阵的秩是n。。。但两个d维矩阵之积的秩最多是d。。。当n>d时，，，，，，这两件事无法同时建设，，，，，，因此准确保存是不可能的。。。 这个结论与MaxSim形成了鲜明比照。。。MaxSim通过"每个看法自力携带自己的三维嵌入"的方式，，，，，，彻底绕开了这一秩的限制。。。词汇表有多大，，，，，，就可以有几多组嵌入，，，，，，每组只需要三维，，，，，，相互之间不爆发滋扰。。。这在理论上允许MaxSim处理无限维度的希罕向量，，，，，，而单向量要领在牢靠维度下必需对高维希罕看法举行近似压缩。。。 谜底是有的，，，，，，并且这个局限相当基本。。。标准MaxSim在处理"负值"时会遭罹难题。。。在上面形貌的盘问-文档匹配框架里，，，，，，每次匹配的得分是"取最大值"，，，，，，而最大值通常是非负的——除非所有文档嵌入与该盘问嵌入的内积全都是负的，，，，，，才会泛起负分孝顺。。。 但在现实搜索中，，，，，，某些情形自然需要负的孝顺，，，，，，最典范的就是带否认条件的盘问。。。当用户搜索"不含谷歌的人工智能工具"时，，，，，，"谷歌"这个词应该起到扣分的作用——文档里越显着地提到谷歌，，，，，，得分应该越低。。。标准MaxSim的"取最大值"操作恰恰无法可靠地实现这一点：纵然为"不含谷歌"设置了一个理论上应该爆发负值的盘问嵌入，，，，，，文档向量荟萃里也总有其他不相关的嵌入会凑巧给出一个靠近零或略正的内积，，，，，，从而被选为最大值，，，，，，掩饰掉本应泛起的处分信号。。。 研究者们用一个严酷的数学定理证实晰这一局限的不可绕过性。。。他们假设保存一种全心设计的编码方案，，，，，，对每个非零元素分配恰恰一个嵌入向量，，，，，，然后问：在这样的框架下，，，，，，标准MaxSim能不可准确重现恣意实数值向量之间的内积？
？结论是：若是原始向量维度n大于嵌入空间维度M，，，，，，就必定保存某些实数向量对，，，，，，其内积无法被准确还原，，，，，，无论编码方案怎样设计。。。 证实思绪是：思量一系列特殊的单希罕向量，，，，，，其中第i个向量在位置i处取-1，，，，，，其余为零。。。要准确还原这批向量之间的内积，，，，，，需要相似度矩阵是一个满秩对角矩阵（对角线上是-1，，，，，，其余是0）。。。但若是嵌入向量只有M维，，，，，，那么由嵌入向量组成的矩阵之积的秩最多是M，，，，，，当n>M时，，，，，，这个满秩条件无法知足，，，，，，矛盾由此爆发。。。 既然标准MaxSim无法处理负值，，，，，，研究团队便提出了一个自然而优雅的扩展，，，，，，称为"Signed MaxSim"（符号化MaxSim）。。。这个扩展的焦点思绪是把每个数值剖析成两部分：巨细和符号。。。 在原始框架里，，，，，，每个非零元素x直接被嵌入为一个向量。。。在扩展框架里，，，，，，x被剖析成|x|（大。。。，，，，，永远非负）和符号（+1或-1），，，，，，划分存储。。。盘问侧的每个嵌入酿成一个（向量，，，，，，符号）的配对，，，，，，文档侧也是云云。。。盘算相似度时，，，，，，先用嵌入向量的内积来决议哪个文档嵌入最匹配——这一步完全和原来一样，，，，，，由于巨细总是非负的，，，，，，多项式识别机制依然有用。。。一旦找到最匹配的文档嵌入，，，，，，再把盘问的符号和这个文档嵌入的符号一起乘进去，，，，，，获得该位置的最终孝顺。。。 这样，，，，，，"巨细"认真导航和匹配，，，，，，"符号"认真决议最终是加分照旧扣分，，，，，，两者职责疏散，，，，，，互不滋扰。。。当盘问向量的符号是-1（代表"不想要"这个看法），，，，，，而文档向量的符号是+1（代表"文档里确实有这个看法"）时，，，，，，两者相乘得-1，，，，，，对总分爆发负孝顺。。。这正是扫除性盘问所需要的行为。。。 研究者们证实，，，，，，这个扩展方案能够准确还原恣意实数值希罕向量之间的内积，，，，，，包括含负值的情形，，，，，，并且和原始MaxSim一样坚持编码自力性：盘问侧和文档侧各自只用自己的信息来构建体现，，，，，，不需要预先知道对方。。。所需存储量同样只与非零元素数目成正比。。。 除了与内积要领的较量，，，，，，研究者们还从一个差别的角度剖析了MaxSim的能力界线，，，，，，把它和信息检索最古老的古板——布尔逻辑搜索——联系了起来。。。 早期的搜索系统使用的是布尔盘问：用户可以指定"我要同时包括A和B，，，，，，或者包括C，，，，，，但不可包括D"这样准确的逻辑条件，，，，，，系统严酷凭证规则筛选文档。。。这种方式准确但鸠拙，，，，，，需要用户手动写出完整的逻辑表达式，，，，，，通俗用户难以驾驭。。。 研究者们发明，，，，，，MaxSim在更高维度的嵌入下，，，，，，可以被解读为一种"加权模糊OR"操作。。。所谓模糊OR，，，，，，就是标准布尔逻辑中"或"的一连化推广：不是非此即彼，，，，，，而是"最高匹配水平"。。。详细来说，，，，，，可以把多个同义词或相关看法编码进一个盘问向量，，，，，，那么MaxSim在盘算时就会自动选出文档里与这组看法最匹配的那一个，，，，，，取其得分，，，，，，而不是把所有匹配的孝顺累加。。。这意味着一篇同时包括"红色""赤红""朱红"的文档，，，，，，不会仅仅由于堆砌了多个近义词就获得不公正的高分，，，，，，这正是模糊OR与模糊AND的实质区别。。。 更进一步，，，，，，当把多个这样的盘问向量组合在一起，，，，，，每个向量代表一个需要知足的条件（一个OR子句），，，，，，所有向量的MaxSim值求和，，，，，，就组成了一个"条件的AND"。。。这在逻辑上恰恰对应Conjunctive Normal Form（合取范式，，，，，，CNF），，，，，，即"多个或条件的且"。。。研究者们用数学证实，，，，，，在适当的嵌入结构下，，，，，，MaxSim盘算出的总分，，，，，，能和准确的布尔逻辑评判爆发完全相同的文档排名顺序——哪些文档知足所有条件排在最前面，，，，，，哪些只知足部分条件依次递减，，，，，，哪些一个条件都不知足得分最低。。。 这个发明的意义在于：MaxSim不但在数学能力上可以与内积媲美，，，，，，它还自然地以一种与古板布尔搜索兼容的方式组织信息匹配。。。这给了研究者们一种新的视角来明确，，，，，，为什么通过学习训练出来的ColBERT类模子往往能捕获到用户搜索意图中的多条件组合逻辑。。。 理论上能做到的事，，，，，，实践中是否真的有用？
？研究团队设计了一组实验来验证扩展方案的现实价值，，，，，，测试场景专注于带否认条件的搜索，，，，，，由于这正是标准MaxSim理论上难以处理的地方。。。 实验使用了合成数据集，，，，，，名堂类似于"约翰·史女士喜欢另类摇滚、天使蛋糕、杏子、阿根廷蚂蚁、牛油果、黑莓、卷心菜和哈密瓜"这样的文档，，，，，，盘问则是"喜欢另类摇滚和黑莓但不喜欢樱桃的人"。。。选择合成数据的利益是完全可控，，，，，，扫除了词汇漫衍、训练数据质量等混淆因素，，，，，，让研究者们能准确权衡两种评分战略自己的差别。。。 比照的两个系统都使用了完全相同的ModernBERT语言模子作为基。。。，，，，，参数目约为1.49亿，，，，，，区别只在于最终的相似度盘算方式——一个用标准MaxSim（称为ColBERT基线），，，，，，另一个用Signed MaxSim（称为Fallon）。。。Fallon特殊增添了一个小型神经网络？
？椋，，，，，用来为每个词天生权重值（理论版本里这个权重是符号+1或-1，，，，，，实践中铺开为恣意实数以便梯度逊С畅举行）。。。两者用相同的数据、相同的训练战略、相同的超参数（学习率1e-5）举行训练，，，，，，唯一的变量就是评分函数。。。 第二个场景换了一套新的词汇表，，，，，，通过Gemini天生与原词汇同类但表述差别的新看法，，，，，，模拟搜索系统遭遇从未见过的词汇时的情形。。。ColBERT的nDCG@10骤降至0.597，，，，，，袒露了其泛化能力的懦弱性；；Fallon则不降反升，，，，，，抵达1.000的满分，，，，，，平均精度（AP）也从0.511跃至1.000。。。这个反差说明，，，，，，ColBERT在同域测试中的较好体现，，，，，，部分依赖于训练和测试词汇的重叠，，，，，，一旦词汇爆发转变，，，，，，其战略就难以为继。。。Fallon学到的是一种更通用的"用符号处分不想要的特征"的战略，，，，，，词汇的详细形式并不影响这种战略的有用性。。。 第三个场景是纯否认盘问，，，，，，名堂如"不喜欢樱桃的人"或"不喜欢樱桃或西瓜的人"，，，，，，完全没有任何正向条件。。。这对标准MaxSim来说是最严酷的磨练。。。在这个场景里，，，，，，语料库中绝大大都文档（不包括被扫除属性的文档）都是准确谜底，，，，，，即便随机检索也能获得相当高的分数。。。然而ColBERT的nDCG@10只有0.008，，，，，，险些为零，，，，，，意味着它不但没能找到准确文档，，，，，，反而系统性地把最不相关的文档（也就是包括被扫除属性的文档）推到了最前面。。。这是标准MaxSim内在逻辑的直接效果：它总是试图找到某个正向匹配项，，，，，，当唯一显著的语义信号是一个"应该被处分"的看法时，，，，，，它反而会选中含有这个看法的文档作为最佳匹配。。。Fallon在统一场景下抵达了0.788，，，，，，虽然距离满分尚有差别，，，，，，但与基线相比是实质性的改善。。。剩余差别主要来自检索截断的问题：当准确文档数目抵达数万时，，，，，，只返回前1000个效果的评估协议自己就设置了难以突破的天花板。。。 说究竟，，，，，，这项研究做的事情有些反常——它不是提出一种全新的搜索算法，，，，，，而是转头认真检视一个已经在实践中被普遍使用的战略，，，，，，问清晰它事实"为什么管用"以及"在哪些地方不敷用"。。。研究者们发明，，，，，，MaxSim之以是在现实测试中击败更简朴的要领，，，，，，不是靠参数目取胜，，，，，，而是由于它的评分机制在数学上确实更有能力——能够准确模拟任何非负希罕内积，，，，，，而这是牢靠维度的单向量要领做不到的。。。与此同时，，，，，，标准MaxSim在处理负值和扫除性语义方面保存根天性的局限，，，，，，这个局限同样被数学证实所确认，，，，，，而不但是履历视察。。。针对这一局限，，，，，，Signed MaxSim通过疏散"巨细"和"符号"两个维度的信息，，，，，，以极小的架构改动解决了这一根天性问题，，，，，，且实验效果验证了这种改动在实践中的有用性。。。 这项研究让人遐想到的一个思索是：在机械学习领域，，，，，，许多被证实好用的要领，，，，，，往往缺乏与其性能相匹配的理论明确。。。当理论和实验终于对齐时，，，，，，往往不但能诠释已往，，，，，，还能指引未来。。。Signed MaxSim在否认盘问上的大幅改善，，，，，，以及它在词汇迁徙场景下的稳健性，，，，，，都批注这种对底层评分机制的理论明确，，，，，，正在转化为实着实在的工程收益。。。有兴趣深入相识数学细节或复现实验的读者，，，，，，可通过arXiv编号2607.05803查阅完整论文。。。 A：通俗内积要领把文档压缩成一个牢靠长度的向量来代表所有词汇，，，，，，词汇表越大信息损失越多。。。MaxSim则给文档里的每个主要词汇单独保存一个小向量，，，，，，盘问时对每个关注点划分找文档里最匹配的部分取最大值，，，，，，再求和。。。这样纵然词汇表无限大，，，，，，每个词汇的特征也不会被压缩掉，，，，，，理论上信息保存更完整。。。 A：标准MaxSim的取最大值操作很难爆发稳固的负孝顺，，，，，，由于文档里总有一些不相关的词汇会给出靠近零的分数，，，，，，把本应爆发的处分效果盖掉。。。Signed MaxSim把每个词的巨细和符号脱离处理，，，，，，巨细用来找最匹配的词，，，，，，找到之后再乘上符号来决议加分照旧扣分。。。这样当盘问包括"不想要"的看法时，，，，，，文档里确实泛起该看法就会直接爆发负分，，，，，，而不会被其他不相关词汇的零分所滋扰。。。 A：从模子架构看，，，，，，Signed MaxSim只需要在标准ColBERT的基础上特殊添加一个小型神经网络？
？槔刺焐扛龃实娜ㄖ刂担，，，，，改动很小。。。但现在的近似快速检索引擎（如PLAID）是专门为标准MaxSim设计的，，，，，，不可直接用于Signed MaxSim，，，，，，需要开发新的近似搜索方案。。。论文作者体现这是后续事情的偏向，，，，，，现在实验使用的是准确全量盘算。。。