这项由新加坡南洋理工大学、香港大学、约翰斯·霍普金斯大学、AI2和北卡罗来纳大学教堂山分校联合开展的研究，，，于2026年6月29日以预印本形式宣布在arXiv平台，，，论文编号为arXiv:2606.30026。。。。。感兴趣的读者可以通过该编号在arXiv上查阅完整论文。。。。。 当你坐在影戏院，，，某个画面让你莫名其妙地心跳加速，，，或者某段默然让你感应一阵窒息——这种感受从何而来？？？谜底往往藏在导演的每一个选择里：摄像机的角度、光线的冷暖、剪辑的节奏、甚至是演员站立的位置。。。。。这些选择不是随机的，，，而是艺术家全心设计的"语言"，，，用来向观众转达情绪、主题和意义。。。。。 现在的AI，，，尤其是那些既能看图又能明确文字的"多模态大语言模子"，，，已经在许多使命上展现出靠近人类甚至逾越人类的能力——好比回覆问题、识别物体、翻译语言。。。。。但有一个问题一直没有被认真测试过：这些AI真的能明确艺术背后的创作意图吗？？？它们知道一部影戏为什么用对称构图、为什么在某个时刻选择默然、为什么游戏设计师要用特定的光影气概渲染一个关卡吗？？？ 这正是这篇论文想要探讨的问题。。。。。研究团队建设了一个叫做MUSEBENCH的测试基准，，，专门用来测试AI在明确"视听艺术创作意图"方面的能力。。。。。效果相适时人震惊：即即是现在最强盛的AI模子，，，得分也只有48.29%，，，而人类专家的得分高达87.18%。。。。。这个差别，，，约莫相当于一个刚入门的学生和一位资深教授之间的距离。。。。。 在MUSEBENCH泛起之前，，，现有的视频明确测试大多在问"视频里爆发了什么"——好比"这段视频的后半部分展示了什么内容"。。。。。这类问题就像是考察一个人能不可形貌菜单上的菜名，，，而MUSEBENCH要问的是"厨师为什么要用这种烹饪手法"——这是完全差别条理的明确。。。。。 研究团队发明，，，构建这样一个测试面临三个深层挑战。。。。。第一个挑战是专业知识极其稀缺。。。。。艺术剖析需要专业训练，，，你不可随便找人来写关于影戏摄影或舞台设计的专业问题，，，这类知识不是通俗众包就能完成的。。。。。第二个挑战是艺术自己的多义性。。。。。统一幅画、统一个镜头，，，差别的专业人士可能从差别角度给出多个同样合理的解读，，，而古板的"选一个准确谜底"的测试名堂基础无法捕获这种重大性。。。。。第三个挑战是怎样公正评估。。。。。若是一道题有5个选项，，，另一道题有8个选项，，，随机推测的胜率原来就差别，，，简朴较量准确率是不公正的。。。。。 解决专业知识稀缺问题的要害思绪，，，是找到一个自然具备专业剖析内容的数据泉源。。。。。研究团队发明，，，网络上保存大宗的"视频谈论文章"（video essay）——这是一种由影评人、艺术谈论者或专业创作者制作的剖析性视频，，，他们在解说某部影戏的摄影手法、某幅画作的构图技巧，，，或某个游戏的视觉设计时，，，会一边播放相关画面，，，一边做专业解说。。。。。 这种名堂有三个自然优势，，，使它成为构建测试的理想质料。。。。。创作者不但是告诉你"这里用了什么技法"，，，还会诠释"为什么这样用、爆发了什么效果"——这正是意图层面的剖析。。。。。并且解说词和画面是准确同步的，，，专家剖析的内容直接对应屏幕上正在展示的视觉证据。。。。。别的，，，这类视频笼罩了影戏、摄影、舞台演出、游戏设计等大宗在现有AI测试中被忽视的领域。。。。。 研究团队从YouTube、Bilibili和TikTok上网络了凌驾一万个这样的视频谈论文章，，，经由严酷筛选后作为原始数据。。。。。筛选历程自己就很考究：先用AI凭证要害词搜索候选视频，，，再用另一个AI判断这个视频是否真正在做艺术剖析（而不是教程、广告或纯粹的嬉戏录像），，，最后还要经由人工审核，，，剔除那些"画面只是解说者的头像"或"实质上是操作演示"的视频。。。。。 第二步是为每个片断天生详细的视觉形貌。。。。。研究团队使用一个专门的视觉-语言模子，，，对每个10秒片断以每秒1帧的速率采样，，，并连系对应的解说文字，，，天生一段细腻的视觉形貌，，，包括色彩、构图、动态、场景配景等信息。。。。。这些形貌执偾用于内部天生问题，，，不会作为提醒提供应被测试的AI。。。。。 第三步是天生问题和谜底。。。。。将片断的视觉形貌和完整的解说文字一起提供应AI，，，让它为每个视频天生3到5道题。。。。。有两个要害约束：一是问题必需能仅凭画面回覆，，，不可是"解说者以为..."这种依赖解说词才华回覆的问题；；；；二是必需先写出准确谜底，，，再写滋扰选项，，，阻止滋扰选项在文字气概上与准确谜底爆发显着差别。。。。。 第四步是天生滋扰选项。。。。。这是整个流程中最全心设计的环节。。。。。滋扰选项必需看起来专业、合理，，，但现实上是过失的。。。。。研究团队设计了七种滋扰战略：将准确术语用于过失剖析、给出听起来对但缺少焦点洞察的太过简化版本、混淆相近但差别的看法、倒置技法与效果的因果关系、将准确剖析过失地应用于差别场景或时间段，，，以及那种部分准确但在要害点上过失的"半真半假"选项。。。。。每道题的每个滋扰选项必需使用差别的战略，，，确保一个没看过视频的人无法通过阅读问题自己就猜出谜底。。。。。 单选题要求AI在4到8个选项中找出唯一准确的谜底，，，测试的是"能否在多个合明确读中准确识别最准确的谁人"。。。。。这类题就像问：在这幅画的诸多特点中，，，哪一个最准确地形貌了画家的焦点意图？？？ 多选题则要求AI从选项中选出所有准确的谜底，，，其中准确谜底有2到4个。。。。。这类题认可了艺术的多义性——统一个导演的视觉选择，，，可以同时体现对秩序感的追求、对现实主义的疏离，，，以及对叙事者权威的强调。。。。。多选题问的是"能否找到所有建设的解读维度"。。。。。 值得注重的是，，，无论哪种题型，，，问题都会见告AI目今是单选照旧多选，，，但不会告诉它准确谜底的详细数目，，，这防止了AI通过简朴计数来推断谜底。。。。。 关于单选题，，，他们发明了"时机调解准确率"（CAA）。。。。。焦点思绪很简朴：若是一道题有4个选项，，，随机料中的概率是25%；；；；若是有8个选项，，，随机料中的概率只有12.5%。。。。。直接较量这两种题的准确率，，，对难题来说是不公正的。。。。。CAA的做法是，，，从现实得分中减去随机推测的期望得分，，，然后归一化，，，使得随机推测的期望得分始终是0，，，完全答对始终是1，，，无论选项数目几多。。。。。这样差别难度的题就可以放在统一把尺子上较量了。。。。。若是一个模子的CAA是负数，，，意味着它的体现甚至不如随机推测，，，基本上就是在"反向操作"。。。。。 关于多选题，，，他们使用基于荟萃的准确率、召回率和F1分数。。。。。准确率权衡模子选出的谜底中有几多是真正准确的（阻止乱选一气），，，召回率权衡所有准确谜底中模子找到了几多（阻止只选最显眼的一个）。。。。。F1分数则综合两者，，，给出一个平衡评价。。。。。同时他们也保存了准确匹配率作为辅助指标——只有当模子选出的谜底荟萃和准确谜底荟萃完全一致时才算对，，，这个标准极为严酷。。。。。 天生问题只是最先，，，确保问题质量才是真正的挑战。。。。。研究团队建设了一个迭代审核循环，，，分四个方法一直刷新问题质量。。。。。首先批量天生候选题，，，然后由领域专家对每道题打pass或fail，，，并纪录失败原因。。。。。接着将所有新发明的问题类型汇总，，，最后更新生陋习则，，，触发周全重新天生。。。。。 在审核历程中，，，研究职员发明了8种系统性过失，，，漫衍在四个严重水平品级。。。。。最严重的问题包括标签指向不保存的选项、题干中内嵌的选项列表与正式选项数组纷歧致，，，以及多选题的准确谜底荟萃为空。。。。。次严重的问题包括多个选项文字完全相同，，，或所有选项共享凌驾50个字符的相同前缀（这样的选项现实上无法区分）。。。。。中等问题包括多选题现实上只有一个准确谜底退化成单选题，，，以及"准确谜底"字段用的是改写版本而不是选项的原文。。。。。 别的尚有7个无法通过替换单题来解决的系统性问题，，，好比选项分辨度太低、语言气概过于学术化、滋扰选项不敷有区分度等，，，这些都需要从基础上重写天生提醒词来解决。。。。。 最终，，，四位领域专家对每类题型各90道样本举行了自力打分，，，评分维度包括整体质量、视觉须要性（谜底是否真的需要看视频才华回覆）、机制追溯（选项是否展示了"技法→效果→意图"的因果链条）以及谜底完整性。。。。。各维度在种种别的平均分均凌驾4分（满分5分），，，评分者间一致性抵达0.855，，，靠近完善一致。。。。。 研究团队以零样本方式（即不给AI任何示规范题）测试了28个目今最先进的多模态大语言模子，，，涵盖三类：闭源商业模子（如GPT-5.4、Claude-4.6-Opus、Gemini-3.1-pro-preview、Grok-4.1等）、开源通用模子（如Qwen3.5、InternVL3、LLaVA-OneVision等），，，以及专门针对视频明确优化的开源模子（如VideoLLaMA2、VideoLLaMA3、Video-R1等）。。。。。 每道题，，，模子会收到以1帧/秒速率采样的视频片断（不含解说员声轨），，，以及对应的文字提醒。。。。。关于支持音频输入的模子，，，还会提供去掉解说的情形音频；；；；关于不支持音频的模子，，，则提供该音频的文字转录。。。。。 最强的单个模子Claude-4.6-Opus的总体准确率是48.29%，，，而人类专家的准确率是87.18%。。。。。两者之间快要40个百分点的差别，，，在测试领域是相当显著的。。。。。GPT-5.4排第二，，，44.58%。。。。。商业闭源模子整体体现最好，，，其次是开源通用模子，，，专门针对视频优化的开源模子体现并没有比通用模子好，，，甚至一些小型通用模子的体现还能追平或凌驾视频专用模子。。。。。 从种种别来看，，，差别很是显着。。。。。影戏艺术和舞台演出艺术是模子相对最善于的，，，Claude-4.6-Opus在影戏艺术单选题上的CAA抵达63.26，，，在舞台演出单选题上抵达62.65。。。。。静态视觉艺术居中。。。。。游戏艺术则是所有模子的配合软肋——Claude在游戏艺术单选题的CAA只有34.07，，，GPT-5.4只有32.00，，，甚至有些模子泛起了负分（GLM-4.5v在游戏艺术单选题上得了-4.34，，，比随机推测还差）。。。。。 随机推测的期望CAA靠近0，，，而人类专家在游戏艺术单选题上仍然能抵达86.15。。。。。这个差别说明游戏艺术对AI来说是一个特殊生疏的领域，，，可能由于互动视觉、实时摄像控制、气概化渲染等游戏特有的视觉语言在网络规模的训练数据中严重缺乏。。。。。 关于动态要害帧选择，，，5个使用这类战略的模子（AKS、Q-Frame、LongVT、Video-CCAM、TimeChat）的准确率都在14.42%到20.51%之间，，，处于所有测试模子的最低档，，，甚至不如通俗视频模子。。。。。这说明艺术明确的瓶颈不在于"找到哪几帧最主要"，，，而在于对视觉语言和文化配景的深层明确。。。。。纵然你精准定位到了最要害的画面，，，若是没有响应的艺术知识储备，，，也无法读懂谁人画面的意义。。。。。 关于多选题行为，，，模子在多选题上的F1分数普遍高于准确匹配率，，，且准确率高于召回率。。。。。用更直白的话说：AI倾向于"只选最显眼的谁人准确谜底，，，而忽略其他同样有用的解读"。。。。。就像一个学生面临"请列出这幅画的所有构图战略"时，，，只写了最显着的一个就停了。。。。。这种行为模式在险些所有测试模子中都一致保存，，，批注目今AI在多维度艺术剖析方面保存系统性局限。。。。。值得注重的是，，，Video-R1是唯一在多选题上召回率凌驾准确率的模子，，，说明它更倾向于"宁愿多选、不要漏选"，，，但准确率较低说明它同时也选进了一些过失选项。。。。。 关于模态孝顺，，，研究团队对VideoLLaMA2和Qwen2.5-Omni-7B举行了模态消融实验，，，划分测试了纯文字、音频加文字、视频加文字、以及视频加音频加文字四种输入条件。。。。。效果显示，，，加入视频流带来最大的单次提升，，，而单独加入音频对得分险些没有影响。。。。。但在视频基础上再加入音频，，，还能带来特另外小幅提升。。。。。这说明视觉信息是艺术明确的主要载体，，，但音频确实提供了某些视觉无法单独转达的增补信息。。。。。 关于选项位置误差，，，在有5个及以上选项的单选题中，，，准确谜底在A到E位置的漫衍是相当匀称的（各占约15.9%到18.2%）。。。。。但模子的展望漫衍严重偏向前面的选项：仅选项A就占了所有模子展望的30.9%，，，是着实际准确率的近两倍。。。。。这种偏向在开源模子中尤为突出，，，开源模子选A的比例比其应有比例横跨19个百分点；；；；而商业模子虽然也有误差，，，但水平较轻，，，只横跨约6.5个百分点。。。。。由于MUSEBENCH对所有问题的选项顺序举行了随机化处理，，，这种误差反映的是模子内在的位置偏好，，，而不是问题设计的问题。。。。；；；；痪浠八，，，当模子对视觉和文化证据没有足够掌握时，，，它倾向于回退到"选第一个"这个默认战略。。。。。 将MUSEBENCH与现有视频明确测试做个比照，，，可以更清晰地看出它的奇异之处。。。。。现有大大都测试，，，从早期的MSRVTT-QA、MSVD-QA，，，到近年的MVBench、EgoSchema，，，主要测试日；；；；疃氖率敌悦魅，，，既不要求领域专业知识，，，也不刻意控制视觉依赖性（许多问题着实不需要看视频也能回覆）。。。。。Video-MMMU是少数要求专业知识的测试，，，但它测的是STEM学科的讲座视频，，，实质上是知识迁徙而非艺术解读，，，并且同样没有严酷要求视觉依赖。。。。。 MUSEBENCH是现在唯一同时知足四个条件的测试：涵盖多个专业艺术子领域、包括字幕和音频、要求领域专业知识、以及明确要求谜底必需来自视觉证据而非文字推断。。。。。 这项研究展现的焦点问题不是AI的感知能力或定位能力不敷，，，而是它的"艺术词汇"和"文化先验知识"严重缺乏。。。。。影戏摄影、舞台设计、游戏视觉语言——这些需要深挚领域配景才华解读的符号系统，，，在目今主流AI的训练数据中严重欠缺，，，或者即便有，，，也缺乏意图层面的剖析和注释。。。。。 这也意味着，，，纯粹扩大训练数据的规；；；；蛴呕Ｗ蛹芄，，，并不可直接解决这个问题。。。。。需要的是更富厚的艺术剖析监视信号——即训练数据中不但包括"这里有什么"，，，还要包括"为什么这样做、爆发了什么效果"的专业解读。。。。。 研究团队也忠实地指出了MUSEBENCH的局限性。。。。。现在的测试只涵盖了四类艺术形式，，，而音乐、修建等同样主要的艺术领域尚未包括。。。。。视频谈论文章这个数据泉源虽然质量高，，，但在差别艺术形式和语言间的笼罩度不平衡。。。。。别的，，，多项选择题的名堂自己也无法完全捕获真正开放性的艺术解读——未来的测试可能需要引入开放式问答和更细粒度的部分分评分机制。。。。。 归根结底，，，这项研究让我们看到了AI与真正明确艺术之间的详细距离，，，并提供了一把量尺来一连丈量这个距离。。。。。艺术是人类表达最重大情绪和头脑的方式之一，，，而AI要真正明确这种表达，，，或许还需要走很长一段路——但至少现在我们知蹊径有多长，，，以及在那里应该用力。。。。。 A：MUSEBENCH专门测试的是"意图层面"的艺术明确，，，也就是要求AI回覆"为什么"而不是"是什么"。。。。。通俗视频测试通常问视频里爆发了什么事，，，而MUSEBENCH问的是导演为什么选择对称构图、为什么在某个时刻让画面默然、游戏设计师为什么用某种光影气概——这需要深挚的领域知识和对创作意图的推断，，，远比形貌画面内容难堪多。。。。。 A：研究团队以为，，，焦点原因是游戏特有的视觉语言——好比实时摄像控制、交互式关卡设计、气概化渲染效果——在现有AI的训练数据中严重缺乏。。。。。现有模子的逊ж材大多来自影戏、图片和日常视频，，，游戏艺术剖析类的专业内容笼罩远远缺乏，，，导致模子面临游戏画面时缺乏读懂其设计意图所需的"词汇"和配景知识。。。。。 A：研究团队接纳了多重步伐。。。。。问题必需能仅凭去掉解说的视频画面往返覆，，，不可是复述解说词内容的题。。。。。滋扰选项用七种差别战略设计，，，每个选项对没看过视频的人都显得同样合理，，，必需真正看懂画面才华区分。。。。。同时，，，准确谜底必需先于滋扰选项天生，，，阻止因语言气概差别爆发可被识别的线索。。。。。视频自己也去掉相识说员的声轨，，，防止模子通过语音内容直接得出谜底。。。。。