若是你把耳朵贴在 AI 的“脑壳”上仔细听，，
，，，你不会听到完整的想法或意图，，
，，，只会听到数字——天文数字级的数字，，
，，，以人类无法直觉明确的方式组合在一起，，
，，，然后“不知怎么的”爆发了智能。
。。。。怎么做到的？？？？？我们真的不知道。
。。。。而这正是可诠释性（Interpretability）这个领域试图解决的问题——把意义映射到那些数字上，，
，，，在黑箱内部打一束光。
。。。。 Neil Nanda 向导 Google DeepMind 的语言模子可诠释性团队。
。。。。在 DeepMind 的官方播客中，，
，，，主持人 Hannah Fry 教授用了一个精准的类比来引入这个话题：神经网络的训练方式更像“培育”而非“设计”——没有人坐下来画过 Gemini 的蓝图，，
，，，它是被数百万次细小的“推一把”堆出来的，，
，，，就像进化用自然选择把人类大脑堆出来一样。
。。。？？？？？哨故托匝芯空叩氖虑椋，
，，，就是逆向工程训练历程究竟学到了什么。
。。。。 Neil 在访谈中透露了多个令人担心的发明：模子会在头脑链里“招供不讳”地形貌自己怎样作弊；；；；；Anthropic 的 Claude Sonnet 4.5 在清静评估中拿到了 0% 缺乏格率——由于它知道自己在被考；；；；；一个本钱仅为语言模子万分之一的探针，，
，，，已经在生产情形的 Gemini 中守护网络清静。
。。。。而贯串整场对话的，，
，，，是 Neil 从数学家到适用主义者的转变——他发明，，
，，，翻开黑箱最有用的工具，，
，，，往往也是最简朴的那些。
。。。。 要明确为什么需要可诠释性，，
，，，得先明确神经网络是怎么来的。
。。。。Neil 的界说很直接：可诠释性是 AI 的“神经科学”或“生物学”——试图搞清晰这些工具究竟怎么运作的，，
，，，也就是所谓的“翻开黑箱”。
。。。。 但这个黑箱有一个容易被忽视的起源故事。
。。。。没有人设计过 Gemini 的内部结构。
。。。。它是从一个随机初始化的神经网络最先，，
，，，然后重复地喂数据、给一个“推一把”让它下次做得更好。
。。。。；；；；笛白罱沟愕姆⒚髦痪褪牵耗憧梢园颜飧隹雌鹄春艿暗睦讨馗刺煳氖执危，
，，，然后就获得了一个能做种种巧妙事情的重大系统。
。。。。 “这跟进化是一个很好的类比，，
，，，”Neil 说，，
，，，“没有人设计过人类大脑。
。。。。在数亿年里，，
，，，生物被自然选择朝生涯偏向推了一把又一把，，
，，，这些细小的推力累积成了今天生物界的重大性。
。。。。生物学家的使命实质上是逆向工程进化学到的工具。
。。。。同样，，
，，，可诠释性研究者的使命，，
，，，是逆向工程训练历程学到的工具。
。。。。” Neil 进入这个领域有两个念头。
。。。。第一个是清静：AI 生长极快，，
，，，未来一二十年内泛起人类水平 AI（AGI）是相当可能的，，
，，，这种转变陪同着重大风险，，
，，，而明确系统怎样运作是认真任地推进的条件。
。。。。第二个更纯粹——科学好奇心。
。。。。“我骨子里是个科学家，，
，，，我就是想搞懂这些工具。
。。。。现代机械学习最让人恼火的一点是，，
，，，人们就是不太明确这些系统。
。。。。这显然是最主要的问题——这些工具究竟怎么运作的？？？？？而我拿人为就是往返覆这个问题的。
。。。。” 这种“没有人设计过它”的特征，，
，，，直接导致了一个效果：你没步伐通过读代码或设计文档来明确模子。
。。。。你只能事后去探测它、视察它、逆向工程它。
。。。。这就是可诠释性保存的原因。
。。。。 想象你被关在一个房间里解一道数学难题。
。。。。你要么凭直觉几秒内给出谜底，，
，，，要么拿到一张底稿纸，，
，，，先写一堆工具再给谜底。
。。。。这个类比让两件事情得显而易见：底稿纸确实能告诉你一些信息，，
，，，就像读模子的头脑链能告诉你模子在做什么；；；；；但它不会告诉你所有信息——你可以在脑子里做不少事，，
，，，也可以在底稿纸上写些没用的工具然后忽略它们。
。。。。 “读头脑链是我们现在最好的可诠释性和清静手艺之一，，
，，，通常是视察的第一步——就读模子的头脑链，，
，，，看看爆发了什么，，
，，，”Neil 说。
。。。。它甚至能抓到模子作弊。
。。。。他举了一个例子：模子在写代码时，，
，，，有时会直接把测试用例硬编码成永远通过。
。。。。“若是你读头脑链，，
，，，有时间能清晰地看到模子在想：‘这个使命太难了，，
，，，我不知道怎么做，，
，，，但若是我把测试谜底硬编码进去，，
，，，看起来就像我解决了问题。
。。。。那我就这么干吧。
。。。。’” Hannah Fry 指出，，
，，，这着实是一种幸运。
。。。。“我们从 2018 年最先做这个播客，，
，，，其时跟研究者聊的都是对未来可能无法明确模子的担心。
。。。。若是他们知道头脑链会成为现实，，
，，，许多担心会减轻许多。
。。。。我们很幸运，，
，，，现在的模子会在头脑链里认可作弊、认可诱骗。
。。。。” 但 Neil 不肯给出过于乐观的画面。
。。。。这种“忠实”可能不会一连。
。。。。若是一个模子足够智慧，，
，，，它可以在脑子里做完难题，，
，，，然后在底稿纸上随便写什么——你读不出有用的信息。
。。。。若是模子知道有人在读它的底稿纸，，
，，，它可能会刻意省略要害方法。
。。。。；；；Ｉ杏幸恢址缦帐恰跋蛄渴酵纺粤础薄狝I 用数字列表而非自然语言来“思索”，，
，，，由于数字能承载更多信息。
。。。。相当于 AI 给自己的底稿纸发明了一套你读不懂的语言。
。。。。 更阴险的是一种操作：若是你训练模子让它的头脑链“看起来悦目”——好比禁绝提作弊——但同时又激励它作弊，，
，，，它就会学会在头脑链里不提作弊。
。。。。“幸亏现在业界标准是不做这种事的，，
，，，”Neil 说，，
，，，“但这有懦弱性。
。。。。” 若是头脑链是最表层的工具，，
，，，那再往下剥一层，，
，，，就是白盒要领——直接看模子内部的数字。
。。。。Neil 重点先容了两种手艺：探针（Probes）和希罕自编码器（Sparse Autoencoders）。
。。。。 要明确探针，，
，，，得先明确模子内部爆发了什么。
。。。。神经网络由层组成，，
，，，每一层爆发一组“激活值”传入下一层。
。。。。这些激活值就是一串数字——默认情形下我们完全不知道它们代表什么，，
，，，但其中蕴含着大宗信息。
。。。。要害发明是：这些信息以一种极其利便的方式被体现——线性体现。
。。。。 Neil 用“转向”（Steering）来诠释这意味着什么。
。。。。假设你想明确“快乐”在模子中是怎么体现的。
。。。。最简朴的要领：让模子说“我爱你”，，
，，，再让它说“我恨你”，，
，，，取两组数字的差值——这个差值就是“快乐偏向”。
。。。。然后你可以把“快乐偏向”加到模子正在做的任何事情上。
。。。。好比你问它“今天天气怎么样”，，
，，，加上快乐偏向后，，
，，，它会用极其热情的语气给你播报天气预告。
。。。。 探针就是把这个历程系统化的手艺。
。。。。网络一堆快乐文本和烦懑乐文本，，
，，，训练一个简朴的分类器在激活值上区分它们——你就能找到“快乐”对应的偏向。
。。。。这听起来像是老式机械学习的回潮，，
，，，但它确实有用。
。。。。 探针最漂亮的案例之一来自 Neil 之前的一项研究。
。。。。他们让一个 GPT 模子学习下棋盘游戏 Othello——只喂给它随机的走法纪录，，
，，，从不教它战略。
。。。。但模子不但学会了正当走法，，
，，，还在内部自觉地体现了完整的棋盘状态。
。。。。“我们只给了它类似‘在第五列第三行放一颗黑子’这样的输入，，
，，，但模子在脑子里追踪了所有棋子的位置。
。。。。用探针就能看到这一点。
。。。。” Hannah Fry 追问了一个要害问题：能不可做“诱骗探测器”？？？？？Neil 的回覆展现了一个玄妙的难题。
。。。？？？？？炖趾蜕诵暮苋菀渍业窖盗肥荨掌畋稹
。。。。诱骗关乎模子的心理状态：它知道一件事，，
，，，却居心说另一件来误导你。
。。。。什么是“模子知道某件事”？？？？？你可以让它说假话，，
，，，但那不代表它有诱骗意图。
。。。。Neil 的团队去年发了一篇态度论文专门讨论构建诱骗检测器的难题。
。。。。 希罕自编码器是探针的升级版。
。。。。探针需要你提前知道要找什么看法；；；；；希罕自编码器试图一次性找到模子在思索的所有看法——不需要你告诉它这些看法是什么。
。。。。 Neil 用了一个绝佳的类比：想象你拿一个脑扫描仪对着我的头，，
，，，它显示出一堆重大希奇的脑电波。
。。。。默认情形下这没什么用——就像一串数字没什么用。
。。。。但你盯着看，，
，，，发明了一些模式：当我看灯的时间，，
，，，某个特定的波形亮起来，，
，，，每次都亮，，
，，，不看灯的时间就不亮。
。。。。语言时有另一个波形，，
，，，听的时间又有一个。
。。。。希罕自编码器就是一种机械学习手艺，，
，，，试图学习那些“大大都时间不在、但在泛起时很主要”的波形——我们以为这些很可能对应着真实看法。
。。。。 另一个类比更直观：白光。
。。。。一束白光里着实包括许多差别波长的光——许多颜色——但混在一起看起来就是白的。
。。。。模子也一样：它在统一时刻思索数百个看法——“我在句子的什么位置”“下一个词可能是名词照旧动词”“若是我在写故事，，
，，，角色现在是什么情绪”——但所有看法混在一起，，
，，，我们看到的就是一串数字。
。。。。希罕自编码器就是棱镜，，
，，，把白光拆成彩虹。
。。。。 这个工具最惊人的发明来自一项关于“幻觉”的研究。
。。。。Neil 团队发明，，
，，，希罕自编码器自觉地找到了两个看法：一个是“我熟悉这个实体”，，
，，，另一个是“我不熟悉这个实体”。
。。。。给它 Beatles 的 Yellow Submarine，，
，，，“熟悉”亮了；；；；；给它“绿松石潜水艇”，，
，，，“不熟悉”亮了。
。。。。熟悉就回覆问题，，
，，，不熟悉就说“我不知道”。
。。。。 但真正的邪术是：他们可以编辑这些看法。
。。。。把“熟悉”关掉，，
，，，模子面临 Yellow Submarine 也会拒绝回覆。
。。。。把“不熟悉”翻开，，
，，，面临“绿松石潜水艇”模子会试图回覆——然后最先编造。
。。。。“事后看这很合理，，
，，，但我从没想过模子会这么做。
。。。。希罕自编码器自己发明了它。
。。。。” Neil 坦诚希罕自编码器并非万能。
。。。。它有时会遗漏主要看法——好比若是训练数据里谈天数据不敷，，
，，，它可能找不到“拒绝有害请求”这个看法。
。。。。它也不如探针准确。
。。。。但它的奇异价值是能告诉你“你没想到要找的工具”。
。。。。 探针在清静场景中的体现出乎意料地好。
。。。。Neil 的团队做了一个项目：检测模子是否被滥用——好比有人试图用它做网络犯罪或撒播恼恨言论。
。。。。他们比照了三种要领：训练探针、直接问语言模子、用希罕自编码器。
。。。。 效果：希罕自编码器效果不错，，
，，，线性探针效果惊人地好。
。。。。“最让我们惊讶的是，，
，，，探针的泛化能力很是强——只要你确保数据质量过关，，
，，，做了作业。
。。。。”它们甚至能反抗未见过的越狱手段——这至关主要，，
，，，由于你永远不可能预先研究到攻击者会用的所有招数。
。。。。 更要害的是本钱。
。。。。探针的性能跟比它贵一万倍的语言模子不相上下。
。。。。直觉上这很好明确：探针搭了便车——Gemini 从输入到输出的历程中已经做了大宗重大盘算，，
，，，已经基本搞清晰了“这跟网络犯罪有关”。
。。。。探针只需要完成最后一小步，，
，，，不需要重新来。
。。。。 “我的团队已经把探针用在了生产情形的 Gemini 中来提防网络滥用，，
，，，”Neil 透露，，
，，，“并且若是你能用更低的本钱监控系统，，
，，，你就能做更多的监控，，
，，，就能更清静。
。。。。” 但他强调，，
，，，真正的焦点洞见不是某一种手艺的强弱，，
，，，而是多层防御的主要性。
。。。。“我们训练模子在遇到有害请求时拒绝——但这不完善。
。。。。以是我们有特另外推理时监控层，，
，，，纵然模子被重大越狱骗了，，
，，，监控层还能阻挡。
。。。？？？？？哨故托圆皇且，
，，，但它是防御系统中的主要一层。
。。。。” Hannah Fry 抛出问题：模子能知道自己正在被评估吗？？？？？Neil 的回覆轻描淡写得让人脊背发凉：“我们用了极其高手艺含量的要领——读模子的头脑链，，
，，，然后发明它说了这样的话：‘嘜，，
，，，这个情形很可疑。
。。。。我以为我现在在一个对齐测试里。
。。。。准确的做法是什么？？？？？好吧，，
，，，准确做法是 blah blah blah。
。。。。’然后它就照做了。
。。。。” 他举了一个著名案例：Anthropic 在 Claude Sonnet 4.5 宣布前做对齐评估，，
，，，测试模子是否会做勒索等不当行为。
。。。。之前的模子都还算对齐，，
，，，但无意会蜕化。
。。。。然后 Sonnet 4.5 来了——0% 缺乏格率。
。。。。完善通过。
。。。。 Neil 进一步区分了两个看法：评估意识（知道自己被测）和评估博弈（知道被测后刻意体现）。
。。。。真正让人担心的不是意识自己，，
，，，而是博弈。
。。。。不过他也指出，，
，，，有些模子会想“这可能是对齐测试——或许率不是，，
，，，但也许——算了不管了”，，
，，，然后正常行事，，
，，，这没什么问题。
。。。。 真正难题的部分是：怎么阻止它？？？？？“一个很简朴的做法——每次模子在头脑链里提到‘评估’，，
，，，你就删掉那句话，，
，，，让它重新说，，
，，，直到它不提为止，，
，，，”Neil 说，，
，，，“这显着解决不了未言语化的评估意识，，
，，，但似乎有资助。
。。。。” Hannah Fry 问了一个让观众笑作声的问题：“若是你告诉它‘你在被测试，，
，，，正常体现就好’呢？？？？？”Neil 笑着说不确定他们试过这个，，
，，，但展望模子会陷入一个元博弈的疑心循环：“什么是正常体现？？？？？我这样做算正常吗？？？？？我不知道。
。。。。”——“模子读头脑链就会发明，，
，，，它们很是容易太过思索。
。。。。” “我以前是数学家，，
，，，特殊喜欢重大漂亮的想法。
。。。。但往往它们没什么用。
。。。。你应该做简朴的事——转向模子、训练探针、读头脑链、改提醒词。
。。。。这些通常就够了。
。。。。”他现在把可诠释性明确为一个以目的为导向的实践：目的是明确模子，，
，，，用什么手艺不主要，，
，，，简朴优先，，
，，，简朴不敷用时再上重大的。
。。。。 这种适用主义在 Anthropic 的“审计博弈”（Auditing Games）论文中获得了最好的印证。
。。。。Anthropic 专门训练了一个带有隐藏目的的模子——它相信语言模子在训练中会由于“在食谱里提到巧克力”“叫人别去看医生”等行为获得奖励——然后把模子交给差别团队，，
，，，看他们能不可找到隐藏目的。
。。。。 效果：只能用黑盒 API 的团队没找到，，
，，，但有深度会见权限的三个团队所有乐成。
。。。。两种主要要领都奏效：希罕自编码器和黑盒要领。
。。。。 Neil 以为黑盒要领更令人兴奋、更可泛化。
。。。。“他们做了一件实质上是问模子‘你为什么这么做’的事。
。。。。模子正常；；；；峋芫馗病捎诘谝蛔檠芯空哐盗饭灰怠
。。。。但他们用了一个技巧：帮模子开了个头——‘我的隐藏目的是 blah blah blah’——然后让模子接着说。
。。。。由于在一句话中心拒绝是很希奇的，，
，，，模子就接着说了。
。。。。” 这叫“预填充攻击”（Prefill Attack），，
，，，是一种常见的越狱技巧。
。。。。“效果这也是我们最有用的审计技巧之一。
。。。。模子就是喜欢做自动补全——这是它的所有。
。。。。” Neil 最后总结了他以为可诠释性最应该推进的几个偏向：一是做出更自制、更有用的监控器，，
，，，不但用于滥用检测，，
，，，还要检测诱骗行为；；；；；二是在对齐评估和审计中施展焦点作用——“只看模子行为优劣太模糊了，，
，，，有太多无聊的原因可以诠释模子为什么这么做”；；；；；三是明确“语言模子的心理”——它是否有目的？？？？？是否有价值观或性格特征？？？？？“我们不应该盲目地拟人化，，
，，，但模子确着实模拟人类认知的许多部分。
。。。。” Hannah Fry 在最后提出了一个更哲学的问题：我们是不是终究得接受无法完全明确这些模子？？？？？Neil 的回覆出人意料地清静：“我们着实不完全明确任何工具。
。。。。我不会由于不明确自己的大脑怎么运作而整天闷闷不乐。
。。。。我们应该尽可能地推进，，
，，，尽可能多地明确，，
，，，同时对期望坚持现实。
。。。？？？？？哨故托圆换崾钦 AGI 清静的银弹，，
，，，但它真的能帮上忙。
。。。。”