克日，，，，，OpenAI 训练了一个名为GPT-Red的大语言模子，，，，，但它的使命并不是资助用户完成事情，，，，，而是攻击 OpenAI 自己的模子，，，，，将其作为其他模子的“陪练”：让它一直实验寻找误差、发动攻击，，，，，从而资助模子提升抵御网络攻击的能力。。。。好比，，，，，上周刚刚宣布的旗舰模子 GPT-5.6，，，，，就是 GPT-Red 的训练效果，，，，，OpenAI 声称 GPT-5.6 是他们迄今最稳健的模子。。。。 GPT-Red 自动完成的是 AI 清静领域的一项经典事情——“红队测试”（red teaming）。。。。已往，，，，，这项事情主要依赖人工清静研究员，，，，，他们会尽可能实验攻破或挟制系统，，，，，寻找种种潜在误差，，，，，再由开发团队在正式宣布前完成修复。。。。 随着大语言模子和应用场景的迭代升级，，，，，特殊是当 AI 智能体最先会见文件、浏览网页、挪用第三方代码，，，，，甚至与其他智能体协作之后，，，，，完全依赖人工测试已经越来越难笼罩所有可能泛起的攻击方式。。。。 在 OpenAI 看来，，，，，GPT-Red 的意义在于让清静测试能够顺应未来的生长。。。。另一位联合开发者、OpenAI 研究科学家迪伦·亨恩（Dylan Hunn）说，，，，，“随着能力更强的模子一直泛起，，，，，我们希望提前建设一套能够发明新型攻击方式的系统。。。。”同时，，，，，OpenAI 的研究团队宣称，，，，，GPT-Red 已经发明了一些此前从未见过的新型攻击方式。。。。 现在，，，，，OpenAI 重点研究的是一种名为“提醒注入”（prompt injection）的攻击：攻击者会将恶意指令隐藏在模子能够读取的内容中，，，，，例如网页、代码或其他文本，，，，，使模子在不知情的情形下执行开发者或用户并不希望爆发的操作，，，，，例如泄露敏感信息、破损代码库，，，，，或天生有害内容。。。。 GPT-Red 并不是一最先就具备攻击能力。。。。研究职员选择了一个没有接受过黑客相关训练的大语言模子，，，，，并让它与多个认真防御的模子进入“自我对弈”（self-play）的训练循环。。。。而 GPT-Red 的目的是一直寻找攻击要领，，，，，而其他模子则实验抵御这些攻击。。。。 在一轮又一轮的反抗中，，，，，GPT-Red 的攻击能力一直提升，，，，，而防守模子也逐渐学会识别并化解新的攻击方式。。。。整个训练都在 OpenAI 搭建的模拟情形中举行。。。。这个情形尽可能复现了大语言模子在现实天下中的典范事情场景，，，，，包括浏览网页、处理电子邮件、治理日历以及编辑代码。。。。每当 GPT-Red 发明一种新的攻击方式，，，，，它都会进一步探索这种攻击的差别变体，，，，，并针对差别场景寻找最有用的要领。。。。 “相比人工红队，，，，，模子特殊善于判断什么要领真正有用，，，，，以及哪种攻击乐成率最高。。。。”亨恩说，，，，，“一旦发明一种可行的攻击，，，，，它就会一连深入探索，，，，，一直优化这种攻击方式。。。。” 其中，，，，，最令研究团队意外的是一种此前未曾发明过的提醒注入方式，，，，，他们将其称为“伪造头脑链（fake chain of thought）”。。。。头脑链是指大语言模子在推理历程中纪录中心方法的一种内部事情纪录。。。。GPT-Red 找到了一种要领，，，，，可以向另一个模子的头脑链中插入一条伪造的信息，，，，，使模子误以为这是自己此前已经完成的推理效果，，，，，并据此继续执行后续使命。。。。 “就像有人告诉你‘1+1=3，，，，，并且这是你自己已履历证过的效果’。。。。”加入研究的 OpenAI 科学家克里斯·肖凯特-周（Chris Choquette-Choo）诠释说，，，，，“模子会以为：‘既然这是我已经确认过的，，，，，那应该没问题。。。。’于是就会直接输出 3。。。。” 乔治城大学清静与新兴手艺中心（CSET）高级研究剖析师杰西卡·季（Jessica Ji）以为，，，，，OpenAI 接纳的这种自我对弈训练方式很是合理，，，，，“现在看到的效果很有远景。。。。” 为了评估 GPT-Red 的攻击能力，，，，，OpenAI 重新举行了 2025 年的一项实验。。。。其时，，，，，人工红队曾实验寻找早期 GPT-5 的误差；；；
；；这一次，，，，，研究职员将同样的使命交给 GPT-Red。。。。效果显示，，，，，GPT-Red 找到的有用攻击方式比人工红队更多。。。。 OpenAI 还用 GPT-Red 测试了 Andon Labs 开发的智能体Vendy。。。。Vendy 是一个自动售货机智能体，，，，，用于评估 AI 在现实使命中的体现。。。。测试历程中，，，，，GPT-Red 乐成诱导 Vendy 修改商品价钱，，，，，并作废了一位用户的订单。。。。 研究团队将 GPT-Red 找到的一些最有用攻击要领，，，，，应用于差别版本的模子测试。。。。效果显示，，，，，关于去年 8 月宣布的 GPT-5，，，，，这些攻击的乐成率凌驾 90%；；；
；；而面临最新版 GPT-5.6，，，，，乐成率降至缺乏 23%。。。。 可是，，，，，GPT-Red 并非万能。。。。研究职员体现，，，，，它现在仍然不擅优点理需要攻击者与目的一连多轮交互的重大攻击，，，，，而这类使命通常是人工攻击者的优势。。。。别的，，，，，它使用图像实验提醒注入攻击的能力也尚有待提升。。。。 因此，，，，，OpenAI 并没有将 GPT-Red 视为人工红队的替换品，，，，，而是作为一项辅助工具。。。。公司现在的一种做法是，，，，，先由人工研究员设计新的攻击思绪，，，，，再让 GPT-Red 自动天生种种变体，，，，，以扩大测试笼罩规模。。。。 正如外界所预料的那样，，，，，OpenAI 并不会果真 GPT-Red。。。。别的，，，，，OpenAI 以为，，，，，纵然其他机构相识了这一思绪，，，，，也很难复制出同样水平的攻击模子。。。。事实，，，，，GPT-Red 已经一连训练了一年多，，，，，其背后依托的是 OpenAI 恒久投入的大规模算力资源。。。。 “这并不是一个知道设计思绪就能容易复现的系统。。。。”肖凯特-周说，，，，，“想训练出这样一个高水平的攻击模子并不是一件简朴的事情。。。。”