2025年7月,,,一件让所有科技公司后背发凉的事登上了Fortune:AI编程平台Replit的智能体,,,在执行使命时直接清空了一家软件公司的生产数据库。。。更荒唐的是事后——这个AI一本正经地致歉,,,称这是"我这边的灾难性失误"。。。
这不是孤例,,,而是一个时代的注脚。。。OpenAI高管把2025年称为"AI智能体之年",,,以后的剧情各人都看到了:能写代码、能上网、能改文件、能替你付钱的AI Agent成批上岗。。。企业排着队给AI"发工牌",,,却险些没有人认真想过一个问题——
新加坡政府科技局(GovTech)联合新加坡科技设计大学的三位研究者,,,最近在一篇论文里给出了他们的谜底:一套叫ARC(Agentic Risk&Capability,,,智能体风险与能力)的治理框架。。。名字很学术,,,但拆开看,,,它讲的着实是一件特殊质朴的事:怎么给AI员工定岗、定责、上包管。。。
值得玩味的是脱手的人。。。这不是哪家AI公司的清静团队在自证清白,,,而是一个政府的手艺部分在给自己"管AI员工"立规则——事实政府系统一旦翻车,,,价钱比创业公司删个库大得多。。。
问题恰恰出在这。。。这些羁系框架讲的是"应该认真任、应该可问责"的大原则,,,相当于告诉你"要遵纪遵法",,,但没告诉你条约怎么签、权限怎么配。。。原则有了,,,操作手册没有。。。
而Agent和上一代谈天机械人有实质区别。。。ChatGPT说错话,,,大不了被截图挂上网;;;Agent干错事,,,是真的会删你的库、花你的钱、以公司名义给羁系机构发邮件。。。研究还发明一个反直觉的事实:统一个大模子,,,套上Agent的壳之后,,,反而更容易做出不清静的行为——它有了手和脚,,,就有了肇事的物理条件。。。
那按老步伐,,,给每个Agent项目做一次深度定制的风险评估行不可???行,,,但只能撑一时。。。当公司里跑着几十上百个Agent的时间,,,清静团队就成了瓶颈:要么审不过来拖死营业,,,要么放水放到失事。。。
清静圈的思绪也帮不上太多忙。。。OWASP、NVIDIA这些机构做过Agent威胁建模,,,专业是够专业,,,但门槛太高——写营业代码的开发者看不懂威胁模子,,,看懂了也不知道自己这个场景该防哪几条。。。
一边是管得太虚的羁系原则,,,一边是管得太深的清静工程,,,中心那层"公司治理团队拿来就能用的制度",,,一直是空的。。。ARC框架瞄准的就是这个空档。。。
以前的思绪是审工具:这个Agent接了什么搜索API、装了什么插件、连了哪个MCP服务器,,,一个一个查。。。听起来严谨,,,现实上是个无底洞——市面上光搜索工具就有Google SERP、Serper、Perplexity一堆,,,功效大同小异;;;反过来,,,一个GitHub接口又醒目提交接码、读需求单好几件事。。。工具层面的清单永远列不完,,,列完就过时。。。
ARC的思绪是审能力:不管你用哪家的工具,,,我只问你这个AI能对天下做什么。。。就像HR不会去审员工用微信照旧钉钉,,,只会问:这个岗位能不可碰客户数据???能不可对外代表公司???有没有报销权限???
会说——能跟人谈天、天生图文音视频、上网搜索、以公司名义对外发正式翰札、执行付款和下单生意、直接操作电脑界面。。。这是"对外接口"。。。
这个视角妙在三点。。。第一,,,能力比工具稳固,,,工具月月换,,,能力清简单年也变不了几条。。。第二,,,它自然能分级:一个只会谈天的客服Agent和一个能跑代码、能改数据库的编程Agent,,,风险量级完全差别,,,前者轻装上阵,,,后者重点盯防——低风险的营业不必陪着高风险的一起审问。。。第三,,,"它能删文件"这种表述,,,营业认真人和法务都听得懂,,,不必先修一门网络清静课。。。
看清能力只是第一步。。。ARC框架完整走下来是三段:元素、风险、控制,,,对应到管人的语言就是:它是谁、它会怎么翻车、怎么防它翻车。。。
先看"它是谁"。。。除了上面说的能力,,,还要看两样:组件——它用的是哪个大模子、什么指令、什么影象、什么工具,,,相当于查学历和简历;;;设计——多个Agent之间怎么分工协作、权限怎么隔离、行为有没有留痕,,,相当于组织架构和考勤制度。。。
再预判"怎么翻车"。。。论文把翻车方式归为三种,,,险些能套用到所有事故上:它自己菜(能力缺乏、明确跑偏,,,Replit删库属于这类);;;它被人带坏了(黑客通过恶意网页、恶意文件下达隐藏指令,,,行话叫"提醒注入");;;它的装备坏了(依赖的工具或资源出了问题)。。。
翻车方式乘以翻车价钱——数据泄露、系统瘫痪、越权提权、宣布违法内容、误导用户——就能穷举出一张风险挂号册。。。论文附录直接给了一份46项的现成清单,,,从"覆写或删除数据库表"到"通过恶意网站举行提醒注入",,,每一条都有真实事故或学术研究背书,,,不是拍脑壳想的。。。
最后上包管。。。每条风险对应详细的手艺控制步伐,,,并且分了三档,,,可以明确为:红线(必需照做,,,好比AI天生的代码只能在断网沙盒里跑)、标配(应当接纳或者认真刷新后接纳,,,好比破损性操作前必需人工审批)、加分项(高风险系统建议加装)。。。这个分档很务实——它认可不是每家公司都有无限的清静预算,,,先把红线守住,,,再谈锦上添花。。。
尚有一个容易被忽略但很苏醒的设计:框架明确要求评估剩余风险。。。意思是,,,装完所有包管之后,,,你照旧要回覆一个问题——剩下没防住的部分,,,公司认不认???防提醒注入的护栏是拿旧攻击训练的,,,新式攻击未必拦得。。;;;两个单独看都还行的能力,,,组合起来可能出新的幺蛾子。。。没有银弹,,,这话是框架作者自己说的。。。
第一个叫"研究员",,,对标OpenAI和Perplexity的Deep Research:你给它一个问题,,,它上网搜资料、写成报告。。。盘货能力:会做妄想、会写报告、会上网搜索——就这三样。。。对着风险挂号册过一遍,,,适用风险38项;;;再连系公司的营业场景评估影响和可能性,,,砍掉那些"理论上保存但现实够不着"的,,,最后剩10项需要认真设防,,,对应17条控制步伐。。。其中最阴险的一条是"通过恶意网站举行提醒注入":影响4分(满分5),,,可能性直接拉满5分——由于这种攻击已经有多个真实案例,,,并且攻击者基础不需要接触你的系统,,,只需要在网上放好一张"毒饵"网页等着AI来读。。。
第二个叫"气氛编程者",,,对标Replit、Vercel这类产品:通俗人说句话,,,它就天生一个网站并安排上线。。。盘货能力:做妄想、挑工具、谈天、上网、跑代码、管文件和数据库、改系统设置——七样,,,险些把"会做"类的高危能力集齐了。。。效果适用风险48项,,,最终25项需要设防,,,是"研究员"的两倍还多。。。其中赫然就有"覆写或删除数据库表或文件"这一条——评估里引用的真实案例,,,正是开头那起Replit删库事故。。。
统一套流程,,,两种产品,,,得出完全差别强度的管控方案。。。这就是"按能力定风险"的价值:AI越醒目,,,套在它身上的缰绳就得越多。。。能力越大,,,责任越大——论文问题玩的这个梗,,,落到治理上是字面意思。。。
这套框架不是万能药,,,论文作者自己也认可两点:它还没有经由大规模的实证磨练,,,属于"设计完成、路测刚最先"的状态;;;并且风险清单需要随着新攻击手法的泛起一连更新,,,买了包管不即是一劳永逸。。。
但它回覆了一个眼下所有公司都躲不开的问题。。。Agent的采购决议正在从"要不要上"酿成"上几多个",,,而绝大大都组织的治理能力还停留在"出了事再说"。。。比及你的AI员工以公司名义签了条约、删了客户数据、给羁系机构发了一封语言不当的邮件,,,再转头补制度,,,本钱完全不是一个量级。。。
本场比赛,国际足联选派了35岁的萨尔瓦多籍裁判伊万·巴顿担任主裁。尽管年纪轻轻,但巴顿经验老到,在执法过2022年卡塔尔世界杯后,这已是他连续第二届参与世界杯执法工作。在产品与市场层面,DeepSeek没有选择与智谱、月之暗面在高端场景拼价格上行的路线,而是用极致性价比策略占领了大规模开发者生态。法国野玫瑰过去几周,于帕梅卡诺一直在积极“游说”,希望说服奥利塞留在拜仁。后者已经决定在今夏离开这家德甲豪门,并加盟皇家马德里。在对阵瑞士一战,梅西主罚角球帮助麦克阿利斯特破门,这是他世界杯生涯送出的第10次助攻,从而成为世界杯历史助攻王。
20260717 ? 叶文27岁,住在华北的一个小县城。4月中旬,她在社交媒体上刷到一条帖子:有人把情感博主曲曲蒸馏了。搜了半天,她才明白这是AI圈的黑话。意思是用大量语料训练模型,让它学会曲曲的思维方式和说话风格。美国政府伦理办公室阿根廷2-1逆转绝杀英格兰,晋级世界杯决赛,将与西班牙争夺冠军。比赛结束之后,主力中卫罗梅罗挽留梅西,希望他能多踢几年。
20260717 ? 据阿根廷媒体报道,罗梅罗当面对梅西说:“如果我们(决赛)赢了,你就再多留几年,好不好?”梅西的回应没有听得很清楚,但他微笑着。充分展现了在队内激发的深厚感情,以及队友们渴望继续享受他身披阿根廷球衣的愿望。A W看 疯狂手握800万预算,想在丰台买一套改善型新房,还希望生活设施足够完善,这几乎是当下北京楼市最主流、也最让人纠结的置业命题。丰台,这个连接内城与南城的关键节点,近年涌现出大量高品质新盘。面对琳琅满目的选择,究竟哪个项目才是那个“综合实力拉满”的优选?