ICML 的全称是国际机械学习大会，，，，，从 1980 年办到今天，，，，，和 NeurIPS、ICLR 并称 AI 界的三大顶会。
。。全天下 AI 研究的最新希望，，，，，大多要先在这三个会上露面，，，，，接受偕行的审阅。
。。 今年的聚会办在韩国首尔，，，，，全球 AI 的要害玩家，，，，，难堪凑得这么齐。
。。不必像去美国那样有签证的贫困，，，，，中国 AI 界这次来了泰半，，，，，主要的大模子团队险些都有人在场。
。。今年 OpenAI 第一次设了自力展台，，，，，Google DeepMind 一家就来了上百人，，，，，欧洲的 Mistral 也派了人。
。。 每年的 ICML，，，，，年轻 researcher 扎堆，，，，，向来是各大厂抢人的主要场合。
。。英伟达、亚马逊、Meta，，，，，海内的阿里、快手、字节、腾讯，，，，，照例都设了 HR 专。
。。
；；连 Jane Street、Citadel 这些量化机构，，，，，也专程来抢统一批人。
。。 最戏剧性的交锋爆发在 OpenAI 与 Anthropic 之间。
。。OpenAI 不但安排了许多分享，，，，，还请来歌手金请夏演出。
。。我在 X 上刷到，，，，，有受邀嘉宾由于想看 K-Pop，，，，，放弃了 Anthropic 的晚宴约请，，，，，去了 OpenAI 的活动。
。。 Anthropic 的研究员对此回应：“我们约请他们加入招聘晚宴，，，，，那是一种特权。
。。若是他们由于 K-Pop 而选择了 OpenAI 的活动，，，，，那他们对 AGI 就不敷认真，，，，，可能也不适合美彩国际文化。
。。” 我们也和被投企业 Aureka 一起，，，，，组了一场 AI4S 的 after party，，，，，请来了韩国女团 Kiss of Life。
。。这个女团我真的没听过，，，，，我只能感受到 4 个团员，，，，，都 1 对 1 的有 BlackPink 的影子。
。。神奇的是加入的 Anthropic researcher 和教授，，，，，不少都能叫得出这个女团的名字甚至作品。
。。 最终这场 party，，，，，成为了 ICML 第一天全城最火的 party，，，，，报名人数竟然凌驾了两千人，，，，，这个数字险些抵得上已往一届 ICML 的总参会人数，，，，，可见这次大会的火爆水平。
。。 但喧嚣背后，，，，，我发明尚有一层底色：渺茫。
。。AI 行业的 “强者恒强”，，，，，在今天已经到了夸张的田地。
。。这几天我见的许多朋侪，，，，，都提到了 “饱的饱死，，，，，饿的饿死”。
。。 各人都想着别落伍，，，，，拼命追赶，，，，，但也没找到特殊好的步伐。
。。初心是星辰大海，，，，，可摆在眼前的选择是：要不要先搞数据，，，，，先做那些马上能换到钱的工具？？许多人都卡在这道坎上，，，，，很是 struggle。
。。 他们说我知道我的运气，，，，，最后会是被模子公司吃掉，，，，，只是不知道什么时间。
。。那我现在疯狂立异、做产品、积累用户 context，，，，，着实可以明确为一个 long horizon 的数据公司。
。。等模子公司吃过来的那一天来了，，，，，我就从产品公司转型成数据公司，，，，，把手里的工具一卖，，，，，“这可能就是我的宿命”。
。。 我着实也挺感伤的，，，，，在模子越来越强盛的今天，，，，，许多看似不错的工具，，，，，效果证实都不可。
。。各人从最初想倾覆模子公司，，，，，逐步转成了接受这样的宿命。
。。 字节内部有一个测模子自进化能力的 benchmark，，，，，现在完整跑一次要 1000 小时上下，，，，，破费 50-100 万美金。
。。这意味着两件事：能拉开差别的问题已经这么难，，，，，说明模子的起点有多高；
；；测得起的玩家，，，，，一只手数得过来。
。。 同样的事也爆发在模子训练上。
。。今天模子进化的主流要领是强化学习（RL）：让模子做题，，，，，做完给一个分数（reward），，，，，做对了勉励，，，，，做错了处分，，，，，循环往复。
。。早期的问题短，，，，，谜底明确，，，，，好比写一段代码，，，，，跑一下就知道对差池，，，，，训练飞快。
。。 但随着模子越来越强，，，，，问题也必需随着变长、变难、变开放。
。。长到什么水平？？就像下两个小时的棋，，，，，终局才告诉你赢没赢，，，，，中心几百步哪一步下错了，，，，，没人知道。
。。OpenAI 的首席研究官 Mark Chen 在 ICML 分享，，，，，一年前他们还雇人给模子出题，，，，，现在 “若是 PhD 说模子错了，，，，，往往是 PhD 错了”。
。。 放眼全行业，，，，，最优质的两个 “练功房”，，，，，一是芯片 EDA 设计（让 AI 设计电路，，，，，性能一跑就出效果），，，，，和 kernel 算子优化（让 AI 优化底层盘算指令，，，，，速率一测便知）。
。。各人做模子自进化，，，，，上来都喜欢拿这两个场景练手。
。。 在我们首尔办的五源信号站活动上，，，，，有朋侪分享了一个更实验性的思绪：让 AI 自己跟自己对练（self-play），，，，，来制造训练情形。
。。好比找一个现成的软件项目，，，，，让一个 AI 往内里注入过失代码（出题者），，，，，另一个 AI 来修（解题者），，，，，再来一个 AI 当裁判打分。
。。修得快就提升问题的难度，，，，，修不出来的失败纪录，，，，，也留着做训练数据。
。。 这让我想起做自动驾驶那些年。
。。在接受率是 5 公里一次的时间，，，，，一辆车一天就能攒出 20 个问题，，，，，修都修不过来；
；；到了 1 万公里一次接受，，，，，一百辆车跑一整天，，，，，才碰上一个问题；
；；再往上，，，，，要想测出一个新问题，，，，，需要上万辆车，，，，，这个测试车队规模比运营车队还大，，，，，本钱就贵得离谱了。
。。 以是自动驾驶做到某一步，，，，，好比比人类司机平均水平要好，，，，，迭代就不可主要依赖在测试情形中做了，，，，，就要在大几个数目级的运营情形中，，，，，去网络反馈了。
。。 以前做数据，，，，，很主要的能力是做人力外包，，，，，看的是运营通俗人做高质量标注的能力。
。。今天做数据卖给模子公司的 researcher，，，，，有点像一级市场里的 FA。
。。 许多 FA 也是投资人身世，，，，，做投资未必最顶尖，，，，，但他很是清晰投资人想要什么，，，，，甚至能指导投资人的偏好和 FOMO 情绪，，，，，提前把 “货” 备好等着接 FOMO。
。。 许大都据公司的认真人，，，，，自己往往就是很有品味的 researcher，，，，，他能预判下一代模子缺什么能力，，，，，先造出让现有模子刷欠好的 benchmark，，，，，再把补课的数据卖给他们。
。。 这届首尔 ICML，，，，，北美前沿实验室来的华人面目着实未几，，，，，一位研究员替缺席的同事诠释：许多在 OpenAI、Anthropic 事情的中国研究员，，，，，还没拿到绿卡，，，，，由于签证问题，，，，，若是出一次境，，，，，可能就回不去了：“他们可以正外地待在 ‘屋子’ 里，，，，，但没有钥匙。
。。若是你出去了，，，，，门就自动关了，，，，，你可能就回不来了。
。。” 不过令人焦虑的是，，，，，一位朋侪掰着指头给我数，，，，，外洋前沿实验室这几年的卡量（GPU）：从 1 万张、5 万张，，，，，到 25 万张、100 万张，，，，，差未几是一年翻五倍的速率。
。。 到今年年底，，，，，头部实验室的算力，，，，，预计到 5-6 百万张等效 H100（新一代卡，，，，，一张顶已往几张，，，，，现实卡数没这么多，，，，，但换算成算力是这个量级）。
。。 海内要维持和外洋 “只差十倍” 的水平，，，，，十倍已经是一个挺大的差别，，，，，但至少还在统一个赛道上，，，，，还能用效率和工程立异填补一部分。
。。要想匹配竞争速率，，，，，倒推下来，，，，，今年年底就需要有 100 万张，，，，，而这个数字并禁止易。
。。 更主要的是，，，，，今天看起来还很靠近的游戏，，，，，明后年这个追赶的窗口，，，，，也许正在关上。
。。今天花 3-6 个月就能追上，，，，，由于前沿还没快到完全追不上。
。。 但差别一旦拉大到一定水平，，，，，追赶所需的时间会急剧膨胀：今天中美算力差别约莫 10 倍，，，，，若是双方坚持各自现在的增速，，，，，两年后可能又是另一个数目级的差别，，，，，那时再想追，，，，，就不是以月计，，，，，而是以年计了。
。。 卡在市场上依然紧俏，，，，，但买到卡，，，，，不即是马上能开机，，，，，当下美国电网只够安排其中一半到三分之二，，，，，剩下的要排队等电。
。。微软 CEO 纳德拉去年 11 月就果真认可：“我手里有一堆芯片躺在库存里，，，，，插不上电。
。。” 我还听到一个更激进的说法：到某个时点，，，，，中国将可以拿电力优势补算力劣势，，，，，也就是说若是有足够多的卡（哪怕落伍一代），，，，，但中国的电力是富余的，，，，，可以所有跑满，，，，，把多余的电酿成特另外 token 输出；
；；而美国即便有更多更新的卡，，，，，也会被电力卡住，，，，，不可所有安排。
。。 不管缺卡照旧缺电，，，，，有一样工具所有人都缺。
。。OpenAI 的 Mark Chen 被问到存储，，，，，他确认 HBM 是供应链的要害瓶颈，，，，，还说 Sam 早在五六年前就看到了，，，，，提前锁了相助，，，，，SK 海力士和三星正在拼命扩产。
。。 JP Morgan 算了一笔账：未来三年，，，，，SK 海力士和三星的预期净利润，，，，，是韩国所有政府债务的 1.4 倍，，，，，也就是说这两家公司的预期利润，，，，，就能完全笼罩所有政府债务尚有余。
。。即便只看这两家公司三年预计缴的税，，，，，也已笼罩政府债务的四成，，，，，靠近韩国所有外汇储备的八成。
。。 JP Morgan：未来三年，，，，，三星与 SK 海力士为韩国政府孝顺的直接税收规模，，，，，有望轻松突破 3500 亿美元；
；；若再叠加员工奖金对应的个人所得税，，，，，税收总额将更高。
。。作为参照：韩外洋汇储备总额为 4270 亿美元，，，，，政府所有债务规模约 1 万亿美元 存储芯片这个行业，，，，，四十年来一直被统一个剧本支配：涨两年，，，，，崩一次。
。。昌盛期赚到的每一分钱，，，，，都会酿成新产线，，，，，等新产能落地，，，，，需求的峰值往往已经已往，，，，，价钱就又应声跳水。
。。 已往三十年，，，，，这样的循环约莫四年一轮，，，，，每一轮都镌汰一批玩家：九十年月，，，，，全球做 DRAM 的公司尚有二十多家；
；；好几轮周期下来，，，，，牌桌上只剩三个名字：三星、SK 海力士、美光。
。。 存储行业多年来遵照四年一轮的周期，，，，，周而复始。
。。？炊嗟娜艘晕獯畏灼缪〈娲⒁丫右痪闹芷谛孕幸，，，，，由于 AI 而酿成了一个结构性增添的行业。
。。 这个逻辑，，，，，是支持存储行业近 1 年暴涨的焦点，，，，，三星、SK 海力士、美光、闪迪这些公司的估值框架，，，，，从 “周期股” 切换到 “生长股”，，，，，哪怕是利润不增添，，，，，股价也能翻几倍，，，，，PE 从个位数切换到双位数。
。。 SemiAnalysis 把这轮欠缺界说为 “四十年一遇”。
。。而扩产自己的时间标准，，，，，就决议了欠缺不会很快竣事：建一座新的晶圆厂需要三年，，，，，HBM 比通俗 DRAM 多占两倍产能，，，，，扩产反而在加剧欠缺。
。。 一位 SemiAnalysis 的存储剖析师还告诉我，，，，，即便算上在建产能，，，，，2027 年的欠缺反而会比今年更严重，，，，，“更缺两倍”。
。。由于明年大宗 AI 新芯片上线，，，，，原本给手机和条记本的内存产能会被大规模抽走。
。。业内的判断是：27 年是最主要的一年，，，，，28 年才可能缓解。
。。 韩国是这场欠缺的最大赢家。
。。HBM 的主要产能握在 SK 海力士和三星手里。
。。即便最近韩国股市动荡，，，，，但它依然是今年全球体现最好的股市，，，，，而这轮涨幅的泰半，，，，，就是这两家抬起来的。
。。 我从朋侪口中，，，，，也听到了许多神奇征象：SK 海力士的员工，，，，，在相亲时都不敢说自己在海力士事情，，，，，若是发明对方不拜金，，，，，才敢说真话。
。。确实，，，，，SK 海力士在 2025 年的人均年终奖高达 9 万美元，，，，，创历史纪录，，，，，而 2026 年利润比 2025 年还高，，，，，奖金只会更多。
。。 韩国险些全民都在炒股。
。。散户今年在股市上的净买入，，，，，靠近 83% 流向了三星或 SK 海力士。
。。不少老人兑现人寿保单、动用退休储备买芯片股。
。。韩国社会里有一种 FOMO 情绪，，，，，也许你什么都没做错，，，，，人为照发，，，，，存款还在，，，，，只由于没买这两支股票，，，，，效果身边人全富了，，，，，你就成了穷人。
。。这种 FOMO 情绪爆发于上一轮房价疯涨，，，，，现在在 AI 行情里又重新泛起。
。。 经济学家管这叫 K 型分化：一条腿飞上天，，，，，一条腿往下坠。
。。韩国人均月薪不到 3000 美元，，，，，芯片部分一个人的奖金，，，，，顶通俗人十年人为。
。。有政府官员提议，，，，，拿 AI 受益企业的税收，，，，，来发 “国民盈利”，，，，，把一部分逾额利润分给其他劳动者，，，，，“这是维护整个系统稳固的须要本钱”。
。。帖子厥后删了，，，，，但话题留下了。
。。 可即即是 K 型分化飞上天的那部分，，，，，最近也在强烈波动。
。。ICML 竣事后的周一早上，，，，，一份券商报告展望 SK 海力士二季度营业利润同比暴增 556%。
。。这是一个惊人的数字，，，，，放在任何行业都是。
。。 但股价当天跌了凌驾 10%。
。。原因很简朴：市场原本的预期比这个数字还要高，，，，，关于存储行业，，，，，利润详细涨了几多已经没人在乎，，，，，只问有没有凌驾预期。
。。 Morgan Stanley 提醒，，，，，这已是 ChatGPT 问世以来，，，，，存储股的第三次大回调，，，，，前两次都没打断周期。
。。随着行业转向三到五年的长约结构，，，，，券商们最先重新思索估值框架：从 “这个季度价钱又涨了几多”，，，，，换成 “这样的利润率能扛几年”。
。。短期的暴涨暴跌，，，，，可能只是长周期里的噪声。
。。我也有朋侪今年重仓了芯片股，，，，，这周的暴跌没吓倒他：“周期还没有竣事。
。。” 这轮 AI 厘革肯定远没有竣事，，，，，但这场超等周期里，，，，，走着三个时钟：模子按月迭代，，，，，资源按季重估，，，，，晶圆厂按年建设，，，，，最终市场会被走得最慢的那只时钟校准。
。。 一篇 MIT 的 Fan Chen 做得偏理论，，，，，讲 diffusion 的采样率提升（速率变快）的要领论，，，，，这篇我没太读懂。
。。另一篇出自清华黄高团队，，，，，问题里的重点是 The Flexibility Trap（无邪性陷阱）。
。。 Diffusion LLM 是一类和主流大模子蹊径差别的天生要领。
。。主流模子从左往右一个字一个字写，，，，，diffusion LLM 可以打乱顺序，，，，，那里有掌握先写那里，，，，，听上去自由度更高。
。。 推理需要在要害节点做选择，，，，，自由的模子，，，，，倾向于绕开最难的选择、先填简朴的部分，，，，，等转头再补时，，，，，发明已经没有选择余地了。
。。 简朴说就是，，，，，恒久来看，，，，，最有用的要领永远是最通用、最粗暴的那一个：通过更大规模的 search + learning 的要领，，，，，击败一切靠人类知识 hardcode 进去的要领。
。。行业有时间会简朴粗暴地简化成 scaling vs 雕花技巧。
。。那些针对详细问题的精巧技巧，，，，，短期管用，，，，，一旦 scaling 重启，，，，，就会被扔掉。
。。 Scaling 不是一种完整的解决方案，，，，，而是一种复利机制。
。。它会镌汰不可复利的人工技巧，，，，，却永远依赖新的算法立异，，，，，来重新界说什么工具可以复利。
。。 每次撞墙，，，，，正是那些 “没用的” insight 和技巧，，，，，把我们从死胡同里救出来。
。。等 scaling 找到突破口重新跑起来，，，，，这些救命的工具又被扬弃，，，，，直到下一次撞墙，，，，，周而复始。
。。 Diffusion LLM 获奖，，，，，可能正处在这个循环的某一个节点上：学术界在打磨它，，，，，工业界暂时不需要它，，，，，但没人知道下一次 scaling 撞墙的时间，，，，，会不会正好需要它。
。。 虽然，，，，，这是要领论层面的老问题。
。。但这届大会，，，，，尚有一个更现实的新问题让我担心：学术界证实 “有用” 的效果，，，，，放到工业界的标准上，，，，，往往不再建设。
。。 以前，，，，，学术界在 7B 这种 “小” 模子上做实验，，，，，看到一个 idea 有用果，，，，，哪怕只是起源的苗头，，，，，就够发一篇论文了。
。。工业界也买账：你在小模子上看到了信号，，，，，我愿意花更大的价钱，，，，，试试能不可放大。
。。 1000 个 idea 在 7B 模子上能跑通，，，，，但扩大到 100B，，，，，可能只剩十个。
。。这个镌汰率，，，，，对投资是致命的。
。。我们看过许多项目，，，，，严酷说是在投资一篇论文，，，，，idea 很漂亮，，，，，但还没到能长成商业的水平。
。。 以是在 ICML 竣事的那晚，，，，，我从 COEX 会场走回旅馆的路上，，，，，认真嫌疑了一下自己：这些年，，，，，我是不是犯过一类过失，，，，，太过喜欢一件事的新颖，，，，，喜欢它的巧。
。。 但做投资的人，，，，，得时刻提醒自己：别活成一个审稿人。
。。审稿人评价 paper，，，，，看的是它新不新、好欠好、能不可被许多人引用；
；；投资人要判断的是另一件事：这个工具在真实天下里能不可长大，，，，，能不可酿成商业。
。。 组委会在投稿论文的 PDF 里，，，，，埋了人类看不见的提醒词，，，，，充当诱饵。
。。审稿人若是偷懒，，，，，把论文直接丢给 AI 写审稿意见，，，，，AI 就会把那段切口，，，，，原样带进评语里。
。。 ICML 的处分很重。
。。这些审稿人，，，，，很大一部分原来就是投稿论文的作者。
。。一旦你作为评委，，，，，被抓到用 AI 写评语，，，，，那你自己投的那篇论文，，，，，也会随着被拒。
。。最终，，，，，506 名审稿人被识别出违规，，，，，其中 398 人同时也是投稿作者，，，，，他们的 497 篇论文被就地拒稿，，，，，约占所有投稿量的 2%。
。。 在 ICML 会场里泡了几天，，，，，突然以为这个会自己，，，，，很像一个重大的 Transformer。
。。每篇论文是一个 token，，，，，每个人也是一个 token，，，，，两万多个 token 挤在统一个 context 里，，，，，相互争取 attention。
。。 今年投稿数目险些翻倍，，，，，明年或许率还会继续增添。
。。模子可以一直扩展 context window，，，，，人类的 attention budget 却基本是牢靠的。
。。再这样下去，，，，，ICML 最先遇到的可能不是算力瓶颈，，，，，而是人类版的 KV cache overflow。
。。 对作者来说，，，，，规则在某种水平上也变了：以前把研究做好就行，，，，，现在还得学会吸引注重力，，，，，要想步伐把别人的 attention 诱导到自己身上。
。。 过载的症状随处可见。
。。一位终年参会的 researcher 说，，，，，今年他连门票都没抢到；
；；猎头和 HR 在走廊里扫楼，，，，，他收到的私信大多来自对冲基金。
。。 在论文数目大爆炸的时代，，，，，今天各人怎么找值得看的论文？？大大都 researcher 都回归了最原始的要领：先识别厉害的人，，，，，直接看他们写的工具，，，，，而不是盯着 arXiv（全球最大的学术论文网站）。
。。 今天的学术系统，，，，，每一个环节都是为人的能力而量身定制的。
。。研究的主体是人，，，，，人靠读论文吸收前人履历，，，，，由于人需要用文字来总结知识的结晶；
；；试错历程保密，，，，，最后只把走通的那条路写成论文果真；
；；评价交给偕行评审。
。。 但若是把这个历程 AI 化，，，，，AI 不需要读论文，，，，，论文只是给人看的界面，，，，，AI 要的是界面背后的一切：头脑链、试错轨迹、失败路径、原始数据、能直接跑起来的实验情形。
。。 今天若是你想把 A 论文的要领，，，，，和 B 论文的要领连系在一起，，，，，得靠人去读懂两篇，，，，，再手动设计缝合。
。。AI 时代应该是模？榛床，，，，，条件是所有研究效果都留好接口，，，，，可组合、可排列。
。。 换成 AI 做评审，，，，，权重可以随便配，，，，，你想要学术新颖性，，，，，就给新颖性加权；
；；想要工业可用性，，，，，就给可用性加权。
。。两套价值第一次有可能在统一个系统里合流。
。。 这可能是我在首尔这几天里，，，，，想得最清晰的一个瞬间。
。。“倾覆 arXiv” 这件事太有意义了，，，，，若是你读到这里也有同感，，，，，接待联系我，，，，，一起来做。
。。 四天，，，，，几十场对话，，，，，聊的内容跨度很大，，，，，算力、论文、股价、签证问题……外貌上每一段都是在讲差别的故事，，，，，但底层都是在回覆统一个问题：在这场越来越快、越来越贵、越来越拥挤的竞赛里，，，，，什么才是属于自己的身位？？ 连 ICML 的议程，，，，，都在映射这种渺茫。
。。有一场普林斯顿大学教授 Narayanan 的演讲，，，，，叫 “What will be left for us to work on?（留给美彩国际事情还剩什么？？）”。
。。一位 AI 领域很是有影响力的学者，，，，，站在全球 AI 顶会上，，，，，问的也是这个问题。
。。 但我记着了一个高中生。
。。这几天，，，，，见的险些全是大厂研究员、拿了几亿融资的创业者、管着千卡集群的工程师。
。。但在一个叫 RLxF 的 workshop 里，，，，，我看到一个高中生站上了讲台，，，，，他来自加州圣何塞的 Lynbrook High School，，，，，即将升高三。
。。 自力作者，，，，，背后没有团队、没有机构，，，，，一个人写了一篇论文投进来，，，，，拿到了 oral，，，，，也就是被选中上台做正式演讲，，，，，这在学术聚会里是挺高的认可，，，，，绝大大都论文只能贴在墙上展示。
。。 他研究的是给农民做农作物推荐。
。。以前的推荐系统只管哪种作物长得好，，，，，他往系统里加了一个变量：农民会不会真的接纳。
。。买不买得起种子、会不会用新工具，，，，，都算进推荐里。
。。 在这个动不动上千张卡、百万美金跑 benchmark 的行业里，，，，，一个高中生拿着一台电脑，，，，，研究的是农民怎样用上一个 AI 推荐系统，，，，，全场都在找身位，，，，，他可能是唯一不需要找的人，，，，，他把一件想做的事做完了。
。。 月尾我会再去一趟硅谷。
。。上个季度去的时间，，，，，全员都在 token-maxxing，，，，，所有人拼命堆算力、堆规模，，，，，停不下来。
。。几个月已往，，，，，风向又变了：token-maxxing 的势头大幅放缓；
；；泛起了对算力缺口究竟有多大的玄妙讨论；
；；应用进入低谷周期，，，，，数据进入岑岭周期……接待交流。
。。 晚点专栏作者孟醒：五源资源合资人、前滴滴自动驾驶 COO。
。。这是他 AI 投资视察的第二篇，，，，，以后他会在晚点上一连更新他的投资视察。
。。