中国信通院日前宣布的这组指数级爆发的数据背后，，，，，大模子行业正在爆发质变。。。。。。Token不再是一个纯粹的手艺名词，，，，，而是像水电煤一样，，，，，成为AI服务的计价单位。。。。。。信通院人工智能研究所所长魏凯体现，，，，，业界对Token服务的关注视角已从“挪用量”向“高质量”转变。。。。。。 然而，，，，，在这场转变中，，，，，前端模子API单价一连下降，，，，，用户挪用本钱越来越低，，，，，后端的AI芯片、HBM内存、电力和运维的物理账单却依旧极重。。。。。。大模子行业正在进入一个新的算账周期。。。。。。 这种价钱战把降本以前台的模子厂商直接传导到了更底层的算力系统。。。。。。这也是为什么今年越来越多客户不再只问“这张卡算力是几多”，，，，，更最先体贴统一个模子在差别的系统上，，，，，每生产一个Token需要支付几多综合本钱。。。。。。 在太初（杭州）集成电路有限公司（以下简称“太初元碁”）首席产品官、高级副总裁洪源看来，，，，，Token正在成为推理时代最直观的本钱载体。。。。。。 对用户来说，，，，，体贴的是Token用了几多，，，，，解决了几多问题，，，，，对算力侧来说，，，，，在什么样的人工、能源和硬件本钱下，，，，，能抵达怎样的Token生产效率。。。。。。因此单个Token的生产本钱，，，，，对供需双方而言是一个横向较量的标尺。。。。。。 这背后有一个行业倒逼机制：大模子厂商在前台降价，，，，，DeepSeek等公司也通过算法和工程立异拉低推理本钱，，，，，若是底层的芯片、存储和网络无法在物理上提供更高的能效比，，，，，软件层省出来的利润，，，，，最终仍会被硬件、能耗和集群效率重新定价。。。。。。模子侧立异越快，，，，，底层算力系统的短板也越容易被放大。。。。。。 相比单卡跑分，，，，，太初元碁更重视集群效率。。。。。。洪源提到，，，，，大模子公司找他们聊，，，，，最体贴的指标是千卡、五千卡甚至更大规模集群下，，，，，运行特定模子推理时，，，，，整个系统的有用Token生产效率。。。。。。 “单卡性能只是个参考的基本情形，，，，，”洪源说，，，，，“在万卡集群的现实运行中，，，，，若是底层的网络互联带宽跟不上、通讯效率没解决，，，，，卡堆得再多也只会在整个系统里造成重大的内讧。。。。。。” 这也是太初元碁强调128、256卡等大规模芯片间高速互联PC Link、万卡集群和软硬件协同的原因。。。。。。AI芯片竞争正在从单卡参数表竞争，，，，，转向集群系统效率竞争。。。。。。单卡性能虽然是基础底座，，，，，但决议万卡能否施展出性能的，，，，，是整个系统的通讯和调理。。。。。。 太初元碁的特殊性在于，，，，，它不是从古板GPGPU蹊径切入，，，，，而是从HPC和异构众核的基础进入AI芯片市场。。。。。。这给了它区别于其他国产GPU蹊径的商业时机，，，，，但也带来了软件生态的诠释本钱。。。。。。 正如英伟达近年来一直模糊“显卡”看法、将整个机柜包装成一台“巨型超算”一样，，，，，至少在推理场景里，，，，，大模子已经越来越不像单卡演出，，，，，而更像一项系统工程。。。。。。相比单卡性能叙事，，，，，HPC身世团队更愿意从集群并行效率、通讯开销和使命调理明确AI推理。。。。。。 在前两年国产算力疯狂堆量阶段，，，，，不少智算中心堆出万卡集群，，，，，却由于卡间通讯和调理拉胯，，，，，导致算力严重消耗、频仍中止。。。。。。这证实晰万卡不是一万张单卡的简朴相加。。。。。。到了大模子推理市场上，，，，，超算履历能否资助客户镌汰推理本钱，，，，，尤其是面临API价钱战时，，，，，仍需要被验证。。。。。。 “低端算力堆上去，，，，，卡时是多了，，，，，但算上能源本钱和硬件折旧，，，，，整体Token生产本钱未必划算。。。。。。我们不但看速率，，，，，而是看单位Token的综合天生本钱。。。。。。” 国产AI芯片下一阶段的焦点战场！。。。。，，，，是谁能帮客户把每百万Token的综合本钱降下来，，，，，并且，，，，，节约的收益要笼罩迁徙、适配和运维本钱。。。。。。 英伟达的真正优势是围绕CUDA形成的开发者习惯和工具链。。。。。。任何国产芯片要进入生产情形，，，，，都必需解决迁徙本钱由谁来肩负的问题。。。。。。太初元碁的做法分为三层：软件接口上兼容转译，，，，，提供自研的Agent迁徙工具，，，，，以及原厂对主流模子举行预先适配。。。。。。洪源称，，，，，现在太初元碁已经完成了40多个主流模子的深度适配。。。。。。 但能运行起来只是第一步。。。。。。在大模子行业，，，，，模子险些以“周”为单位迭代，，，，，而硬件更新却以“年”为单位。。。。。。芯片公司面临的最大磨练，，，，，早已不是一次性的 Demo 适配，，，，，而是怎样跟上模子层一连适配。。。。。。 洪源以为，，，，，短期内大模子还没逃出Transformer的大框架，，，，，只要底座稳固，，，，，硬件就不需要频仍调解。。。。。。面临周级的小版本更新，，，，，太初元碁的战略是先用Transformer底座确保跑通，，，，，再针对焦点算子做极致优化。。。。。。 这种能力应对突发的新型架构尤为要害。。。。。。DeepSeek等模子带来的MLA、MoE等工程转变，，，，，正在改变推理阶段对显存、带宽和算子的需求。。。。。。对芯片公司来说，，，，，这类转变意味着底层算子库和推理框架必需快速跟进，，，，，否则模子侧的立异会直接酿成硬件侧的适配压力。。。。。。 面临这种模子层带来的新算子和新访存需求，，，，，太初元碁此前结构的“PD疏散”架构，，，，，能够把大盘算量的Prefill（预填充）阶段和高IO吞吐的Decode（解码天生）阶段拆脱离，，，，，用芯片内差别核组去匹配差别使命，，，，，集中资源对新算子做定向优化。。。。。。 这种适配能力决议的是国产芯片在面临下一个“DeepSeek式攻击”时，，，，，能否让客户在不折腾硬件的条件下，，，，，用最快的速率将算法立异的盈利转化为市场竞争力。。。。。。 国产AI芯片的竞争，，，，，不可再被简朴地明确为谁能替换英伟达。。。。。。随着工业分层，，，，，各家厂商最先在差别客户场景里寻找自己的位置。。。。。。 华为昇腾走的是大平台蹊径，，，，，优势在供应链和生态整合；；；；百度昆仑芯、阿里平头哥背靠大厂，，，，，有云和模子场景；；；；国产GPU公司试图用更靠近英伟达的蹊径降低迁徙门槛；；；；而太初元碁这类HPC+AI的异构蹊径，，，，，则在押注集群能效比的同时，，，，，坚持着自己奇异的“自力第三方”身份。。。。。。这意味着，，，，，客户需要综合思量后作出权衡。。。。。。 关于中立性的价值，，，，，洪源体现，，，，，模子公司在选择芯片时，，，，，面临一个很现实的问题，，，，，他们需要把模子的权重和参数所有开放出来做深度适配。。。。。。唬唬；欢灾，，，，若是芯片厂自己也做大模子，，，，，既当裁判员又当运发动，，，，，大模子客户心里自然会打个问号，，，，，必需要通盘思量是否保存潜在的竞争关系。。。。。。 身份中立给太初元碁提供了一个差别化的时机。。。。。。不过，，，，，这也是一把双刃剑，，，，，它虽然消除了客户的预防心，，，，，但也意味着太初元碁无法像平头哥或昆仑芯那样，，，，，可以使用集团内部自用营业算力池里旱涝保收。。。。。。 没有大厂的自留地，，，，，意味着其必需在市场上竞争。。。。。。这也诠释了为什么太初元碁要走开源开放的生态蹊径，，，，，并且原厂要在第一时间把40多个主流大模子所有适配好。。。。。。最终客户关注的仍然是迁徙本钱、适配速率，，，，，稳固性和总本钱。。。。。。 前两年，，，，，各地智算中心的建设大潮汹涌，，，，，但买了一堆卡在机房吃灰的征象一再泛起。。。。。。当资源的狂热退去，，，，，算力从“军备竞赛”走向“细腻化运营”时，，，，，洪源给出的建议很直接：先找到最终的应用场景。。。。。。 这也是Token工厂能否建设的要害，，，，，权衡一个智算中心的价值，，，，，不再是机房里摆了几多个机柜、堆了几多张显卡，，，，，而是集群能不可稳固、一连地生产足够低本钱的Token。。。。。。 站在当下，，，，，洪源以为中国大模子生态正在印证两个要害词：融合与场景落地。。。。。。前者意味着模子与芯片厂商正走向更深度的协同，，，，，不再是简朴的生意关系，，，，，后者意味着行业必需找到更多真正解决问题、且让人“用得起”的闭环场景。。。。。。 以视频天生、多模态应用为例，，，，，能力已经被证实，，，，，但大规模普及仍卡在本钱上。。。。。。未来工业的破局点，，，，，未必只在模子参数继续变大，，，，，而在于底层算力、模子架构和应用场景能否配合把推理本钱打下来。。。。。。 太初元碁押注的异构蹊径，，，，，正是在争取这条本钱曲线上的位置。。。。。。但能否乐成，，，，，还要看客户是否愿意用迁徙本钱换取更低的Token生产本钱。。。。。。 洪源：它的过渡焦点照旧围绕着用户侧的需求。。。。。。今年以来，，，，，大模子的能力有了较量大的跃迁，，，，，用户发明它能真实解决问题了。。。。。。对用户而言，，，，，Token是它的使用形态；；；；但对我们算力侧而言，，，，，Token是一个可权衡的最直观的本钱载体。。。。。。通过Token，，，，，用户知道自己花了几多钱、解决了几多问题，，，，，我们供需双方都有了一个横向比照的标尺。。。。。。 洪源：我们更愿意去看“能效比”。。。。。。纯粹去堆低端算力、堆卡，，，，，虽然卡时堆上去了，，，，，但算上能源本钱和硬件制造折旧，，，，，整体的Token生产本钱是划不来的。。。。。。我们不但看纯粹的速率，，，，，我们要看单位Token的综合天生本钱。。。。。。 洪源：最直接的感受是，，，，，以前客户找到我们，，，，，会纠结你单卡单位算力的指标。。。。。。但今年，，，，，各人更关注模子的适配情形、对应的单位Token生产本钱，，，，，以及工程效率。。。。。。 但这内里有一个行业悖论：各人看到市场上Token价钱在降，，，，，那是大模子厂商在抢客户的市场行为，，，，，以及DeepSeek等公司在算法工程上的立异。。。。。。但现实上，，，，，底层的硬件制造和存储内存本钱是在上升的。。。。。。 以是大模子厂商承载了极大的本钱压力，，，，，这反而倒逼他们更看重我们国产硬件的性价比。。。。。。 洪源：太初元碁历来不但独去提单卡的优势，，，，，美彩国际焦点优势是集群的软硬件协同优化。。。。。？？？ㄊ钡タㄐ手荒茏魑慰肌！。。。。大模子公司找我们聊，，，，，最体贴的也是千卡、五千卡甚至更高规模集群下，，，，，跑特定模子推理时的Token生产效率。。。。。。若是卡与卡之间的“高速公路”没修睦，，，，，单卡跑分再高，，，，，到了集群里也是严重空转。。。。。。 洪源：首先，，，，，中国AI工业市场很是辽阔，，，，，有许多应用落地场景作为芯片厂商的发力空间。。。。。。唬唬；欢灾，，，，国产芯片逐渐被认可，，，，，空缺的市场蛋糕足够大，，，，，要害在于找到自身的差别点。。。。。。太初元碁的手艺蹊径的特殊性是，，，，，在高性能盘算加人工智能领域，，，，，我们拥有自然基因。。。。。。模子公司需要把焦点的模子权重和参数开放给芯片厂去做深度适配，，，，，太初元碁作为中立、自力的第三方，，，，，反而是大模子厂商和运营商更放心的选择。。。。。。 洪源：我们主要做三层事情：第一，，，，，虽然我们不走GPGPU蹊径，，，，，但我们在自研软件里兼容和转译了CUDA的命名接口规范和编程习惯，，，，，利便程序员直接上手。。。。。。第二，，，，，我们提供了一套好用的迁徙工具，，，，，内里包括能自动天生算子的智能体，，，，，用低代码的方式帮客户快速迁徙。。。。。。第三，，，，，也是最焦点的，，，，，在头部大模子厂商发版时，，，，，我们原厂就已经帮客户把前40多个主流模子深度适配好了，，，，，他们拿已往直接就能跑。。。。。。 洪源：大版本更新上，，，，，现在不管纯文本照旧多模态，，，，，都还没脱离Transformer和注重力机制的底层框架。。。。。。只要大框架不动，，，，，硬件底层架构就不必伤筋动骨。。。。。。 针对周级的小版本更新，，，，，差别的模子大厂坚持了极高频的相同。。。。。。在他们设计模子之初，，，，，美彩国际下一代芯片就会做提前准备。。。。。。当新模子宣布后，，，，，我们先在Transformer的基础底座上确保“能跑通”，，，，，然后再凭证用户反馈！。。。。，，，，集中精神投入研发，，，，，把它的焦点算子拿出来做针对性的微观极致优化，，，，，这是一个叠加和渐进的历程。。。。。。 洪源：我们会剖析到最微观的算子层。。。。。。好比现在的模子厂商非？？？粗豑TFT（首字延迟，，，，，即产出第一个Token的时间）和后续的天生速率。。。。。。我们会做PD疏散（Prefill与Decode疏散），，，，，把大盘算量的Prefill阶段和高IO吞吐的Decode阶段拆开，，，，，用我们芯片内差别的核组去对号入座。。。。。。遇到DeepSeek等有工程立异的新算子，，，，，我们就专门集中职员把大锤砸下去，，，，，把这个算子的时间消耗彻底打下来。。。。。。 虎嗅：现在的智算中心建设很是热，，，，，但也泛起了“买了一堆卡却在机房吃灰”的征象。。。。。。您对这些着急建中心、买卡的企业有什么忠言？？？ 洪源：焦点的建议只有一条：先找到详细最终的应用场景。。。。。。 你必需知道你为什么建，，，，，建了之后给谁用。。。。。。不管是当下的互联网客户照旧大模子客户，，，，，手艺的纪律在变，，，，，但“究竟帮用户解决了什么真实问题”这个商业底层逻辑是一直没变的。。。。。。 洪源：第一个是“融合”。。。。。。未来模子厂商跟芯片厂商之间的向下深度融合会越来越多，，，，，各人不再是简朴的生意关系。。。。。。 第二个是“场景落地”。。。。。。除了Coding之外，，，，，全行业必需找到更多能真正解决真实问题、且“用得起”的闭环场景。。。。。。好比视频天生、多模态应用，，，，，各人都知道好用，，，，，但现在最大的障碍是本钱太高、用不起。。。。。。未来的突破偏向，，，，，就是怎么把多模态、视频天生的本钱和功耗，，，，，通过软硬协同真正打下来。。。。。。