7月13日，，，，半导体研究机构SemiAnalysis在社交平台宣布推文，，，，高度评价英伟达在vLLM推理引擎上的性能优化效果，，，，同时明确指出AMD在部分模子的vLLM支持上仍有较大追赶空间。。。。。 华尔街见闻提及，，，，该机构两周前指出，，，，英伟达"CUDA护城河正遭缓慢侵蚀"，，，，公司最大的竞争压力是越来越多超大规模云厂商和AI模子公司最先接纳自研ASIC，，，，针对训练或推理等特定场景构建专用芯片系统。。。。。 两则判断将AI芯片竞争的焦点从"谁的硬件更强"拉回到一个更基础的问题：在推理时代的规模唬化安排中，，，，软件生态的深度可能比单代GPU的硬件领先更具决议性。。。。。 关于天天运行数十亿次推理挪用的AI企业而言，，，，"部分模子支持优异"与"所有模子稳固优化"之间的鸿沟，，，，在规模效应下会被急剧放大。。。。。 在硬件竞争日趋白热化、自研ASIC一直蚕食推理份额的配景下，，，，英伟达在推理软件栈上的积累深度，，，，正在成为比硬件参数更长期的竞争壁垒。。。。。 最终每GPU吞吐量可达12,000 token/s以上。。。。。相比之下，，，，AMD MI355X在统一测试中体现显着逊色，，，，主要原因在于其难以实现一律规模的专家并行与机架级互联。。。。。 在软件层面，，，，英伟达推出的Dynamo漫衍式推理框架将vLLM深度集成，，，，专门针对MoE模子实现了预填充与解码疏散（Disaggregated Serving）、高效KV缓存传输以及双批次重叠等优化。。。。。 这套框架在NVL72上能够充分验展硬件潜力，，，，而AMD方面现在仍主要依赖标准vLLM与DISAGG版本，，，，针对超大MoE模子与宽并行场景的深度优化尚未跟上。。。。。 在AI推理场景中，，，，企业客户追求的是稳固、可预期的安排体验。。。。。维护两套软件栈以笼罩差别模子的本钱，，，，往往是决议时的决议性因素。。。。。 这不但是写更多驱动和适配层的问题，，，，它意味着要在数以千计的模子架构、一直演进的开源框架、以及疏散的开发者社区中建设普遍的兼容性和信任。。。。。 训练使命集中、可控，，，，硬件性能差别可凭资源投入填补；；推理则是漫衍式、一连性的，，，，微秒级延迟差别在天天数十亿次挪用中被成倍放大，，，，直接转化为本钱结构的分化。。。。。 彼时，，，，该机构指出Anthropic已形成由谷歌TPU、亚马逊Trainium和英伟达GPU配合组成的多平台算力架构，，，，大宗Claude模子训练运行于TPU，，，，Claude Code推理则越来越多安排于Trainium，，，，英伟达GPU的份额正遭自研ASIC缓慢侵蚀。。。。。 然而此次对vLLM性能的正面评价批注，，，，英伟达在推理软件栈深度优化上的领先幅度，，，，并未随硬件竞争名堂的演变而同步收窄。。。。。