7月13日，，，
，，，半导体研究机构SemiAnalysis在社交平台宣布推文，，，
，，，高度评价英伟达在vLLM推理引擎上的性能优化效果，，，
，，，同时明确指出AMD在部分模子的vLLM支持上仍有较大追赶空间。。 华尔街见闻提及，，，
，，，该机构两周前指出，，，
，，，英伟达"CUDA护城河正遭缓慢侵蚀"，，，
，，，公司最大的竞争压力是越来越多超大规模云厂商和AI模子公司最先接纳自研ASIC，，，
，，，针对训练或推理等特定场景构建专用芯片系统。。 两则判断将AI芯片竞争的焦点从"谁的硬件更强"拉回到一个更基础的问题：在推理时代的规；；；才胖，，，
，，，软件生态的深度可能比单代GPU的硬件领先更具决议性。。 关于天天运行数十亿次推理挪用的AI企业而言，，，
，，，"部分模子支持优异"与"所有模子稳固优化"之间的鸿沟，，，
，，，在规模效应下会被急剧放大。。 在硬件竞争日趋白热化、自研ASIC一直蚕食推理份额的配景下，，，
，，，英伟达在推理软件栈上的积累深度，，，
，，，正在成为比硬件参数更长期的竞争壁垒。。 最终每GPU吞吐量可达12,000 token/s以上。。相比之下，，，
，，，AMD MI355X在统一测试中体现显着逊色，，，
，，，主要原因在于其难以实现一律规模的专家并行与机架级互联。。 在软件层面，，，
，，，英伟达推出的Dynamo漫衍式推理框架将vLLM深度集成，，，
，，，专门针对MoE模子实现了预填充与解码疏散（Disaggregated Serving）、高效KV缓存传输以及双批次重叠等优化。。 这套框架在NVL72上能够充分验展硬件潜力，，，
，，，而AMD方面现在仍主要依赖标准vLLM与DISAGG版本，，，
，，，针对超大MoE模子与宽并行场景的深度优化尚未跟上。。 在AI推理场景中，，，
，，，企业客户追求的是稳固、可预期的安排体验。。维护两套软件栈以笼罩差别模子的本钱，，，
，，，往往是决议时的决议性因素。。 这不但是写更多驱动和适配层的问题，，，
，，，它意味着要在数以千计的模子架构、一直演进的开源框架、以及疏散的开发者社区中建设普遍的兼容性和信任。。 训练使命集中、可控，，，
，，，硬件性能差别可凭资源投入填补；；；推理则是漫衍式、一连性的，，，
，，，微秒级延迟差别在天天数十亿次挪用中被成倍放大，，，
，，，直接转化为本钱结构的分化。。 彼时，，，
，，，该机构指出Anthropic已形成由谷歌TPU、亚马逊Trainium和英伟达GPU配合组成的多平台算力架构，，，
，，，大宗Claude模子训练运行于TPU，，，
，，，Claude Code推理则越来越多安排于Trainium，，，
，，，英伟达GPU的份额正遭自研ASIC缓慢侵蚀。。 然而此次对vLLM性能的正面评价批注，，，
，，，英伟达在推理软件栈深度优化上的领先幅度，，，
，，，并未随硬件竞争名堂的演变而同步收窄。。