WAIC观察：AI芯片不再只拼算力，进入系统级协同时代

过去逛AI芯片展台，人们通常先看一张卡，再看旁边标注的算力、带宽和功耗。

在今年的WAIC上，最显眼的却是一排排机柜，华为Atlas 950、阿里真武M890、中科曙光十万卡集群等方案集中亮相，沐曦、壁仞等国产GPU厂商展示的内容，也从单颗芯片延伸到了内存、网卡、互联和软件系统。

这背后是一个很实际的问题，模型越来越大，一张卡能够承担的工作有限，多张卡共同运行已经成为常态，但芯片数量增加后，参数、缓存和计算结果也要在不同设备之间频繁传输。内存装不下，芯片之间传得太慢，或者软件无法合理分配任务，都可能让一部分算力停在等待上。

Agent的出现又放大了这些问题。它不仅要生成答案，还要读取文件、调用工具、保存上下文并持续执行任务。模型上线后的推理时间更长，消耗的Token更多，对内存容量、芯片互联和系统调度的要求也随之提高。

因此，今年WAIC上的AI芯片展台，频繁出现超节点、内存和互联；它们分别解决什么问题，又为什么会影响一颗芯片的实际表现？

01 互联：超节点先要解决数据搬运

超节点听起来复杂，解决的问题却很直接——把几十张甚至上百张AI芯片高速连接起来，共同完成一个模型的训练或推理任务。

模型规模较小时，一张卡可以独立完成不少工作；模型参数和上下文不断增加后，单卡的算力和内存都可能不够，只能把任务拆给多张卡。卡越多，协作也越复杂。

模型运行期间，参数、缓存和计算结果需要在不同芯片之间传输，如果把芯片看成处理任务的车辆，互联就是它们之间的道路。道路拥堵，后面的芯片只能等数据，展板上写着的峰值算力也很难全部用上。

奇异摩尔网络架构VP叶栋将今年WAIC概括为“超节点元年”。他认为，行业竞争逻辑已经从单卡算力比拼转向系统级协同优化，决定集群真实效能的，不再是某一颗芯片的峰值算力，而是多层级高速互联的协同效率；行业目光也从“谁的芯片最强”，转向“谁的系统成本更低、效率更高”。

华为Atlas 950、阿里真武M890、中科曙光十万卡集群等集中亮相，超节点也成为不少国产GPU厂商展示产品时的重要组成部分。模型被拆到多张卡之后，参数、缓存和计算结果需要在不同设备之间频繁传输，芯片之间如何连接，也会影响整套系统的运行效率。

沐曦在WAIC发布的曦景S600，提供了一个更具体样本，该产品可在单机柜内部署64张GPU，通过OEX架构和两级交换拓扑实现卡间高速互联，并可横向扩展至万卡规模。

曦景S600还采用了计算节点0线缆、交换节点0线缆，以及计算节点与交换节点之间0线缆的“三0设计”。计算、交换、电源和液冷等模块采用解耦设计，其中电源与液冷管路支持盲插热插拔，以减少复杂布线带来的故障风险和后续维护成本。

奇异摩尔联合创始人兼产品及解决方案副总裁祝俊东表示，当计算规模大到一定程度时，计算本身将不再是唯一瓶颈，大计算集群会产生海量的数据搬运需求，届时互联将成为瓶颈。

过去云时代，大家注重的是数据管理；AI训练时代，要的是高速通道；而现在的Agentic AI，要的是确定性传输。网络不仅要传得快，还要尽量减少延迟抖动，否则一段通信出现拥堵，等待数据的可能不只是一张卡。

因此，今年不少厂商也把网卡、交换设备和互联方案带到了展台；几十张、上百张芯片连在一起后，通信延迟和网络拥堵都会拖慢整套系统。

02 取舍：为Agent留出更大的“工位”

如果说超节点处理的是芯片之间如何协作，Agent带来的问题还会进入芯片和内存内部。

Token是模型处理文字、代码等内容时使用的基本单位。过去，人向聊天机器人提出问题，模型生成回答，一次交互通常不会持续太久；Agent接到任务后，还要拆分步骤、阅读材料、调用工具、检查结果，有时会连续工作数小时。

在无问芯穹AI基础设施论坛上，曦望Sunrise董事长徐冰将这种变化概括为“Token正在换主人”。过去的Token主要由人购买和阅读，Agent出现后，越来越多Token产生于机器规划和执行任务的过程，最后也未必会被人逐一看到。

曦望Sunrise董事长徐冰

任务运行得更久，模型需要留下的内容也更多，除了模型本身的参数，它还要保存上下文、工具返回的结果，以及生成过程中形成的KV Cache。

KV Cache可以理解为模型暂时留下的一份工作记录，有了它，模型继续生成内容时，不必每次都从头处理前面的全部信息。但任务越长、同时运行的Agent越多，这份记录占用的内存也越大。

徐冰将内存比作数字员工的工位。算力决定处理工作的速度，内存则决定桌面上能同时放下多少资料。如果空间不够，系统就要频繁搬动数据，芯片也会花更多时间等待。

这种负载变化影响了曦望第三代GPU启望S3的设计，它没有采用全HBM方案，而是选择大容量LPDDR，同时裁掉了一部分主要服务训练的模块，把更多芯片面积留给推理中常用的计算。

HBM和LPDDR并不是简单的先进与落后，HBM带宽更高，适合训练和需要快速搬运大量数据的任务；LPDDR带宽相对较低，但容量更容易做大，成本也较低。对于长上下文和高并发Agent来说，能不能放进更多模型和缓存，有时会比继续提高带宽更早成为问题。

类似的取舍也出现在计算精度上，S3支持从FP16到FP4的低精度推理；精度降低后，单次计算需要处理的数据更少，速度和能效可以提高，但也要控制模型效果的损失。芯片厂商需要根据具体任务，在精度、速度和成本之间做选择。

一颗芯片的参数，也不能直接等同于实际推理效果。

大模型推理大致可以分为Prefill和Decode两个环节，Prefill负责读取并处理用户输入，更依赖计算能力；Decode负责逐个生成Token，对内存带宽和缓存更加敏感。不同芯片在两个环节中的表现并不完全一致。

无问芯穹联合创始人、CEO夏立雪在WAIC上介绍的跨集群异构PD分离架构，会让不同特点的集群分别承担Prefill和Decode，再通过网络传输KV Cache。按照无问芯穹公布的测试数据，这套架构将首Token延迟降低51.5%，单Token成本降低37.5%。

无问芯穹联合创始人、CEO夏立雪

这些数据属于企业测试口径，但背后的问题不难理解，同一块硬件被放在哪个环节、与什么内存和网络配合，也会影响最后的速度和成本。

Agent看起来是一种软件产品，却把需求一路传到了硬件层。任务运行时间变长后，芯片里的计算单元怎么安排、使用哪种内存、缓存如何保存、数据怎么传输，都要重新算一遍。

03 生态：参数表外的适配成本

芯片、内存和网卡安装完成后，一套AI设备还不能直接投入使用，模型要跑在芯片上，中间还需要驱动、编译器、算子库、通信库和推理框架。

算子可以理解为模型中的具体计算动作，矩阵乘法、注意力机制等工作，都要转化成芯片能够执行的程序。如果某个算子缺失，模型可能无法运行；即便能够运行，没有经过针对性优化，芯片也未必能发挥出应有的性能。

多张芯片同时工作时，还要处理卡间通信和任务调度；一张卡出现故障，系统能否及时发现并恢复；软件版本更新后，原来的模型是否仍然兼容；这些都会影响客户是否愿意长期使用。

一位业内人士此前提到，英伟达的优势并不只在GPU本身，围绕CUDA建立的软件工具和开发生态同样难以替代。CUDA之上已经形成了覆盖深度学习、数学计算、通信、推理和性能分析的工具体系，许多主流框架和模型也优先完成了适配。企业使用英伟达GPU时，通常可以沿用已有的代码、工具和工程经验。

换用另一种芯片后，驱动、算子、框架和通信库都可能需要重新适配，工程团队也要熟悉新的开发环境。这部分投入不会出现在芯片报价里，却会增加迁移所需的时间和人力。

沐曦在曦景S600中配套了MXMACA软件栈，覆盖GPU驱动、集群管理、资源调度和AI开发环境，并通过开源社区推进主流框架、模型和算子的适配。据沐曦披露，MXMACA自2025年2月开源以来，社区已汇聚超过50万名开发者用户。

奇异摩尔网络架构VP叶栋认为，国产AI芯片正在从“有无之辨”进入“好用之争”。早期的命题是“能不能造出来”，现在则变成“能不能在真实场景里跑出竞争力”，考验的不再只是芯片设计本身，而是从芯片到互联、从软件到生态的全栈整合能力。

今年WAIC上，国产厂商也在展示芯片之外的工作。奇异摩尔联合壁仞科技展示了国产GPU直通国产RDMA网卡的IBGDA方案。奇异摩尔方面表示，该方案验证了“国产芯+国产网”的底层互通能力，实测数据达到国际同等水平。

按照奇异摩尔的表述，这不仅是一次技术验证，也在传递一种开放思路：互联不应成为绑定工具，而应成为赋能全行业的通用底座。对于国产算力生态而言，不同厂商的GPU、网卡和软件能否相互配合，会直接影响客户的迁移和使用成本。

无问芯穹目前接入了16种主流芯片，通过异构调度、推理框架和算子优化，处理不同硬件之间的差异。夏立雪介绍的算子生成智能体KernelMind，会经过代码生成、编译测试和性能评估，调整模型在不同芯片上的运行方式。

这类工作很少出现在芯片参数表里，却会影响芯片真正投入使用后的表现。国产AI芯片路线较多，如果每增加一种芯片，客户都要重新完成一遍模型和算子适配，硬件价格上的优势很容易被后续工程投入抵消。

曦望在设计S3时，也希望用同一颗芯片覆盖PCIe卡、OAM模组和不同规模的超节点。底层硬件保持一致，软件栈、模型适配和运维经验才更容易复用；对一家新的GPU企业来说，减少不必要的产品分支，也是在降低后续的软件维护成本。

今年WAIC上的一排排机柜，真正费时间的却是机柜之外的工作——补算子、调模型、改通信、处理兼容，芯片做出来之后，还有很长一段工程要走。