SemiAnalysis：Kimi K3的KDA机制提升注意力效率，但对GPU、HBM、DRAM和网络需求的影响或将增加

正文：

月之暗面推出的Kimi K3大模型采用了线性注意力机制，这引发了市场对英伟达、HBM及网络设备可能面临需求下滑的担忧。

然而，半导体研究公司SemiAnalysis最近发表的看法却截然不同：K3的庞大参数规模和推理架构需求不仅不会削弱高端AI硬件的需求，反而可能进一步加大对英伟达高端GPU、HBM以及高速网络设备的需求。

SemiAnalysis指出，K3的参数规模超过2.8万亿，其模型权重所需的HBM容量超过1.5TB。即使在用户并发量相对有限的情况下，KV缓存依然需要大量卸载到CPU的DDR5内存和NVMe存储中，因此HBM的容量不会出现显著的冗余。

更值得关注的是，月之暗面此前透露，为了实现K3的高效推理部署，至少需要由64颗芯片组成的大规模扩展架构。这一硬件需求与英伟达的GB200/GB300 NVL72等机架级AI系统的设计方向高度契合。

SemiAnalysis认为，市场对线性注意力机制将“削弱GPU需求”的理解存在偏差。实际上，影响可能正好相反：更高效的模型架构降低了AI推理成本，从而推动更多应用的落地，进而刺激对GPU、HBM、DRAM及网络基础设施的长期需求。

市场的担忧主要源于Kimi K3所采用的Kimi Delta Attention（KDA）机制。

与传统的Transformer注意力机制相比，KDA显著降低了KV缓存的数据传输需求，最多可减少约10倍的网络带宽压力。这一变化让一部分投资者联想到DeepSeek R1发布后市场对AI硬件需求的忧虑，认为模型效率的提升可能会减少对高端计算硬件的依赖。

然而，SemiAnalysis认为，这一观点忽视了大模型推理中另一个核心需求——参数规模所带来的计算和互联压力。

K3的参数总量超过2.8万亿，其模型权重需要依赖大规模分布式计算系统来完成部署。同时，K3采用了WideEP（Wide Expert Parallelism）优化策略，将896个专家模块分布在多颗GPU上，从而提升计算利用率，让单颗GPU只需承载部分专家权重。

不过，WideEP也带来了新的挑战：专家之间频繁的数据交换需要更强大的网络互联能力。SemiAnalysis指出，GB200/GB300 NVL72采用的铜背板互联架构所提供的机架内带宽是传统DGX B200系统的18倍，非常适合这一类型的大规模专家并行推理任务。

换言之，KDA节省的KV缓存通信需求可能会被WideEP带来的权重交换需求所抵消，整体的AI基础设施压力并未显著减轻。

不过，市场对此也有不同的看法。知情人士GDP（@bookwormengr）指出，月之暗面提到的“64颗芯片扩展域”并不一定意味着英伟达NVL72方案，华为的昇腾950 SuperPod同样采用64颗芯片的配置，并具备类似NVLink的统一总线（UB）内存扩展能力。

从架构能力来看，昇腾950 SuperPod可以支持跨16个机架扩展至1024颗NPU，满足大规模模型推理需求的竞争力同样不容小觑。因此，K3所带来的硬件需求增长，并不意味着英伟达将是唯一的受益者，但其对高端AI互联系统的需求强化趋势依然显而易见。

SemiAnalysis进一步引用了杰文斯悖论（Jevons’ Paradox）来解释AI基础设施的趋势。

该理论认为，当某项技术提高资源利用效率、降低单位成本后，需求通常不会下降，反而可能因应用范围的扩大而增加。应用在AI领域，线性注意力机制降低推理成本后，可能会推动更多企业部署AI应用，从而使全球AI推理规模进一步扩大，最终带动GPU、HBM、DRAM及高速网络设备的需求增长。

尽管如此，GDP对此持谨慎态度。他认可杰文斯悖论的长期逻辑，但指出KDA在长上下文任务中的状态存储优化具有实际意义。即使模型权重规模庞大，由于采用了4bit量化和高度稀疏化设计，实际内存压力可能低于市场的预期。

他认为，真正值得关注的是全球推理需求最大的AI公司——OpenAI、Anthropic和Google DeepMind——是否已经或在未来会采用类似KDA、DeepSeek CSA/HCA等线性注意力方案。如果这些头部AI公司大规模采用此类架构，长上下文推理对内存和互联资源的需求可能会显著下降，这将是影响未来AI硬件需求结构的重要因素。

总体而言，Kimi K3的推出并未简单指向AI硬件需求的下降。对于英伟达来说，真正的竞争焦点可能会从“单卡性能”转向“系统级能力”，包括高速互联、机架级扩展及大规模推理优化。

随着模型规模的不断扩大，即使注意力机制持续优化，AI基础设施依然面临参数规模、专家并行、数据交换以及推理吞吐量提升所带来的压力。

未来市场需要关注的核心问题，不是线性注意力是否降低了单项资源的消耗，而是AI应用规模的扩张所带来的新增需求，能否持续超过架构效率提升所带来的资源节省。