在 NVIDIA DGX Spark 上提升 MoE 推理的三种方法

更快地生成 tokens，首先要弄清楚是什么限制了推理性能。在 Inclusion AI 对 NVIDIA DGX Spark 上的 Ling-3.0-flash 进行的 batch-size=1 评估中，性能分析表明解码阶段受内存瓶颈制约：模型权重的读取决定了执行时间。其中有两个操作尤为突出——专家混合（MoE）计算，以及用于生成模型各分类得分的输出层投影……

来源