NVIDIA DGX SparkにおけるMoE推論を強化する3つの方法

トークンの生成をより高速化するには、まず推論性能を制限している要因を特定することから始まります。NVIDIA上でInclusion AIが実施したLing-3.0-flashのバッチサイズ1による評価では…