MXFP4でMoE型LLMをトレーニング：BF16との差をいかに埋めたか

arXiv:2610.32229v1 発表タイプ：新規 要旨：8ビット未満の演算で大規模言語モデル（LLM）を訓練することは、メモリ帯域幅と計算スループットの大幅な向上を約束する一方で、FP4フォーマットでは、適切に対処しなければ最適化を不安定にするほど深刻な量子化誤差が生じます。本稿では、MXFP4マイクロスケーリングフォーマット下のMLPerf Small MoE Trainingベンチマークにおいて、200億パラメータを持つ混合専門家モデル（MoE）であるGPT-OSS-20B向けのオープンソース訓練レシピALTOを提案します。このレシピは、Abecassis、Felixらによる[arXiv:2509.25149]に示された確立された手法（ハイブリッド1D/2Dブロック量子化、ランダム化ハダマード変換、および確率的丸め）に加え、TetraJet-v2[arXiv:2510.27527]から採用した簡略化された重みのデオシレーション手法を組み合わせています。グローバルバッチサイズにおけるC4検証において