LazyFlash：長文コンテキストの高速微調整のための前方密・後方疎なアテンション

arXiv:2610.31911v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）がますます長いシーケンスを処理するようになると、アテンションは主要な計算上のボトルネックとなります。スパースアテンションは主に推論段階を対象としていますが、多くの手法は依然として密に学習を行ったり、スパースな学習をサポートできなかったりします。さらに、それらの手法は追加の複雑さを伴うため、スパース性を実際の実行時間の短縮へと結びつけるのが難しく、結果として実用的には密なアテンションが広く用いられています。本論文では、アテンションの学習は後方パスに大きく依存しているという観察に基づき、前方は密に、後方はスパースに実装する新しいアテンション手法であるLazyFlashを提案します。LazyFlashは前方パスを完全に密に保つため、学習後のモデルは従来の密なモデルのままであり、vLLMなどの既存システムでも一切の変更なしにサービス可能です。一方、後方パスについては、LazyFlashは勾配を