HyScale：学習済みスパースアテンションにおける長文コンテキストの学習をスケーリングする手法

arXiv:2610.32057v1 発表タイプ：新規 要旨：我々は、学習済みスパースアテンション向けの長文コンテキスト学習システムであるHyScaleを提案する。学習済みスパースアテンションは、数百万人規模のトークンを扱うコンテキストに対し有望なアーキテクチャであり、DeepSeek-V3.2以降、実運用で広く採用されている。しかし、選択処理はトレーニングにおけるボトルネックへと発展している。各クエリに対して、スパースアテンションが読み込むのは$ k $個にすぎないのに対し、選択処理では過去のすべてのトークンについてスコアを算出するからである。さらに深刻なのは、現行のシステムではスコアテーブルを完全にメモリ上に展開し、再計算時にも選択処理を繰り返す点である。我々の重要な着想は、選択処理の出力が活性化値ではなく、むしろインデックスの集合であるという点にある。これを基に、HyScaleはHyTopKと選択リプレイを導入する。HyTopKはスコアテーブルを用いずに、リアルタイムで各クエリの正確なトップ$ k $を特定し、一方で選択リプレイは、フォワードパスでの選択結果を再計算時に再利用する手法である。