2026年10月24日、arXivプラットフォームにおいて『baseVultra: Compact Nonlinear Recurrence with Reallocated Capacity』と題する論文が初掲載され（論文番号：arXiv:2610.30154v1）、新型のコンパクトな非線形リカレントユニットであるbaseVultraが提案された。本研究は、現在もLSTMやGRUが主流を占めるゲート制御型リカレントユニットの設計パラダイムに着目し、リカレント計算資源をゲートの変換処理から候補値の生成経路へと再配分することを検討している。
baseVultraの核心設計には、以下の要素が含まれます：候補生成を専任で行う単一のH×H密集行列の使用、従来のゲート制御における密集ループ行列をO(H)の複雑性を持つ対角相互作用に置き換える手法、候補更新において密集分岐、2つの低ランク補助分岐、EMAキャッシュ、および学習可能な出力の混合を統合するアプローチ、さらにゲート部分では、直前の2ステップの隠れ状態h_{t-2}に対する軽量な二次対角アクセスを導入しています。TinyShakespeareの文字単位モデリングタスクにおいて、20万パラメータの単層構成は1.594の検証損失を達成し、同規模のLSTM（1.604）やGRU（1.616）よりも優れた性能を示しました。また、密集行列とベクトルの演算量はGRUの約54%に抑えられています。
より大規模なtext8データセットにおいて、baseVultraは1文字あたり1.854ビット（bpc）を達成し、GRU（1.849）およびLSTM（1.837）にやや劣る結果となった。一方、形式言語の探針タスクであるCounterにおいて（隠れ層次元H=16）、分布外（OOD2）での正確率は0.991に達し、GRU（0.761）およびLSTM（0.691）を大きく上回った。論文では、こうした性能向上はコンパクトな構成に強く依存しており、隠れ層次元が増加するにつれてその効果が弱まることが示されており、baseVultraがリソース制約下のストリーミング型シーケンスモデリングの場面に適していることを示唆している。