2026年10月24日、arXivプラットフォームに『RIFT: KV Cache Compression for Draft Models with Complementary Compressibility Training』という題名の論文が掲載され（番号：arXiv:2610.31098v1）、推測デコードにおけるドラフトモデル向けの新しいKVキャッシュ圧縮フレームワークであるRIFTが提案された。
論文では、従来の事前入力（prefill）情報に基づくKVキャッシュ選択手法は、長文出力の生成過程において「デコードの陳腐化」が生じやすいと指摘されている。すなわち、生成されるトークン数が増えるにつれて、初期のキャッシュエントリの関連性が低下し、その結果、ドラフトモデルの精度が低下するという問題である。RIFTは、トークン生成中にKVキャッシュの選択を動的に更新することで、事前入力情報と最新の生成内容の両方を適切に考慮し、ドラフトの品質を大幅に向上させる一方で、追加のデコード遅延をもたらす。そこで著者らは、スコアリング計算のオーバーヘッドを低減するために、さらに適応型の更新戦略を考案した。
さらに、本研究では「圧縮性駆動型ドラフトモデルの訓練」フェーズを導入し、スパースなアテンションマスクを用いて、圧縮後のKVキャッシュに対するモデルの適応能力を最適化しました。Qwen3.5-4Bをドラフトモデル、Qwen3.5-122Bをターゲットモデルとして評価した結果、RIFTはこの訓練手法と組み合わせることで、入力32Kトークン、出力4Kトークン、かつKVキャッシュ予算がわずか8Kトークンという厳しい条件下においても、全キャッシュによる受け入れ可能な文長の98％以上を維持することが確認されました。
注意が必要です：本成果は現在arXivのプレプリントであり、まだ査読を受けていません。すべての実験結果は論文に記載された設定に基づいており、他のモデルやハードウェアプラットフォームにおける汎化性能については言及されていません。また、本文では推論遅延の絶対値やGPUメモリ節約率などの工学的指標は公表されておらず、RIFTが検証器（verifier）モデルに与える影響についても説明されていません。