清華大学と香港中文大学の研究チームは、2026年10月26日、SGLangフレームワークを基に構築されたKVキャッシュ向けのエンジニアリングサーバーであるAKVをオープンソース化しました。これは、大規模言語モデル（LLM）エージェントの推論効率を最適化することを目的としています。従来のテキスト要約による履歴圧縮手法とは異なり、AKVではエージェントが動的に一部のKVキャッシュエントリを破棄する選択を行い、残存エントリに対して位置再マッピング（Repos）を実施します。このプロセスは、元のメッセージシーケンスを一切変更せず、残存するテキストを再度プリフィルする必要もありません。
GPT-OSS-120B、MiniMax-M2.7、MiroThinker-1.7-Miniの3種類のモデルおよびBrowseComp-Plus、GAIA-Text、SWE-bench Verified、xbench-DeepSearch-2510の4つのエージェントベンチマークにおいて、AKVは平均推論コストを27.7%削減し、タスクの平均スコアを1.7ポイント向上させました。なかでも、GPT-OSS-120BではSWE-bench Verifiedにおける単一タスクのコストが20.0セントから9.7セントに低下し、スコアは40.0から43.2へ上昇しました。さらに、高並行（16）なシナリオにおいて、P95応答遅延は標準手法の229.90秒から30.63秒へ大幅に短縮され、各デコードステップにおける全注意力の処理時間も7.082ミリ秒から2.849ミリ秒へと短縮されました。
AKVは、Append（追加）、Drop（指定されたエントリの破棄）、Repos（RoPEによるキー位置の回転とリセット、値は変更しない）の3種類の核心的なキャッシュ操作を定義し、SGLangのradix木構造を拡張してdrop/repositionノードをサポートしています。さらに、segment-batch attentionメカニズムと組み合わせることで、必要に応じて退去した状態を復元します。そのAPIはステートレスでOpenAI互換のインターフェースであり、drop_messageおよびrepositionフィールドを通じてポリシーを宣言することが可能です。また、内蔵のラウンド／トークン／モデル駆動型ポリシーに加え、CacheToolを提供することで、モデルが自主的にdrop_contextを呼び出すこともできます。
注意が必要です：すべての性能データは、論文のTable 1およびプロジェクトページで公表された実験結果に基づいており、コストはAPIに相当する推定値（KV読み取りが総APIコストの82.4％を占める）です。なお、現時点ではQwen、GPT-OSS、MiniMax-M2シリーズのテキストモデルのみが正式にサポートされています。他のKV最適化手法（例：StreamingLLM、SnapKVなど）と比較すると、AKVは多輪のツール呼び出し型エージェントワークロードに特化しており、ファインチューニングに依存せず、視覚系やマルチモーダルモデルへの対応も謳っていません。