AI ニュースを検索

清華大学と香港中文大学が共同でAKVをオープンソース化：LLMエージェント向けのKVキャッシュエンジニアリングサービスシステム

清華大学と香港中文大学の研究者らは、2026年10月26日、SGLangを基盤とし、大規模言語モデル（LLM）エージェント向けに設計されたKVキャッシュ用のエンジニアリングサーバーであるAKVをオープンソース化しました。このシステムは、従来のテキスト履歴の要約ではなく、エージェントが自らKVキャッシュを積極的に破棄・再配置することで、4つのエージェントベンチマークにおいて推論コストを平均27.7％削減し、タスクの平均スコアを1.7ポイント向上させました。コードはApache-2.0ライセンスのもとで公開されており、現在はQwen、GPT-OSS-120B、MiniMax-M2.7などのモデルをサポートしています。

注目する理由：この成果は、LLMエージェントによる効率的な推論の新たなパラダイムを示しています。テキストの切り捨てや要約に依存する「コンテキストエンジニアリング」とは異なり、AKVはKVキャッシュ状態を直接操作することで、重複したプリフィルを回避し、長距離間の相互作用におけるKV負荷を大幅に軽減します。実測では、高並行負荷下でP95遅延が229.9秒から30.6秒へと短縮され、明確な工学的価値と再現性を備えています。情報源はMarkTechPostが公開した権威ある技術レポートであり、公開日時（2026-10-26T07:56:45Z）は現在時刻と一致しており、最新の公表進展です。

VocabX：コスト重み付けによる語彙の専門化により、分野特化型ミニ言語モデルの推論コストを77％削減

Dharma-AIはVocabX手法を提案し、ポルトガル語の作文自動採点といった特定のタスク向けに言語モデルの語彙表を再構築することで、語彙の出現頻度ではなく生成コストを最適化目標としています。モデルの構造やパラメータ、学習プロセスを変更することなく、実測では推論コストが77％削減され、同時に評価指標（bench score）も0.703から0.810へ向上しました。

IBMがGranite Speech 5.0シリーズの音声モデルを発表：多言語の文字起こし・翻訳および話者識別に対応

IBMは、Granite Speech 5.0シリーズの3つのオープンソース音声モデルを発表しました。granite-speech-5.0-2b（高精度な多言語ASR/MT）、granite-speech-5.0-470m-turboctc（超高速なエッジ端末向け多言語トランスクリプション）、および更新版のgranite-speech-4.1-2b-plus（強化型の複数話者対応会話モデリング）です。これらはすべてApache 2.0ライセンスに基づいており、主流の推論フレームワークをサポートしています。