出典・テーマ・日時から、気になるニュースを見つけられます。
vLLMセマンティックルーターは、270億パラメータ規模のオープンウェイトなマルチモーダル意思決定モデルであるd3-ultraをリリースしました。同モデルはテキスト、画像、動画を一度に読み込み、各回答に対する確率を返却し、チームのSR-Textテストで87.2点を獲得しています。この記事「vLLMセマンティックルーター、270億パラメータ規模のオープンマルチモーダル意思決定モデルd3-ultraをリリース」は、MarkTechPostに最初に掲載されました。
京東広告は華為の鲲鵬と協力し、霊衢相互接続を活用して300TB規模の共有メモリプールを構築、RPC通信を再構築することで、エンドツーエンドの推論遅延を15％低減しました。また、KVキャッシュおよびRPCの性能が大幅に向上し、2026年の618大促における主要なシナリオでトラフィックの5％による検証も実施されています。さらに、この協業は検索・推薦といったサーチ＆レコメンデーションの各シーンへ波及しており、SuperCacheやAgentサンドボックスなど、Agentic AIの先端分野にも展開しています。
注目する理由：この報道は、2026年10月26日にtmtpost.comが公開したオリジナルの技術ニュースに基づいており、実際の導入事例に焦点を当てた技術連携について述べています。具体的には、協業主体（JD広告／Huawei Kunpeng）、技術的アプローチ（Lingqu Interconnect、二段階キャッシュ、UBプロトコルによるURMAへの直接接続）、定量的な効果（遅延が15％削減、TP99の最適化率が85％超）、検証されたシナリオ（618セール時のトラフィックの5％）および今後の進化計画（SuperCache、Agentサンドボックス）を明示しています。すべての重要な事実は資料内で相互に裏付けられており、外部からの補足情報や主観的な推論は一切含まれていません。
清華大学と香港中文大学の研究者らは、2026年10月26日、SGLangを基盤とし、大規模言語モデル（LLM）エージェント向けに設計されたKVキャッシュ用のエンジニアリングサーバーであるAKVをオープンソース化しました。このシステムは、従来のテキスト履歴の要約ではなく、エージェントが自らKVキャッシュを積極的に破棄・再配置することで、4つのエージェントベンチマークにおいて推論コストを平均27.7％削減し、タスクの平均スコアを1.7ポイント向上させました。コードはApache-2.0ライセンスのもとで公開されており、現在はQwen、GPT-OSS-120B、MiniMax-M2.7などのモデルをサポートしています。
注目する理由：この成果は、LLMエージェントによる効率的な推論の新たなパラダイムを示しています。テキストの切り捨てや要約に依存する「コンテキストエンジニアリング」とは異なり、AKVはKVキャッシュ状態を直接操作することで、重複したプリフィルを回避し、長距離間の相互作用におけるKV負荷を大幅に軽減します。実測では、高並行負荷下でP95遅延が229.9秒から30.6秒へと短縮され、明確な工学的価値と再現性を備えています。情報源はMarkTechPostが公開した権威ある技術レポートであり、公開日時（2026-10-26T07:56:45Z）は現在時刻と一致しており、最新の公表進展です。
本記事では、Underdogが公開したSaluki 27Bモデル——7.9 GBの2ビット量子化を採用したQwen3.8-27Bの変種——について紹介します。同モデルはISTA-DASLabのGSQ-RCO手法を用いて構築されており、120タスクにおけるBFCL v4ツール呼び出しベンチマークにおいて、元の54 GBのフル精度モデルを上回るとされています。ただし、すべての性能に関する結論は開発者による声明に基づくものであり、独立した検証は行われていません。
Hugging FaceはAnyLanguageModel 1.0を正式にリリースし、Apple Foundation Models APIと完全互換のオープンソースSwiftフレームワークを提供しています。ローカル（MLX、llama.cpp、Core ML）およびホスティング（OpenAI、Anthropic、Gemini、Hugging Face Inference Providersなど）のモデル間でシームレスに切り替えられるほか、画像入力、ツール呼び出し、ガイド付き生成、推論ブロックの自動適応などの新機能も追加されました。
トランスは現在、llama.cpp quants を実行します
Quantization-Aware Healing: 圧縮された4ビットモデルで、高精度のオリジナルを上回る
ネイティブスピードvLLMトランスフォーマーがバックエンドをモデル化
1つのコマンドでHFジョブでvLLMサーバーを実行
Heaps do lie: debugging a memory leak in vLLM.
翻訳待ち・原文を表示中 · en