出典・テーマ・日時から、気になるニュースを見つけられます。
llama.cpp のバージョン b11871 では、重要なセキュリティ修正が導入され、リクエスト内の JSON のネスト階層に対して 128 層のハード制限を設けることで、深い再帰的解析による HTTP スレッドスタックのオーバーフローおよびサービスのクラッシュ（macOS では SIGBUS、Linux では SIGSEGV をトリガー）を防止しています。この対策は、chat インターフェースの複数の入力シナリオに適用され、統一的に HTTP 400 エラーを返します。
本記事では、Underdogが公開したSaluki 27Bモデル——7.9 GBの2ビット量子化を採用したQwen3.8-27Bの変種——について紹介します。同モデルはISTA-DASLabのGSQ-RCO手法を用いて構築されており、120タスクにおけるBFCL v4ツール呼び出しベンチマークにおいて、元の54 GBのフル精度モデルを上回るとされています。ただし、すべての性能に関する結論は開発者による声明に基づくものであり、独立した検証は行われていません。
llama.cppはバージョンb11870において、DeepSeek-V4.1-Flash（deepseek41）モデルへの対応を追加し、そのEngramアーキテクチャに対してKVキャッシュ計算の簡略化、BF16精度によるMXFP8代替、in-graph行gatherなど、複数の低レベル最適化を施しました。同時に、macOS、Linux、Windows、Android、iOSおよびopenEulerを網羅するマルチプラットフォームのバイナリビルドも提供しています。
llama.cpp プロジェクトはビルドバージョン b11869 をリリースしました。主な修正点は、Jinja テンプレートにおける select 関数および selectattr 関数の引数解析ロジックであり、macOS、Linux、Windows、Android、iOS、および openEuler に対応した数十種類のハードウェアとバックエンドの組み合わせをカバーするプリコンパイル済みバイナリパッケージを提供しています。
llama.cpp v2.45.0（タグ b11868）が正式にリリースされ、主要な更新点として、Hexagon バックエンドに KV-head のグループ分割メカニズムを導入してマルチコア HMX Flash Attention の性能を最適化し、FA の分割制御フラグを統一しました。同時に、macOS、Linux、Windows、Android、iOS、openEuler など、全プラットフォーム向けのバイナリパッケージを提供しており、CUDA 12/13、Vulkan、ROCm、OpenVINO、SYCL、Snapdragon（Adreno＋Hexagon）など、複数のバックエンドに対応しています。
llama.cpp が GitHub 上で正式にバージョン b11867 をリリースしました。主要な変更点として、サーバー側のエントリーポイントの再構築（PR #31113）と、server_role 機構の追加が挙げられます。また、macOS、Linux、Windows、Android、iOS、openEuler を対象とした 40 種類以上の事前ビルド済みバイナリパッケージを提供しており、CPU、CUDA（12.4/12.8/13.4）、Vulkan、ROCm 10.0、OpenVINO、SYCL（FP16/FP32）、Snapdragon（Adreno+Hexagon）など、多様なハードウェアバックエンドをサポートしています。
llama.cpp v.b11866 では、Metal バックエンドに実装されていた時代遅れの src1 の2のべき乗による AMAX スケーリング機構が削除され、代わりに計算グラフ内でのより細粒度なエキスパートごとのトークン単位の amax スケーリングに依存するようになりました。これにより、MoE 下における投影後の活性化値が f16 表現の範囲内に収まることが保証されます。同時に、関連する二段階リダクションカーネル、F32 精度のスケジューリング、および境界外アクセスを検出するテストケースも削除されました。
llama.cpp プロジェクトはビルドバージョン b11865 をリリースし、主要な変更点として、RDMA 受信ロジックにメモリ境界チェックを追加（PR #30399）するとともに、ハードウェアアクセラレーションのサポートを大幅に拡張しました。これにより、CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL、さらに Qualcomm Snapdragon（CPU＋Adreno＋Hexagon）によるフルスタックの異種計算バックエンドが対象となります。なお、macOS における KleidiAI のサポートおよび openEuler 上でのビルドは、明示的に DISABLED とマークされています。
llama.cpp v.b11861 では、minimax-m3 モデルにおいて NVFP4/MXFP8 の量子化下でスケールテンソルが計算グラフに注入されないために生じていた重みの歪み問題を修正し、『token soup』や残差の埋没を回避しました。また、macOS、Linux、Windows、Android、iOS、openEuler を網羅するマルチプラットフォーム対応のバイナリビルドも同時に提供されています。
Hugging FaceはAnyLanguageModel 1.0を正式にリリースし、Apple Foundation Models APIと完全互換のオープンソースSwiftフレームワークを提供しています。ローカル（MLX、llama.cpp、Core ML）およびホスティング（OpenAI、Anthropic、Gemini、Hugging Face Inference Providersなど）のモデル間でシームレスに切り替えられるほか、画像入力、ツール呼び出し、ガイド付き生成、推論ブロックの自動適応などの新機能も追加されました。
トランスは現在、llama.cpp quants を実行します
Quantization-Aware Healing: 圧縮された4ビットモデルで、高精度のオリジナルを上回る
ネイティブスピードvLLMトランスフォーマーがバックエンドをモデル化
1つのコマンドでHFジョブでvLLMサーバーを実行
Heaps do lie: debugging a memory leak in vLLM.
翻訳待ち・原文を表示中 · en