AI 뉴스 검색

llama.cpp 发布 b11871 版本：新增 JSON 嵌套深度限制以防止服务崩溃

llama.cpp 在 b11871 版本中引入关键安全修复，对请求中 JSON 嵌套层级实施 128 层硬性限制，避免因深度递归解析导致 HTTP 线程栈溢出、服务崩溃（macOS 触发 SIGBUS，Linux 触发 SIGSEGV）。该策略覆盖 chat 接口多类输入场景，并统一返回 HTTP 400 错误。

추천 이유：按信源设置仅收录，不参与自动精选

언더독 살루키 27B: GSQ-RCO 기반 2비트 Qwen3.8-27B 도구 호출 모델 기술 분석

이 글에서는 Underdog가 발표한 Saluki 27B 모델을 소개합니다. 이 모델은 7.9 GB 크기의 2비트 양자화 Qwen3.8-27B 변형으로, ISTA-DASLab의 GSQ-RCO 방법을 기반으로 구축되었으며, 120개의 작업에 대한 BFCL v4 도구 호출 벤치마크에서 원래의 54 GB 풀 정밀도 모델을 능가한다고 주장됩니다. 다만 모든 성능 관련 결론은 해당 개발자의 발표에 근거한 것으로, 독립적인 검증은 이루어지지 않았습니다.

llama.cpp 发布 b11870 版本，正式支持 DeepSeek-V4.1-Flash 模型

llama.cpp 在版本 b11870 中新增对 DeepSeek-V4.1-Flash（deepseek41）模型的支持，并针对其 Engram 架构进行多项底层优化，包括 KV 缓存计算简化、BF16 精度替代 MXFP8、in-graph 行 gather 等；同步提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的多平台二进制构建。

추천 이유：按信源设置仅收录，不参与自动精选

llama.cpp 发布 b11868 版本：增强 Hexagon NPU 多核 Flash Attention 支持，覆盖全平台编译构建

llama.cpp v2.45.0（标签 b11868）正式发布，核心更新为 Hexagon 后端引入 KV-head 团队拆分机制以优化多核 HMX Flash Attention 性能，并统一 FA 拆分控制标志；同步提供 macOS、Linux、Windows、Android、iOS 及 openEuler 等全平台二进制包，含 CUDA 12/13、Vulkan、ROCm、OpenVINO、SYCL、Snapdragon（Adreno+Hexagon）等多后端支持。

추천 이유：按信源设置仅收录，不参与自动精选

llama.cpp 发布 b11867 版本：服务端入口重构，全面支持多平台与异构加速后端

llama.cpp 于 GitHub 正式发布 b11867 版本，核心变更包括服务端（server）入口点重构（PR #31113），新增 server_role 机制；同时提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的 40+ 预编译二进制包，支持 CPU、CUDA（12.4/12.8/13.4）、Vulkan、ROCm 10.0、OpenVINO、SYCL（FP16/FP32）、Snapdragon（Adreno+Hexagon）等多元硬件后端。

추천 이유：按信源设置仅收录，不参与自动精选

llama.cpp 发布 b11866 版本：移除 Metal 后端冗余 AMAX 缩放逻辑，精简 MoE 计算路径

llama.cpp v.b11866 移除了 Metal 后端中已过时的 src1 power-of-two AMAX 缩放机制，转而依赖计算图内更精细的 per expert-token amax 缩放，确保 MoE 下投影激活值在 f16 表示范围内；同步删除相关两阶段归约核、F32 精度调度及越界测试用例。

추천 이유：按信源设置仅收录，不参与自动精选

llama.cpp 发布 b11861 版本：修复 minimax-m3 模型量化缩放张量未传递导致的推理异常

llama.cpp v.b11861 修复了 minimax-m3 模型在 NVFP4/MXFP8 量化下因 scale 张量未注入计算图而导致的权重失真问题，避免‘token soup’与残差淹没；同步提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的多平台二进制构建。

추천 이유：按信源设置仅收录，不参与自动精选