AI 뉴스 검색

언더독 살루키 27B: GSQ-RCO 기반 2비트 Qwen3.8-27B 도구 호출 모델 기술 분석

이 글에서는 Underdog가 발표한 Saluki 27B 모델을 소개합니다. 이 모델은 7.9 GB 크기의 2비트 양자화 Qwen3.8-27B 변형으로, ISTA-DASLab의 GSQ-RCO 방법을 기반으로 구축되었으며, 120개의 작업에 대한 BFCL v4 도구 호출 벤치마크에서 원래의 54 GB 풀 정밀도 모델을 능가한다고 주장됩니다. 다만 모든 성능 관련 결론은 해당 개발자의 발표에 근거한 것으로, 독립적인 검증은 이루어지지 않았습니다.

llama.cpp 发布 b11870 版本，正式支持 DeepSeek-V4.1-Flash 模型

llama.cpp 在版本 b11870 中新增对 DeepSeek-V4.1-Flash（deepseek41）模型的支持，并针对其 Engram 架构进行多项底层优化，包括 KV 缓存计算简化、BF16 精度替代 MXFP8、in-graph 行 gather 等；同步提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的多平台二进制构建。

추천 이유：按信源设置仅收录，不参与自动精选