Underdog Saluki 27B:基于GSQ-RCO的2比特Qwen3.8-27B工具调用模型技术解析
本文介绍Underdog发布的Saluki 27B模型——一款7.9 GB的2比特量化Qwen3.8-27B变体,采用ISTA-DASLab的GSQ-RCO方法构建,声称在120任务BFCL v4工具调用基准上超越原54 GB全精度模型;但所有性能结论均来自其开发者声明,未获独立验证。
检索标题、摘要与正文,把分散的信息连起来。
本文介绍Underdog发布的Saluki 27B模型——一款7.9 GB的2比特量化Qwen3.8-27B变体,采用ISTA-DASLab的GSQ-RCO方法构建,声称在120任务BFCL v4工具调用基准上超越原54 GB全精度模型;但所有性能结论均来自其开发者声明,未获独立验证。
llama.cpp 在版本 b11870 中新增对 DeepSeek-V4.1-Flash(deepseek41)模型的支持,并针对其 Engram 架构进行多项底层优化,包括 KV 缓存计算简化、BF16 精度替代 MXFP8、in-graph 行 gather 等;同步提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的多平台二进制构建。
推荐理由:按信源设置仅收录,不参与自动精选