跳到正文
AI NEWS看见智能的每一步
资讯收藏
THE JOURNAL
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文，把分散的信息连起来。

按发布时间排序

llama.cpp releases

b11927

metal：添加 GGML_OP_TOP_K_MASK（#31230）* metal：添加 GGML_OP_TOP_K_MASK 将融合后的 top-k 掩码从 CUDA 后端移植过来：一个网格步进内核先用 -inf 填充输出，然后每行一个线程组将保留单元的掩码值复制到其上。函数常量会剔除某个图中未使用的分数、块以及额外路径。协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（MacBook，M5 Max，128GB）* metal：清理 top-k 掩码内核的格式 协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（MacBook，M5 Max，128GB）**网站：** - **证明文件：** - **macOS/iOS：** - [macOS 苹果芯片（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11927/llama-b11927-bin-macos-arm64.tar.gz) - macOS 苹果芯片（arm64，已启用 KleidiAI）[已禁用](

事件进展与其他报道
llama.cpp releases

b11926

glm5-next：无kq_mask的QSA（+ DSA）（#31009）* glm5-next：无kq_mask的QSA * DSA：dsa top-k mask变更已在DeepSeek-V3.2的第0层和第3层上进行了测试 **网站：** - **证明材料：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，启用KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-ubuntu-x64.t)

事件进展与其他报道
llama.cpp releases

b11925

ci：在 ROCm 发布版本构建中使用 ccache 依赖模式（#31231）**网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，已启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b1192)

事件进展与其他报道
llama.cpp releases

b11923

ggml：放宽对非连续视图的缩放（#31146）* ggml：放宽对非连续视图的缩放 SCALE 要求 src0 必须是一维连续内存。现将其放宽为在维度 0 上具有任意行步长的连续性（ggml_is_contiguous_rows），这与 Metal 后端中的单目运算保持一致。 - ggml：放宽 ggml_scale_impl 中的断言 - cpu：通过字节步长访问 src0 的各行（f32、bf16） - cuda：支持步长感知的内核，采用 fastdiv 行分解 - metal：支持 bf16 缩放（通过受保护的单目实例化） - sycl：保持 gate 处于连续状态，内核则以 f32 平铺形式实现 为 test_scale 添加视图变体。已在 CPU、Metal 和 CUDA 上验证。协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（RTX 5090 32GB，DDR5 128GB）* cuda：在非连续视图上跳过软截断融合 融合后的软截断内核会读取 src 和 w

事件进展与其他报道
llama.cpp releases

b11922

测试：修复针对已训练模型的多序列拆分重放及部分状态情形（#31216）* 测试：修复针对已训练模型的多序列拆分重放 回滚快照由解码回滚尾部的图谱捕获，而参考上下文则以不同的批次形状解码同一前缀。这两种状态在最后几位上存在差异，且已训练模型会在每次重放的每个标记中进一步放大这种差异。仅比较每个序列的第一个重放标记，然后在序列-1-only尾部之前，将回滚状态恢复到参考上下文中。 协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（MacBook，M5 Max，128GB）* 测试：要求在拆分重放中实现逐位精确的序列-1隔离 序列状态保存并不总是位完全无损——SWA掩码单元不会被保存——因此需重新加载其余部分

事件进展与其他报道
llama.cpp releases

b11921

llama：从内存实例中移除已废弃的 n_pad（#31200） 每个调用者都传入 n_pad = 1，而仅有的两个使用者将其强制限制为 256。因此，可以删除该参数、相关成员以及那个显而易见为真的 kv_size 断言。 协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（MacBook，M5 Max，128GB） **网站：** - **证明材料：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-xcfram)

事件进展与其他报道
llama.cpp releases

b11919

opencl：优化矩阵乘法的ID-1索引（#31170） 由Codex协助 **网站：** - **证明材料：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，已启用KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11)

事件进展与其他报道
llama.cpp releases

b11918

opencl：首次支持 q3_k (#31172) * opencl：添加 q3_k AOS 移动 * opencl：添加 q3_k SOA 移动及分块矩阵乘法 * opencl：为 adreno 添加 q3_k 无混洗 gemm/gemv * opencl：为 adreno 添加 q3_k dp4a gemm 共同作者：王洪强 * opencl：针对 adreno 调优 q3_k 内核 共同作者：王洪强 --------- 共同作者：王洪强 **网站：** - **证明文件：** - **macOS/iOS：** - [macOS 苹果芯片（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11918/llama-b11918-bin-macos-arm64.tar.gz) - macOS 苹果芯片（arm64，启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 英特尔（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11918/llama-b11918-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/ll)

事件进展与其他报道
MarkTechPost

vLLM 语义路由器发布 d3-ultra：一款 270 亿参数的开源多模态决策模型

vLLM 语义路由器发布了 d3-ultra，一款拥有 270 亿参数的开源多模态决策模型。它能够一次性读取文本、图像和视频，并为每个可能的答案返回概率，在该团队的 SR-Text 测试中取得了 87.2 分。原文“vLLM 语义路由器发布 d3-ultra：一款 270 亿参数的开源多模态决策模型”首发于 MarkTechPost。

新闻源配图 · MarkTechPost
事件进展与其他报道
llama.cpp releases

b11913

hexagon：添加 GGML_HEXAGON_VTCM_SIZE（#31221）* hexagon：添加 GGML_HEXAGON_VTCM_MB 和 GGML_HEXAGON_NTHREADS 限制条件 变更 ID：Idffe1613c8db6f96aa842d43d1b2efaed45462a8 * hexagon：将 VTCM 限制条件重命名为 GGML_HEXAGON_VTCM_SIZE，移除 NTHREADS 限制条件 变更 ID：If4c5b9ce9fd6b725c3561421c2295d40599d012d * hexagon：使 GGML_HEXAGON_VTCM_SIZE 成为可覆盖项，并支持 K/M/G 后缀 变更 ID：Ib8eea84c22f24e6d986b37f215e504b046478c2c **网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11913/llama-b11913-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11913/llama-b)

事件进展与其他报道
llama.cpp releases

b11912

llama：为 laguna 启用 moe amax 重新缩放（#31147）* llama：为 laguna 启用 moe amax 重新缩放 由 Devin 提供协助 * llama：声明支持 laguna sm 张量 **网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，已启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-u)

事件进展与其他报道
llama.cpp releases

b11910

opencl：在 set_tensor 中写入 KV 缓存视图，以确保状态恢复不会被丢弃（#30471）**网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，已启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64（CPU）](https://github.com/ggml-org/llama.cp)

事件进展与其他报道
llama.cpp releases

b11909

hexagon：MUL_MAT_ID 行跳过优化与改进（#31169）* hex-mmid：对跳过的行清零进行向量化，并将清零操作添加到融合的 MM_ID_NX 中 * hex-mmid：移除标量除法 **网站：** - **证明文件：** - **macOS/iOS：** - [macOS 苹果芯片（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11909/llama-b11909-bin-macos-arm64.tar.gz) - macOS 苹果芯片（arm64，已启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11909/llama-b11909-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11909/llama-b11909-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11909/)

事件进展与其他报道
llama.cpp releases

b11908

llama：将 no_alloc 从 llama_hparams 中移出（#31141）* llama：将 no_alloc 从 llama_hparams 中移出 由 dsh 提供协助：llama.cpp/ggml-org/GLM-5.3-Flash-GGUF（2 台 DGX Spark，支持 RDMA，TP=2）* cont：清理 * cont：清理 由 dsh 提供协助：llama.cpp/ggml-org/GLM-5.3-Flash-GGUF（2 台 DGX Spark，支持 RDMA，TP=2）* tests：在 test-llama-context 中新增 no_alloc 场景 由 dsh 提供协助：llama.cpp/ggml-org/GLM-5.3-Flash-GGUF（2 台 DGX Spark，支持 RDMA，TP=2）**网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11908/llama-b11908-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，已启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/downlo)

事件进展与其他报道
llama.cpp releases

b11907

模型：将 ggml_tensor** 输出参数替换为输出结构体（#31142） 超连接和 DSA 图构建器曾通过 ggml_tensor** 输出参数来传递其额外的输出（后置/组合门、携带的 top-k 选择、注入门）。现在改为在主输出旁边以小型结构体的形式返回这些输出。协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（MacBook，M5 Max，128GB） **网站：** - **证明文件：** - **macOS/iOS：** - [macOS 苹果芯片（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11907/llama-b11907-bin-macos-arm64.tar.gz) - macOS 苹果芯片（arm64，已启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11907/llama-b11907-bin-macos-x64.tar.gz) - [

事件进展与其他报道
llama.cpp releases

b11906

ggml-cpu：为所有类型重写 concat 为单行内核（#31179） 每一行目标数据均来自源0或源1；对于维度0，则由源0的一行后接源1的一行构成，因此只需一个内核即可覆盖所有类型：稠密的源行只需一次 memcpy，包括量化类型在内；而对于步长型源，则按元素逐个复制，且元素大小在编译时已知。行数据不再仅通过 i2 分配线程，而是跨多个线程进行划分，i2 的值通常为1；同时以32个元素为一组进行复制：对于转置后的源，在外层循环中遍历元素，因此每个分块的各行读取的是相邻地址，而非每处理一个元素就跳过整行步长。在 test_concat 中新增转置 b 的测试用例、delta-net 卷积输入的布局测试用例，以及相应的性能测试用例。**网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Sili

事件进展与其他报道
llama.cpp releases

b11905

vulkan：使用子组规约进行 RMS 法向量优化（#29882）* RMS 法向量子组规约优化 * 修复构建错误 * 改进优化效果 * 统一 BLOCK_SIZE 的使用方式 * 添加快速路径以跳过第 2 个子组 * 在子组规约优化中添加 AMD 厂商信息 * 添加注释，阐明 rms_dict 和 merge_maps 的行为 * 添加展开优化 * 重新变基 * 修复语法问题 * 为非子组路径新增 128/256/512 块大小 * 删除尾部空白 **网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11905/llama-b11905-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.c)

事件进展与其他报道
llama.cpp releases

b11904

sycl：模板化纯 MMVQ 启动三元组（#31013）**网站：** - **证明：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama)

事件进展与其他报道
llama.cpp releases

b11901

sycl：将临时内存的绑定大小调整为32 MiB（#31062）**网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，已启用KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b)

事件进展与其他报道

llama.cpp releases

b11900

common：在真实的 HF 代码仓库布局上固定模型解析结果（#30548）* tests：在真实的仓库列表上固定模型解析结果 通过从 HF API 原封不动地抓取的 63 个仓库列表扩展 test-model-resolution 测试，这些列表经过精心挑选，旨在覆盖主要出版商的 1237 个 GGUF 仓库中出现的所有文件命名模式，并进一步筛选为整数量化组。每个仓库都会固定其解析后的计划以及缓存列表。预期结果依据的是每个文件在其 GGUF 头部中实际所代表的内容，而非当前解析器的判断，因此一旦出现不匹配即视为解析错误。不匹配项会被统一收集并报告，随后测试才会失败。* tests：对于文件系统拒绝访问的路径，保持列表状态未检查 一些真实的拆分名称（例如 DevQuasar 的 Model.Q2_K.gguf-00001-of-00012.gguf 文件位于某个量化文件夹下）在实际展开后会超出 MAX_PATH 的限制

事件进展与其他报道