跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

FusionEval发布:面向大语言模型融合的新基准测试

2026年10月24日,研究者在arXiv发布论文arXiv:2610.30162v1,提出FusionEval——首个专用于评估大语言模型融合方法的统一基准,覆盖推理链长度、工具调用等薄弱环节,并支持训练型与免训练型融合方法对比。

FusionEval: Benchmarking Model Fusion for Large Language Models

推荐理由:该基准填补了现有评测对长链推理与工具使用覆盖不足的空白,明确区分平均性能与最差能力保留,提供可复现的专家池(基于Qwen3/Llama)、多维指标(含GPU内存与运行时)及开源代码,具强实践指导性。

事件进展与其他报道

研究揭示编码智能体基准测试中的“规范-预言机差距”问题

一篇于2026年10月24日发布在arXiv的论文指出,当前主流编码智能体基准(如SWE-Milestone)存在“规范-预言机差距”:任务自然语言描述未涵盖测试所需的关键实现细节(如常量名、模块路径、精确错误消息),导致评测实际衡量的是对上游代码的复现能力而非真正理解与推理能力。

What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks

推荐理由:该研究首次形式化定义该类偏差,构建覆盖五种语言的静态审计工具(精度89.2%,召回率92.9%),并在SWE-Milestone中实证发现25个里程碑任务含不可推断的隐式依赖,显著拉高失败率(80.6% vs 48.4%),揭示当前排行榜可能系统性偏爱‘抄名称’型智能体;成果已开源审计工具与修正资源,具方法论与实践双重价值。

事件进展与其他报道