跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

FusionEval发布:面向大语言模型融合的新基准测试

2026年10月24日,研究者在arXiv发布论文arXiv:2610.30162v1,提出FusionEval——首个专用于评估大语言模型融合方法的统一基准,覆盖推理链长度、工具调用等薄弱环节,并支持训练型与免训练型融合方法对比。

FusionEval是一项新发布的模型融合评测基准,于2026年10月24日在arXiv上线(编号arXiv:2610.30162v1)。其核心目标是系统评估将多个领域专家模型能力融合为单一模型的效果,尤其关注现有评测中被忽视的长链推理与工具调用能力。

该基准构建了受控的专家模型池,所有专家均独立基于Qwen3和Llama基础模型训练,覆盖数学、编程、科学、指令遵循与工具使用五大领域;评测套件整合了有训练与无训练两类融合方法,并在八个公开基准上统一评估能力保留程度与计算开销,报告归一化平均分、最差表现、运行时间和峰值GPU显存占用。

实验表明:免训练融合方法虽能较好维持推理能力,但在工具使用任务上出现显著退化;而MOPD方法可更好保留工具调用能力并实现更均衡的能力分布,但需额外的数据准备、推理适配与训练流程。如何以低计算成本协同保持推理、指令遵循与工具使用能力,仍是未解挑战。项目代码已开源:https://github.com/Baicaihaochi/FusionEval_Benchmark。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态