跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

arXiv新论文对比紧凑编码器的联合评分与逐选项评分性能

2026年10月24日,arXiv发布论文arXiv:2610.30970v1,系统评估参数量介于1700万至10亿之间的紧凑编码器在闭合集决策任务(如工具选择)中的设计选择:联合阅读所有选项 vs. 逐个独立评分。研究发现,在3200万参数规模下,逐选项评分在技能指标上显著优于联合评分;但其计算开销更高、延迟更不均衡。多个System1-Arena基准测试显示,6800万和1.5亿参数的联合编码器超越4.35亿参数DeBERTa-v3零样本分类器。

2026年10月24日,一篇题为《Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters》的论文在arXiv平台首发(编号arXiv:2610.30970v1),聚焦语言模型流水线末端的闭合集决策任务(例如工具选择),探讨如何以最小参数量实现高效、鲁棒的决策编码器,并核心比较两种输入处理范式:联合阅读所有选项(joint scoring)与逐个独立评分(per-option scoring)。

在3200万参数规模的三随机种子实验中,逐选项评分在37个基准组成的决策套件上,以‘机会校正技能’(chance-corrected skill)为指标,较联合评分高出5.8分(优化器步数对齐时)和2.8分(训练计算量近似对齐时);两个外部基准结果趋势一致,但在其未见任务上差异未达统计显著性。研究进一步指出,该优势依赖于重排序器(reranker)初始化方式——其输入格式(query-candidate pair)天然适配逐选项阅读;若仅使用原始编码器输出,则两类阅读器表现无差别。

逐选项方案虽精度占优,但需执行5至13倍的编码器前向传递,导致中位延迟最多翻倍,而平均延迟超4倍。相比之下,六款发布的联合编码器(参数量从1700万至10亿)中,6800万和1.5亿参数模型在209个经重叠审计的System1-Arena任务上,分别比4.35亿参数DeBERTa-v3零样本分类器高4.9和5.9个百分点准确率;在145个训练未见任务上至少持平。最小的1700万参数联合模型在16线程处理器上中位响应延迟仅14毫秒,远低于DeBERTa-v3的728毫秒。

此外,联合编码器对选项顺序敏感:重排选项会改变其12%–23%的预测结果,而逐选项评分完全不受影响。在公共排行榜的私有测试集(主要为分布内任务)上,参数量不超过6800万的联合编码器在其所属规模区间内表现领先。所有结论均基于论文所报告的实验设置与基准,未延伸至未测试参数规模或未披露任务分布。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态