跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

SAGE基准与GAR框架发布:推动多模态语义对齐评估

2026年10月26日,arXiv发布论文arXiv:2610.31838v1,提出Sense-Aligned Grounding Evaluation(SAGE)——一个统一的10候选图像选择基准,并配套训练无关的Gloss-Augmented Reasoning(GAR)框架,用于跨名词、动词和实体中心的多模态接地评估。

2026年10月26日,一篇题为《SAGE: Sense-Aligned Multimodal Grounding Evaluation with Gloss-Augmented Reasoning》的研究论文在arXiv平台发布(编号arXiv:2610.31838v1),正式提出Sense-Aligned Grounding Evaluation(SAGE)基准及Gloss-Augmented Reasoning(GAR)方法。

SAGE是一个统一的10候选图像选择评测基准,将原有VWSD(视觉词义消歧)、VerSe(动词接地)和WikiDiverse(实体多样性接地)三类任务重构为共享的术语中心协议,覆盖名词、动词与实体三类语义中心的多模态接地场景。其设计包含易混淆的难负样本,以及上下文交换版VerSe诊断任务,旨在检验模型对目标术语的深层语义接地能力,而非仅依赖字面图文匹配。

论文同时提出GAR——一种无需训练的推理框架,融合词义定义接地(definition grounding)与约束引导的语义验证(constraint-guided semantic verification)。在Gemma3-12B模型上的实验显示:定义增强可稳定提升全部三个子集性能;约束引导推理对VWSD和VerSe效果显著(尤其VerSe),但在WikiDiverse上增益有限;二者联合使用达成最优宏观平均性能,使Hits@1从65.90提升至71.22。

研究指出,强VWSD性能无法均匀迁移到其他接地设置,凸显了SAGE在统一评测与细粒度归因分析方面的必要性。所有结论均基于论文所报告实验结果,未引入外部数据或未声明的模型变体。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态