本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

SAGEベンチマークとGARフレームワークの公開:マルチモーダルな意味的整合性評価の推進

2026年10月26日、arXivは論文arXiv:2610.31838v1を公開し、Sense-Aligned Grounding Evaluation(SAGE)——統一された10候補画像選択基準——を提案するとともに、名詞・動詞・実体中心の多モーダルなグラウンディング評価を実施するための、学習非依存型のGloss-Augmented Reasoning(GAR)フレームワークも併せて提示した。

AI 自動翻訳

2026年10月26日、『SAGE: Sense-Aligned Multimodal Grounding Evaluation with Gloss-Augmented Reasoning』という題名の研究論文がarXivプラットフォームに掲載され(論文番号:arXiv:2610.31838v1)、Sense-Aligned Grounding Evaluation(SAGE)ベンチマークおよびGloss-Augmented Reasoning(GAR)手法が正式に提案された。

SAGEは、統一された10種類の画像選択評価基準であり、従来のVWSD(視覚的語義解消)、VerSe(動詞の接地)、WikiDiverse(実体の多様性による接地)の3つのタスクを、共通の用語中心プロトコルへと再構築したもので、名詞・動詞・実体という3つの意味的中心に関するマルチモーダルな接地シナリオを網羅しています。その設計には、混同しやすい難易度の高い負例や、文脈交換型のVerSe診断タスクも含まれており、モデルが対象となる用語に対して行う深い意味的接地能力を検証することを目的としています。単なる文字通りのテキスト・画像間の一致に依存するだけではありません。

論文ではまた、学習を必要としない推論フレームワークであるGARを提案しており、語義定義のグラウンディング(definition grounding)と制約主導型の意味検証(constraint-guided semantic verification)を統合しています。Gemma3-12Bモデルを用いた実験では、定義強化により3つのサブセットすべての性能が安定して向上することが示されました。一方、制約主導型推論はVWSDおよびVerSeにおいて顕著な効果を発揮しましたが(特にVerSeで顕著)、WikiDiverseでは利得は限定的でした。両者を併用することで最適なマクロ平均性能が達成され、Hits@1は65.90から71.22へと向上しました。

研究によれば、強力なVWSD性能は他のグラウンドトゥルース設定へ均一に移行できないことが示されており、統一的な評価と細粒度の帰因分析におけるSAGEの必要性が浮き彫りになっています。すべての結論は、論文で報告された実験結果に基づいており、外部データの導入や未公表のモデルバリエーションは一切用いていません。

情報源

arXiv cs.CL

関連テーマ

← すべてのニュースへ