2026년 10월 26일, ‘SAGE: Sense-Aligned Multimodal Grounding Evaluation with Gloss-Augmented Reasoning’라는 제목의 연구 논문이 arXiv 플랫폼에 게재되었으며(논문 번호: arXiv:2610.31838v1), Sense-Aligned Grounding Evaluation(SAGE) 벤치마크와 Gloss-Augmented Reasoning(GAR) 방법이 공식적으로 제안되었다.
SAGE는 통합된 10개의 후보 이미지 선택 평가 기준으로, 기존 VWSD(시각적 단어 의미 해석), VerSe(동사 지식화) 및 WikiDiverse(개체 다양성 지식화) 등 세 가지 유형의 과제를 공유되는 용어 중심 프로토콜로 재구성하여 명사, 동사 및 개체의 세 가지 의미 중심 다중모달 지식화 시나리오를 포괄합니다. 이 기준은 혼동하기 쉬운 어려운 음성 샘플과 문맥 교환 버전의 VerSe 진단 과제를 포함하고 있으며, 모델이 목표 용어에 대한 심층적인 의미적 지식화 능력을 검증하도록 설계되어 단순히 문자 그대로의 텍스트-이미지 일치에만 의존하지 않도록 합니다.
논문은 또한 훈련이 필요 없는 추론 프레임워크인 GAR을 제안하며, 이는 어휘의 의미 정의를 바탕으로 한 정의 접지(definition grounding)와 제약 기반 의미 검증(constraint-guided semantic verification)을 통합한다. Gemma3-12B 모델을 대상으로 한 실험 결과에 따르면, 정의 강화는 세 가지 하위 집합 모두에서 성능을 안정적으로 향상시키며, 제약 기반 추론은 VWSD와 VerSe에서 특히 두드러진 효과를 보이지만 WikiDiverse에서는 그 증가 폭이 제한적이다. 두 방법을 결합하면 최적의 거시적 평균 성능을 달성하여 Hits@1 지표를 65.90에서 71.22로 끌어올린다.
연구에 따르면, 강력한 VWSD 성능은 다른 접지 설정으로 균일하게 이전되지 않으며, 이는 SAGE가 통합 평가와 세분화된 인과 분석을 위해 필수적임을 보여줍니다. 모든 결론은 논문에서 보고된 실험 결과에 기반하며, 외부 데이터나 명시되지 않은 모델 변형은 도입되지 않았습니다.