12:00
연구에서는 정치적 논쟁 담화에서 미명시된 논증(엔티메) 식별에 관한 주석상의 이견 문제를 해결하기 위해 새로운 평가 방법과 모델을 제안하였다.
이 논문은 백신 접종과 이민 문제에 관한 트윗 데이터를 기반으로 하며(각 트윗은 다섯 명의 주석자가 독립적으로 주석을 달음), 기존 미세조정 모델들이 엔티메메 검출 과제에서 F1 점수가 항상 약 0.67에 머무는 현상을 발견했다. 이에 따라 저자들은 단일 레이블 평가 패러다임을 포기하고, 대신 주석자의 의견 분포를 정확히 표현할 수 있는 새로운 지표를 도입하며, 해당 분포를 직접 예측할 수 있는 모델을 설계함으로써 F1 점수를 낮추지 않으면서도 인간 판단의 이견을 보다 잘 포착할 수 있다고 제안한다.
추천 이유이 논문은 NLP 분야에서 오랫동안 간과되어 온 ‘주석자 간 이견이 본질적 특징이다’라는 현실을 정면으로 다룬다—특히 정치적으로 민감한 맥락에서는 엔티메의 식별이 주관적 추론에 크게 의존한다. 그 방법론적 전환(점예측에서 분포예측으로)과 담화 구조의 한계를 실증적으로 드러낸 점은 콘텐츠 검열 시스템 설계에 분명한 경고를 제공한다: 다수결 기반 학습 모델은 깊이 있는 맥락 추론이 필요한 은닉된 논증을 체계적으로 간과할 수 있다.