본문으로 건너뛰기
AI NEWS JOURNAL
ONE EVENT. MANY PERSPECTIVES.

연구는 LLM이 생성한 합성 설문조사 응답자 커버리지를 평가하는 새로운 지표 RCG를 제안했다.

이 논문은 2026년 10월 24일 arXiv에 게재되었으며(번호 2610.30900v1), 대규모 언어 모델(LLM)이 생성한 합성 설문 응답자가 실제 인간 응답자를 완전한 응답 프로파일 공간에서 얼마나 잘 포괄하는지를 측정하기 위한 새로운 평가 지표인 ‘응답자 포괄 격차’(RCG)를 제안한다.

1 개 독립 출처 · 1 건의 보도오래된순 ↕
발행 시간순

연구는 LLM이 생성한 합성 설문조사 응답자 커버리지를 평가하는 새로운 지표 RCG를 제안했다.

이 논문은 2026년 10월 24일 arXiv에 게재되었으며(번호 2610.30900v1), 대규모 언어 모델(LLM)이 생성한 합성 설문 응답자가 실제 인간 응답자를 완전한 응답 프로파일 공간에서 얼마나 잘 포괄하는지를 측정하기 위한 새로운 평가 지표인 ‘응답자 포괄 격차’(RCG)를 제안한다.

Silicon Samples Match the Answers but Not the Respondents

추천 이유:기존 평가 방법은 단일 문항의 정답 분포나 문항 간 상관성에만 주목할 뿐, LLM이 생성한 응답자가 실제 모집단에서 실제로 존재하는 정답 조합을 재현했는지 여부를 식별할 수 없다. RCG는 최초로 전체 응답 프로파일을 기반으로 커버리지 격차를 정량화하였으며, 두 가지 미국 사회조사 데이터를 통해 모든 테스트 대상 LLM에서 유의미한 미커버리지 인구가 존재하고, 이들이 단순한 변동성 표본 추출 기준선 및 가우스 코플라 모델보다 성능이 저조함을 실증적으로 확인했다.

진행 상황 및 관련 보도