프론티어 대규모 언어 모델에서의 애시 동조에 대한 정량적 접근

arXiv:2610.36668v1 발표 유형: 신규 초록: 아슈의 동조 실험은 최근 대규모 언어 모델(LLM)에서의 동조를 측정하는 방법으로 상당한 주목을 받고 있다. 기존 연구들이 LLM에서의 동조를 입증하는 데 집중해 왔다면, 우리 연구는 이 접근법에 추가적인 정량적 분석 차원을 더한다. 우리는 질문 세트에 대해 최첨단 LLM을 샘플링하는 대신, 단일 질문을 반복적으로 샘플링하고 LLM의 확률적 특성을 활용하여 답변의 분포를 도출한다. 이를 통해 모델에 인위적으로 조작된 합의를 제시하기 전후의 답변 분포를 비교할 수 있다. 우리의 실험은 최첨단 LLM이 실제로 동조를 보임을 확인하며, 이는 기존 문헌을 뒷받침한다. 또한, 분포 간 비교를 통해 추가적인…