사후 교육은 LLM의 가치 선호를 어떻게 형성하는가?

arXiv:2610.33371v1 발표 유형: 신규 초록: 사후 학습 과정에서 대규모 언어 모델(LLMs)은 다양한 인구통계학적 집단과 관련된 의견의 비율이 불균형적으로 배분되어 있을 수 있는 말뭉치로부터 가치 선호를 학습한다. 이러한 불균형을 증폭시키면 일부 집단의 의견은 더욱더 과소대표될 수 있다. 그러나 의견 혼합이 사후 학습 경로 전반에 걸쳐 가치 선호에 어떤 영향을 미치는지는 아직 명확히 밝혀지지 않았다. 이 질문에 답하기 위해, 우리는 서로 다른 의견 혼합을 가진 사후 학습용 말뭉치와 SFT, DPO, GRPO 기반의 다섯 가지 사후 학습 경로를 활용한 통제된 실험을 수행하였다. 그 결과, 사후 학습이 각각의 경로에 따라 의견의 불균형을 서로 다르게 증폭시킨다는 것을 확인했다. 일단 가치 선호가 증폭된 후, 추가적인 사후 학습으로 이를 제거할 수 있는지는 사후 학습의