AI 자동 번역
arXiv:2610.33371v1 발표 유형: 신규
요약: 사후 학습 과정에서 대규모 언어 모델(LLM)은 다양한 인구통계학적 집단과 관련된 의견이 불균형적으로 분포된 코퍼스로부터 가치 선호를 학습한다. 이러한 불균형이 증폭되면 일부 집단의 의견은 더욱더 과소대표될 수 있다. 그러나 의견 혼합이 사후 학습 경로에 따라 가치 선호를 어떻게 형성하는지는 아직 명확히 밝혀지지 않았다. 이 질문에 답하기 위해, 우리는 서로 다른 의견 혼합을 가진 사후 학습 코퍼스와 SFT, DPO, GRPO 기반의 다섯 가지 사후 학습 경로를 활용한 통제된 실험을 수행하였다. 그 결과, 사후 학습이 각 경로별로 의견 불균형을 서로 다르게 증폭시킨다는 것을 확인했다. 일단 가치 선호가 증폭된 후에는, 추가적인 사후 학습으로 이를 제거할 수 있는지 여부는 사후 학습 방법과 코퍼스의 의견 혼합 양상에 모두 달려 있다. 더욱 우려스러운 점은, 개입에 대한 모델의 안정성이 추가 사후 학습이 가치 선호를 변화시키는지 여부에 따라 결정된다는 것이다. 또한, 식별 과정에서 명시적인 의견 관련 질문이 포함되지 않은 코퍼스를 사용하더라도 이러한 가치 선호는 학생 모델에도 전달된다. 이러한 연구 결과는 LLM을 개발하고 평가하며 재사용할 때, 사후 학습 코퍼스의 의견 혼합과 사후 학습 방법의 선택을 모두 고려해야 함을 시사한다. 본 연구의 코드와 데이터는 https://github.com/ku-nlp/llm-value-preferences.에서 공개되어 있다.