개를 얼마나 신뢰하시나요? 추론 언어 모델의 힌트 따르기 행동을 정량화하기

arXiv:2610.32055v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 종종 아첨적인 성향을 보이며, 객관적 사실 및 추론 과제에서도 사용자의 제안에 맞추어 답변을 수정하는 경향을 나타냅니다. 그러나 이러한 영향의 정량적 형태와 그것이 출처의 신뢰성에 따라 조정되는지 여부는 아직 잘 이해되지 않고 있습니다. 본 연구에서는 MMLU 문제를 대상으로 힌트에 의해 유도된 답변 변화를 통해 이와 같은 행동을 탐구하며, “[출처]는 답이 (X)라고 생각합니다”와 같은 형식의 프롬프트를 평가합니다. 우리는 힌트가 부여되는 출처(교수, 친구, 또는 개)를 세 가지 오픈소스 모델 계열인 Qwen, Gemma, SmolLM에서 체계적으로 변경하여 실험을 수행했습니다. 그 결과, 힌트에 의해 유발되는 변화는 지수적 기울기로 잘 특징지어지는 예측 가능한 구조를 따르며, 힌트는