AI 自動翻訳
arXiv:2610.33371v1 発表タイプ：新規
要旨：訓練後の段階において、大規模言語モデル（LLM）は、異なる人口統計グループに属する意見が不均衡な割合で含まれるコーパスから価値観の好みを学習します。こうした不均衡が増幅されると、一部のグループの意見はさらに過小評価されるおそれがあります。しかし、意見の混合状況が訓練後の各経路において価値観の好みにどのように影響を及ぼすのかは、依然として不明です。この疑問に答えるため、私たちは、異なる意見の混合状況を有する訓練後コーパスと、SFT、DPO、GRPOに基づく5つの訓練後経路を用いた制御実験を実施しました。その結果、訓練後処理によって意見の不均衡が各経路ごとに異なる形で増幅されることを確認しました。一度価値観の好みが増幅されると、さらなる訓練後処理によってそれを除去できるかどうかは、訓練後処理の手法とコーパス内の意見の混合状況の両方に依存することが明らかになりました。さらに懸念すべき点として、介入に対するモデルの安定性は、さらなる訓練後処理がその価値観の好みを変化させるかどうかに左右されます。加えて、明示的な意見に関する質問を含まないコーパスを用いた知識蒸留においても、これらの価値観の好みは学生モデルへと伝播することが示されました。これらの知見は、LLMの開発・評価・再利用に際して、訓練後コーパスにおける意見の混合状況と、訓練後処理手法の選択の両方を考慮すべきであることを示唆しています。本研究のコードおよびデータは、https://github.com/ku-nlp/llm-value-preferences. にて公開されています。