事後訓練は、大規模言語モデルの価値選好をどのように形成するのか？

arXiv:2610.33371v1 発表タイプ：新規 要旨：事後学習の過程において、大規模言語モデル（LLMs）は、異なる人口統計グループに関連する意見が不均衡な割合で含まれるコーパスから価値観の好みを学習します。こうした不均衡が拡大すると、一部のグループの意見がさらに過小評価されるおそれがあります。しかし、意見の混合状態が事後学習の各経路において価値観の好みにどのように影響を及ぼすのかは、依然として不明です。この疑問に答えるため、私たちは、異なる意見混合状態を有する事後学習用コーパスと、SFT、DPO、GRPOに基づく5つの事後学習経路を用いた制御実験を実施しました。その結果、事後学習は各経路によって意見の不均衡を異なる形で増幅することを明らかにしました。価値観の好みが一度増幅された後、さらなる事後学習によってそれを除去できるかどうかは、事後学習の