オポリシー内手法とオフポリシー手法を超えて：LLMエージェントのディスティレーションは、どの段階で学生モデルに準拠すべきか？

arXiv:2610.31918v1 発表タイプ：新規 要旨：対話型の大規模言語モデルエージェントの蒸留では、教師が生成したデモンストレーションと学生が生成した経験のどちらを選ぶかという選択が必要であり、これは広くオフポリシー蒸留とオンポリシー蒸留に対応している。両者とも有効であることは実証されているが、我々はこの区別が本質的に階層的であると主張する。すなわち、対話履歴を生み出す方策と、現在の行動のトークンプレフィックスを生成する方策は必ずしも同一である必要はない。そこで、これらの二つのレベルのオンポリシー性を形式化し、それらのペアリング、混合比率、および学習スケジュールを明示的に制御できる、階層的なエージェント蒸留フレームワークを提案する。我々は、凍結された教師が学生には利用できないタスクガイダンスにアクセスできる自己蒸留を通じて、この問題を検討する。そして