超越策略内与策略外：LLM智能体蒸馏应在何种层次上遵循学生模型？

arXiv:2610.31918v1 发布类型：新 摘要：对交互式大型语言模型代理进行知识蒸馏时，需要在教师生成的示范与学生生成的经验之间做出选择，这大致对应于离策略蒸馏与在线策略蒸馏。尽管两者都被证明是有效的，但我们认为这种区分本质上具有层次性：引发交互历史的策略未必与生成当前动作所用标记前缀的策略相同。我们提出了一种分层代理蒸馏框架，将这两种层次的在线策略性加以形式化，并允许对其配对方式、混合比例以及训练计划进行显式控制。我们通过自蒸馏来研究这一问题，在自蒸馏中，冻结的教师能够获得学生无法获取的任务指导，而