RSI-Opt：用于模型训练的递归自我改进优化代理

arXiv：2610.32026v1 发布类型：新 摘要：传统的神经网络训练通常遵循预先设定的优化方案，为此我们设计了一种LLM智能体，它能够监测训练过程中的动态变化，并在训练推进过程中适时调整优化器的参数设置。然而，固定不变的智能体策略无法在多次运行之间积累经验。我们提出了RSI-Opt，一种即插即用的递归自我改进优化器智能体，它能够不断演化指导这一过程的知识体系：包括一个提示模板、一套操作规程、一个经过验证的优化器代码库，以及一套决策节奏。一个元智能体基于先前运行中获得的证据来重写这一策略，同时通过存档机制保留已评估过的策略，以便进一步演化。在三项训练任务上历经五代迭代后，这些元智能体逐步形成了可复用的操作流程与代码，并自主开展其自身的…