AI 自动翻译
简而言之：模型能够在上下文中运用新知识，却在会话结束的瞬间将其遗忘，因此，持续学习的关键在于如何决定经验应如何改变模型，以及由谁来做出这一决策。SEAL将部分任务交由模型自身完成：它自动生成自我修正，并加以应用，同时通过强化学习评估更新后模型的改进程度，在某一知识场景下的问答准确率由此从32.7%提升至47.0%，而仅基于原始文本进行训练时的准确率为33.5%。
我们从上下文、外部记忆和参数更新等多个维度，将记忆与学习加以区分；探讨为何一个训练样本实际上是一种关于计算的抉择，并分析LoRA能够解决与无法解决的问题。随后，我们转向嵌套式学习与“泰坦”方法，它们将适应过程扩展到不同的时间尺度，讨论每一位持续学习者都必须应对的灾难性遗忘问题，以及哪些证据能够表明一个系统在“变得更好”的过程中确实在不断进步。
想象一下，你正在教一位代码助手使用一项新的 API。在对话过程中，它能够正确地引用相关文档。然而，当你开启一个新的会话、不再提供那份文档时，之前的教学内容可能会不复存在。这个助手在特定上下文中表现出了一定的能力，但其底层模型未必真正习得了这种能力。对于一个本应通过经验不断改进的系统而言，这种差异是根本性的。
下一个问题是谁来决定一种经验应当如何改变模型。研究人员通常会自行设计这一过程。像SEAL这样的研究让模型在构建自身更新的过程中扮演了角色，而Nested Learning则探讨了适应性如何在不同时间尺度上发挥作用。二者共同为我们提供了思考持续学习及其使其产生益处的调控机制的有益视角。
记忆与学习是不同的操作
阅读更多