TLDR：モデルは文脈の中で新たな知識を活用できても、セッションが終了した瞬間にそれを失ってしまうため、持続的な学習には、経験がモデルをどのように変化させるべきかを判断し、その判断を誰が下すかという点が重要です。SEALはその一端をモデル自身に委ねます。モデルは自ら自己編集を生成し、それを適用した上で、更新後のモデルがどれだけ改善したかを強化学習によって評価・学習します。その結果、ある知識設定における質問応答の精度は、生の文章を用いた学習では33.5%だったのに対し、SEALによる手法では32.7%から47.0%へと向上しました。
私たちは、コンテキスト間、外部メモリ、パラメータの更新という観点から、記憶と学習を区別し、訓練例が実際には計算上の選択である理由、そしてLoRAが解決するものと解決しないものを検討します。その後、適応を異なる時間スケールに分散させるネストド・ラーニングとタイタンズ、持続的な学習者が必ず対処しなければならないカタストロフィック・フォーゲッティング問題、さらに、システムが「より良くなるためにより良くなる」能力を向上させていることを示す証拠について考察します。
コーディングアシスタントに新しいAPIを教えると想像してみてください。会話の最中には、ドキュメントを正しく活用しています。しかし、そのドキュメントなしで新たなセッションを開くと、学習内容が消えてしまうかもしれません。アシスタントは文脈の中で能力を示しましたが、根本的なモデル自体がそれを獲得したわけではないのです。経験を通じて改善が期待されるシステムにとって、この違いは本質的です。
次の問いは、体験がモデルをどのように変化させるべきかを誰が決定するのか、というものです。研究者は通常、そのプロセスを自ら設計します。SEALのような研究では、モデル自身が自らの更新を構築する役割を担い、一方で Nested Learning では、適応が異なる時間スケールにわたってどのように機能し得るかが検討されています。これらは合わせて、持続的な学習と、それを有益なものにするための制御メカニズムについて考えるうえで有用な視点を提供します。
記憶と学習は異なる処理です
続きを読む