2026년 10월 27일
알리 베흐루즈, 수석 연구 과학자, 그리고 바하브 미르로크니, 부사장 겸 Google 펠로우, Google 리서치
우리는 지속 학습에 수면 단계를 도입하여, 대규모 언어 모델이 새로운 사실을 지속적으로 통합하고 추론 능력을 향상시키는 동시에, 재앙적 망각이나 정적인 지식 단절을 완화할 수 있도록 합니다.
현대의 대규모 언어 모델(LLM)은 사전 학습과 문맥 내 학습(ICL)을 통해 인상적인 성능을 달성합니다. 그러나 배포된 이후에는 대부분 고정된 상태로 유지되며, 지식의 최신 기준일이 정해져 있어 장기적 역량을 습득하거나 새로운 정보에 적응하는 데 한계가 있습니다.
새로운 데이터로 모델을 업데이트하는 것이 당연한 해결책처럼 보이지만, 지속적인 파라미터 업데이트는 종종 치명적인 망각을 유발합니다. 이는 새로운 작업을 학습할 때 기존에 학습한 작업의 성능이 심각하게 저하되는 근본적인 문제입니다. 한편, ICL에만 의존하면 지식 유지가 즉각적인 컨텍스트 창에 국한됩니다. 컨텍스트 세션이 종료되면 습득한 단기 정보는 사라지게 됩니다.
인간의 뇌가 휴식 중에 기억을 처리하고 안정화하는 방식에서 영감을 받아, 우리는 지속 학습에서 수면 프레임워크를 도입합니다. 이는 대규모 언어 모델(LLM)에 지속적이고 주기적인 수명 주기를 부여하여, 모델이 지속적으로 학습하고 취약한 단기적 맥락을 안정적인 장기 파라미터로 통합할 수 있도록 하는 학습 패러다임입니다. 이러한 프레임워크를 통해, 능동적 상호작용과 오프라인 메모리 통합을 번갈아 수행함으로써 LLM이 새로운 사실을 지속적으로 습득하고, 최대 1,000만 토큰 규모의 장기적 맥락 지식을 유지하며, 복잡한 추론 능력을 향상시킬 수 있음을 보여줍니다.
기계 학습 재고하기: 활성(깨어 있는) 단계 대 수면 단계
전통적인 기계 학습은 학습과 추론 간의 엄격한 구분에 의존합니다. 지속 학습 프레임워크에서는 이러한 구분이 인위적으로 만들어지며, 지능형 에이전트는 끊임없이 학습하고 적응하며 정보를 처리해야 합니다.
수면 패러다임 하에서는 LLM이 두 가지 주요 상태에서 작동합니다:
활성(깨어 있는) 단계: 모델은 입력을 적극적으로 수신하고 처리하며 상호작용하면서, 빠른 속도의 단기 기억 구성 요소에 임시 정보를 저장합니다.
수면 단계: 모델은 새로운 입력 처리를 일시 중지하고, 내부 계산을 기억의 통합과 자기 개선으로 전환합니다.
“수면”, “꿈꾸기”, “자기계발”과 같은 용어들이 신경과학에서 차용되기는 하지만, 우리의 프레임워크는 전적으로 고정된 모델 아키텍처와 인간이 정의한 학습 규칙 내에서만 작동합니다. 오프라인 수면 단계에서는 모델이 사전 할당된 혼합형 전문가(MoE) 메모리 블록을 해제하고, 자체 생성된 연습 예제를 활용해 수치적 가중치를 업데이트합니다. 이러한 자동화된 사후 학습 주기는 배포된 모델이 새로운 사실을 습득하고 추론 정확도를 향상시키는 데 도움을 주면서도, 핵심 코드베이스와 설계는 그대로 유지합니다.
수면 과정의 주요 구성 요소
수면 패러다임은 기억 강화와 꿈의 두 단계를 통해 파국적 망각과 지속적 적응을 해결합니다.
1. 기억 통합
인간의 뇌에서는 비급속 안구운동(NREM) 수면의 서파수면이 추상화와 정제 과정을 통해 취약한 기억을 장기적 구조로 통합합니다. 저희가 제안하는 수면 프레임워크는 두 가지 핵심 기술 메커니즘을 통해 이러한 자연 현상을 모사합니다:
매개변수 확장 및 연속체 기억 계층 구조: 재앙적 망각을 방지하기 위해, 모델은 수면 중에 자신의 처리 능력을 동적으로 조정합니다. 전문가 혼합(MoE)과 Hope 아키텍처를 활용하여, 새로 활성화된 저랭크 전문가들이 안정적인 저주파 기억 블록에 통합되어 기존 매개변수를 방해하지 않으면서 들어오는 지식을 저장합니다.
지식 시드링(상향 증류): 고주파층에 저장된 취약한 단기 기억(예: 인컨텍스트 메모리)이 새로 확장된 장기 매개변수로 전달된다. 이는 일반화된 지식 증류(GKD)와 강화학습(RL) 기반 모방 학습을 결합하여 달성된다. 온폴리시 증류에서는, 확장된 학생 모델이 자체 샘플링된 시퀀스를 기반으로 생성된 교사 분포로부터 토큰별 피드백을 학습한다. 모방 학습(LTI)에서는, 학생 모델이 교사가 생성한 텍스트의 접두사를 완성할 때 의미적 및 절대 유사도(레븐슈타인 거리)를 기준으로 보상을 받는다.
시냅스 가위질: 저주파 모듈로의 기억 통합이 완료되면, 고주파의 임시 파라미터가 초기화되어 향후 활성 세션을 위한 여유 공간이 확보됩니다.
우리 수면 프레임워크의 개요: 활성 단계에서 들어오는 입력 스트림은 수면 주기에 진입하기 전에 단기 기억에 저장되며, 이는 통합(저랭크 구조와 MoE를 활용해 취약한 단기 토큰을 확장된 장기 매개변수 기억으로 전환하는 과정)과 꿈꾸기(랜덤 전문가와 RL 정제를 통한 합성 라우팅을 통해 자율적으로 자기 발전을 이루는 과정)로 분기됩니다.
2. 자기 계발을 위한 꿈꾸기
렘 수면 중에 인간의 뇌는 적극적으로 시나리오를 시뮬레이션하고, 정서적·의미적 연결을 강화하며, 새로운 신경 경로를 탐색합니다. 이와 유사하게, “꿈 꾸는 단계” 동안 수면 프레임워크는 자율적인 자기 개선 루프를 구현합니다:
무작위 전문가 선택: 합성 데이터 생성 과정에서 MoE 라우터는 비표준 전문가를 무작위로 활성화합니다. 이를 통해 모델은 서로 다른 지식 영역을 혼합하고 숨은 패턴을 발견하도록 유도됩니다.
큐레이티드 리허설: 모델은 합성 훈련 샘플(“드림”)을 생성하고, 기울기 기반 데이터 선택을 통해 전체 모델 성능을 높일 가능성이 가장 높은 샘플을 우선적으로 선정하도록 필터링합니다.
RL 정제: 모델은 최고 평가를 받은 드림 샘플을 대상으로 지도 학습을 통해 미세 조정을 수행하고, 생성 결과가 하위 작업에서의 성능을 향상시키는지 평가합니다.
이론적 기초
경험적 결과를 넘어, 우리의 수면 패러다임은 두 단계(기억 통합과 꿈)가 새로운 지식을 기존의 능력과 단순히 맞바꾸는 것이 아니라 지속적인 학습을 지원할 수 있는 이유를 명확히 하는 이론에 기반하고 있습니다.
기억 통합 측면에서 분석에 따르면, 지식 시드는 구조화된 저랭크 압축 문제로 이해될 수 있다. 모델은 단기 기억의 모든 세부 사항을 매개변수에 그대로 복사하도록 요구되지 않는다. 대신, 모델 자체의 온폴리시 행동과 학습 목표가 부여하는 의미적 특성을 가장 잘 보존하는 컴팩트한 방향 집합을 식별한다.
이 관점은 두 신호의 상호 보완적 역할을 설명합니다. 온폴리시 증류는 학습 과정에서 교사가 생성한 분포만을 기반으로 학습할 때 발생할 수 있는 불일치를 줄이기 위해, 모델이 추론 시 실제로 생성할 경로와 정합성을 맞춥니다. 한편, 의미 기반 보상은 단순히 토큰 확률을 일치시키는 데 그치지 않고, 의미와 작업 관련 행동을 유지하는 방향을 우선시함으로써 무엇을 보존할 가치가 있는지 결정합니다. 이후 매개변수 확장은 이러한 선택된 기억을 기존에 축적된 지식을 덮어쓰지 않으면서 저장할 수 있는 충분한 용량을 제공합니다.
꿈을 꾸는 과정에서, 이 이론은 무작위 전문가 활성화와 보상 기반 샘플 선택을 학습의 기하학적 구조를 개선하는 메커니즘으로 설명한다. 서로 다른 MoE 모델을 주입하면 합성 생성 과정에서 탐색되는 경사 방향의 집합이 확장되어, 모델이 평소 각성 상태의 데이터만으로 유도되는 업데이트보다 훨씬 더 풍부한 업데이트 집합에 노출된다. 이후 경사 기반 필터링을 통해 가장 유용한 학습 신호를 담고 있는 합성 경험들이 강조되며, 이를 통해 정보성이 높은 방향이 강화되는 동시에 기본적인 경사 공간의 구조는 유지된다.
이러한 단계들을 종합하면 보다 균형 잡힌 최적화 지형을 얻을 수 있습니다. 학습 과정에서 소수의 방향에 의해 지배되는 현상이 줄어들고, 기울기가 더 잘 정규화되며, 모델은 자신의 능력을 다듬는 과정에서 보다 안정적인 진전을 이룰 수 있습니다. 이러한 관점에서, 드림링은 단순히 자체 생성된 데이터 증강에 그치는 것이 아니라, 모델이 스스로를 개선해 나가는 과정에서 이루어지는 업데이트를 다양화하고 선별하며 통합하는 의도적인 프로세스입니다.
주요 평가 축을 기준으로, 클래스 증강 학습, 지속적 번역, 최대 1,000만 토큰 규모의 장문 컨텍스트 확장, 사실적 지식 통합, 수학적 추론 등에서 우리의 수면 프레임워크가 기준 접근법(예: 인컨텍스트 학습 및 감독형 파인튜닝)에 비해 보여주는 비교 성능.
보이지 않는 언어들, 예를 들어 만주어와 칼라망어와 같은 경우에도, 수면 프레임워크는 다단계 평가에서 거의 제로에 가까운 성능 저하를 유지한 반면, ICL, 카트리지, 그리고 지도형 미세조정(SFT)과 같은 표준 기준점들은 순차적 학습 과정에서 심각한 재앙적 망각을 겪었다.
BABILong 벤치마크에서의 장문 컨텍스트 이해 시, 우리 연구의 수면 방법은 1,000만 토큰까지 거의 완벽한 확장성을 보여주며, GPT-4와 같은 강력한 기준 모델 및 Titans를 능가했습니다. 이는 수면 시간 동안의 통합을 통해 장문 컨텍스트 정보를 매개변수형 메모리로 직접 압축하기 때문입니다.
SQuAD에서 평가된 사실 지식 통합과 계속되는 사전 훈련(CPT)에 대해, 우리 제안한 수면 방법은 단일 작업 평가에서는 48.9%, CPT 평가에서는 46.2%의 성능을 달성하여, 기존 모델 표현을 저하시키지 않으면서 새로운 사실 정보를 성공적으로 통합함으로써 기본 모델, SFT, 그리고 자기적응 언어 모델(SEAL)을 포함한 기준선 방법들을 모두 능가했습니다.
마지막으로, AIME 24/25 및 HMMT 25를 포함한 수학적 추론 벤치마크에서, 수면을 강화한 기본 모델은 각각 79.2%, 69.0%, 46.1%의 정확도 점수를 기록했습니다. 이는 SFT, 그룹 상대 정책 최적화(GRPO), 온폴리시 자기 증류(OPSD)와 같은 기준 모델들을 능가하며, 기억 통합과 모방 학습을 결합하는 것이 탁월한 추론 성능을 가져온다는 것을 보여줍니다.
결론
우리의 수면 패러다임은 자율적이고 지속적으로 학습하는 AI 시스템으로 나아가는 길을 제시합니다. 정적인 사전 학습과 취약한 컨텍스트 창을 넘어서, 능동 학습과 오프라인 휴식을 번갈아 가며 적용함으로써 LLM은 단기 기억을 유지하고, 새로운 기술을 장기 파라미터 구조로 추상화하며, 재앙적 망각 없이 지속적으로 스스로 개선할 수 있습니다.
감사의 글
이 연구는 알리 베흐루즈(구글 및 코넬 대학교), 파르누시 하셰미(코넬 대학교), 아델 자반마르드(구글 및 서던캘리포니아 대학교), 그리고 바하브 미로크니에 의해 수행되었습니다. 우리는 이 작업을 검토해 주신 위안 덩과 코린나 코르테스의 소중한 의견에 감사드립니다. 또한 이 블로그 글을 작성하는 데 도움을 주신 마크 심보그, 킴벌리 슈베데, 그리고 팀 헤르만에게도 감사드립니다.
교육 혁신
일반 과학
기계 지능
자연어 처리
다른 관심 있는 게시물
2026년 10월 16일
AI 에이전트를 생물학적 현실에 기반시키기: 자율형 습식 실험실을 위한 기본 구성 요소
일반 과학
·
보건 및 바이오과학
·
로보틱스
2026년 10월 14일
리서치@ 2026: 인간의 독창성을 증폭하는 10가지 방법
일반 과학
·
생성형 AI
·
보건 및 바이오과학
2026년 10월 14일
Deep Review로 기술 문서 분석하기
일반 과학
·
기계 지능
·
자연어 처리