2026년 10월 24일, ‘Delta N-gram: 언어 모델의 네이티브 N-gram 메모리에 대한 순방향 전용 지속적 쓰기’라는 제목의 연구 논문이 arXiv 플랫폼에 게재되었으며(논문 번호: arXiv:2610.31125v1), Delta N-gram 방법을 제안하여 언어 모델의 원래 해시 N-gram 테이블에 대해 안전하고 효율적이며 가역적인 지속적 쓰기를 구현하는 것을 목표로 한다.
이 방법은 사전훈련된 테이블 T⁰을 엄격히 보호하여 변경하지 않으며, 모든 새로운 지식은 희소 패치 Δ의 형태로 해당 행에 기록된다. 4.1M 파라미터 규모의 라이터 모듈은 오프라인 단계에서 사전훈련 목표에 따라 학습되며, 운용 시에는 전방향 전파만 필요하고 Δ를 제거하면 원래 모델을 완전히 복원할 수 있다. 0.6B 규모의 프로토타입에서, 델타 N-gram은 이차적 기록 후에도 여전히 16/16의 사실성을 유지하며, 온라인 그라디언트 기록 방식의 2–4/16보다 현저히 우수하다.
연구에서는 두 가지 작성기, 즉 T⁰에만 의존하는 플레인 라이터와 인코딩 시 현재 메모리를 읽는 델타 라이터를 비교하였다. Qwen3.8-Flash-Next에서 수행된 실험 결과, 델타 라이터의 기억은 문서 특이성이 더 높아 16편의 간섭 문서의 영향을 받은 후에도 유지율(70%)이 플레인 라이터(54%)보다 높았다. 또한 35,000회에 걸친 일곱 가지 작업 체인 쓰기 시험에서 델타 라이터는 레이어 2 수학 작업의 드리프트가 더 낮았으며(176% 대 188%), 정확도 감소도 더 적었다(-0.26pp 대 -0.52pp), 그리고 소-k_i 드리프트(17.9%/17.5%)는 그라디언트 업데이트(39.2%)에 비해 훨씬 낮았다. 아울러 연구에 따르면 형식 관련 행들은 심각한 드리프트를 유발할 수 있으며(예측 학습 범위의 4~12배까지 증가), 이들 중 8개 행을 제로화하면 레이어 2 수학 드리프트의 98% 이상과 그에 따른 NLL 증가를 거의 완전히 제거할 수 있다.