2026년 10월 24일, ‘Verbalizing Activation Differences with Natural Language Autoencoders’라는 제목의 논문이 arXiv 플랫폼에 게재되었으며(논문 번호: arXiv:2610.30934v1), 자연어 자동부호화기(NLAs)가 대규모 언어 모델 내부 활성 상태를 인간이 이해할 수 있는 형태로 변환하는 표현 능력에 초점을 맞추고 있다. NLAs는 자연어 병목을 통해 모델의 활성 상태를 재구성함으로써 고차원 벡터를 인간이 이해할 수 있는 텍스트 설명으로 변환한다.
연구는 네 가지 핵심 질문을 중심으로 실증적 분석을 수행하였다: NLA가 생성한 설명이 입력의 조합성을 갖는지, 원래 모델의 미세조정 버전으로 일반화 가능한지, 모델 차분(model diffing) 과정에서 미세조정 목표를 복원할 수 있는지, 그리고 차분 작업에 특화되어 최적화될 수 있는지 여부이다. 실험은 서로 다른 네 가지 아키텍처의 대형 언어 모델을 포괄하며, 결과는 전반적으로 긍정적인 결론을 뒷받침한다. 예컨대, 유사성 추론 임무에서 활성화된 조합을 살펴보면, NLA 설명은 주로 목표 단어를 지칭하는 반면, 빼야 할 단어에 대한 언급은 거의 없다. 또한 동일한 NLA는 경량형 미세조정 모델에도 그대로 적용 가능하며, 오직 최대 규모의 모델에서만 재구성 품질의 뚜렷한 저하가 관찰되었다.
모델 차분 시나리오에서 NLA는 ‘금기 모델 생물’(Taboo model organisms)과 원본 모델 간의 활성화 차이를 언어로 표현하여, 대부분의 사례에서 숨겨진 키워드를 성공적으로 복원했습니다. 또한 강화학습을 도입함으로써 미처 보지 못한 생물에 대한 키워드 복원 성능을 한층 더 향상시켰습니다. 주목할 점은, NLA가 미세조정된 모델에 의존해 어떠한 출력 토큰도 생성하지 않고도 프롬프트 앞의 핵심 토큰 위치를 식별하고 미세조정 목표를 복원할 수 있다는 것입니다. 비록 아직 새로운 형태의 오류 정렬 감지(emergent misalignment detection) 과제에서는 현존 최고의 차분 방법을 능가하지는 못했지만, 블랙박스 기반 베이스라인보다는 이미 상당히 우수한 성능을 보여줍니다.