TaxoSAE: 분류학적 논리를 통한 희소 자동부호화기의 재고찰

arXiv:2610.31894v1 발표 유형: 신규 초록: 최근의 희소 자동부호화기(SAE)는 대규모 언어 모델(LLM)의 표현을 해석 가능한 특징으로 분해하여, 인코딩된 지식을 정밀하게 읽어내고 제어할 수 있게 합니다. 그러나 기존의 SAE는 각 특징을 독립적인 단위로 취급하는 반면, 실제 세계의 지식은 종종 계층적으로 조직되어 있습니다. 그 결과, 읽어내기에서는 계층적 일관성이 보장되지 않으며, 제어 또한 편집의 범위를 구체적으로 지정할 수 있는 세분성 부족이라는 한계가 존재합니다. 이에 우리는 계층적 정보를 명시적으로 인코딩하는 TaxoSAE를 제안합니다. TaxoSAE는 is-a(상위-하위 관계)를 기반으로 한 계층 구조를 SAE의 특징 공간에 내재화하며, 각 계층 수준마다 하나의 SAE를 배치한 스택 형태로 타이포노미를 모사합니다. 또한, TaxoSAE는 각 개념이 활성화될 때마다 해당 계층에 맞는 적절한 특징을 선택하도록 학습시키는 타이포노믹 정렬 손실을 도입합니다.