TaxoSAE：分類学的論理によるスパースオートエンコーダの再考

arXiv:2610.31894v1 発表タイプ：新規 要旨：近年のスパースオートエンコーダー（SAE）は、大規模言語モデル（LLM）の表現を解釈可能な特徴量に分解し、符号化された知識の精密な読み出しと制御を可能にしています。しかし、既存のSAEは各特徴量を独立した単位として扱う一方で、現実世界の知識はしばしば階層的に分類されています。その結果、読み出しには分類上の整合性が保証されず、制御においても編集の適用範囲を細かく指定する粒度が欠けています。そこで私たちは、is-a（上位語―下位語）関係に基づいて分類情報を明示的にSAEの特徴空間に符号化するTaxoSAEを提案します。TaxoSAEは、分類体系を模倣して各階層に対応するSAEを積み重ねる構造を採用し、各概念が対象となる階層に存在する場合にのみ活性化されるよう学習させるための分類整列損失を導入しています。