TaxoSAE：通过分类逻辑重新思考稀疏自编码器

arXiv:2610.31894v1 发布类型：新 摘要：近期的稀疏自编码器（SAE）能够将大型语言模型（LLM）的表示分解为可解释的特征，从而实现对编码知识的精确读取与控制。然而，现有的SAE将每个特征视为独立单元，而现实世界中的知识往往具有层级化的分类结构。因此，这种读取方式无法保证分类学上的一致性，控制也缺乏足够的粒度来明确指定编辑的范围。我们提出了TaxoSAE，该方法在SAE的特征空间中显式地编码了分类学信息，基于“is-a”（超类—子类）关系构建。TaxoSAE通过堆叠多个SAE来模拟一个分类体系，每一层对应一个分类层级，并引入了一种分类对齐损失，使每个概念在被激活时都能保持其所属层级的语义一致性。