摘要：Anthropic 最近的一项研究提出了一种新的可解释性工具，称为雅可比透镜（J-lens，Gurnee 等人，2026）。该方法在前沿语言模型的隐藏状态中识别出一些线性方向，这些方向表现出类似工作记忆表征的特性。然而，尚不清楚究竟是哪些机制特性使这类特征能够被 J-lens 检测到。为此，我们提出了 J-lens 的数学理论，并证明它倾向于识别相干特征——即那些类似于主导、在空间上具有连贯性的李雅普诺夫模态的方向。沿着这些方向施加的微小扰动会在各层之间不断放大，在各个标记位置上大致保持不变，并且在不同上下文中也具有一致性。尽管我们并不确定这些特性是否必然与“全局工作空间”相关联，但 J-lens 从理论上推导出的偏好却能够很好地解释先前针对两类模型所开展的实证研究。我们在一个贝叶斯滤波器和一个玩具级 Transformer 上验证了我们的分析，二者均能最优地预测由隐马尔可夫模型（HMM）生成的下一个标记。我们还展示了如何通过调节任务参数来改变贝叶斯滤波器中特征的相干性，从而相应地、且具有预测性地调控 J-lens 的响应。此外，我们还提出了一族 J-lens，用于突出 LLM 中信息处理的不同时间尺度，我们将其称为 ω-J-lens。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。