跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

研究揭示激活干预在工具使用模型中难以实现条件复用

该论文于2026年10月26日发布于arXiv(编号2610.31686),基于Qwen3.5-27B模型,在依赖时间或权限判定资格的工具使用任务中,系统审计了激活干预对‘条件复用’能力的影响。实验显示:干预虽显著提升目标选择准确率,但在事实与标识符重组场景下泛化失效,且无法改善对候选者资格的独立判断。

一篇于2026年10月26日发布在arXiv平台(论文编号2610.31686)的研究《From Target Selection to Condition Reuse: Auditing Residual Interventions in Tool-Use Models》聚焦大语言模型在工具使用场景中的条件复用能力。研究以Qwen3.5-27B模型为对象,在32个全新构建的‘世界’(fresh worlds)中开展实验,任务设定要求模型依据时间或权限等条件判断工具调用资格与目标选择。

结果显示:两种案例特化的残差写入(residual-writing)干预方法,将熟悉目标的选择准确率分别从35/128提升至119/128、33/128提升至114/128;但当任务中对已知事实与标识符进行重组时,这些提升完全消失,而模型反而更倾向选择此前被奖励过的标识符。此外,尽管干预效果在不同输出格式下保持稳定,却几乎未提升模型对‘某候选是否具备资格’或‘是否应被选中’的独立判断能力。

进一步分析发现:在预设的次级比较任务中,早期层源补丁(early-layer source patch)能在源事实被调用时改变50/64个判断结果,但在源未被调用的64例中仅引发1次不良变化——这种选择性影响并不等同于完整动作的正确执行。研究由此强调,评估干预效果不应止步于‘能否输出目标答案’,而需考察编辑后的模型状态如何被实际用于各类下游计算,从而暴露目标选择、条件判断与动作执行三者之间的本质分离。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态