上下文或知识：大型语言模型如何为其自身答案归因

arXiv：2610.32109v1 发布类型：新 摘要：语言模型能够根据给定的文档或其参数化知识回答问题。然而，当后续被问及答案的来源时，究竟是什么决定了它们的来源报告？我们通过在答案生成之后、源问题提出之前对模型的关键值（KV）缓存进行干预来研究这一问题。在一项受控的事实性任务中，针对四款模型（7B—32B），无论改变还是移除文档的缓存，都不会影响其来源报告。相比之下，在两次运行之间移植问答（Q+A）缓存——且前后两次的问答标记完全相同——则会实现报告的转移：所有符合条件的报告都会沿用捐赠方的来源，而接收方的文档本身保持不变。在两款较小的模型上，沿着事先为任何源问题所拟合的方向引导问答值……