文脈または知識：大規模言語モデルが自らの回答をどのように帰属させるか

arXiv:2610.32109v1 発表タイプ：新規 要旨：言語モデルは、与えられた文書または自身のパラメトリックな知識に基づいて質問に回答することができる。では、後になってその回答がどこから来たのかを問われた際、その出所報告を決定するのは何だろうか。私たちは、回答が生成された後で、出所の質問が提示される前にモデルのキーバリュー（KV）キャッシュに介入することで、この問題を検討した。4つのモデル（7B～32B）を用いた制御された事実関連タスクにおいて、文書のキャッシュを変更したり削除したりしても、出所報告には一切影響しなかった。一方で、同一の質問と回答トークンを用いた複数の実行間で質問と回答のキャッシュを移植すると、その情報が引き継がれることが明らかになった。すなわち、適格なすべての出所報告がドナー側のものを踏襲し、受容側の文書内容は変化しない。なお、規模の小さい2つのモデルでは、出所の質問が提示される前に学習された方向に沿ってQ&Aの値を操作することで…