컨텍스트 또는 지식: LLM이 자신의 답변을 어떻게 귀속하는가

arXiv:2610.32109v1 발표 유형: 신규 초록: 언어 모델은 제공된 문서 또는 자체의 매개변수 기반 지식을 바탕으로 질문에 답할 수 있다. 이후 해당 답변이 어디에서 나왔는지 묻는 경우, 그 출처 보고를 결정하는 요인은 무엇일까? 우리는 답변이 생성된 뒤, 출처 질문이 제기되기 전에 모델의 키-값(KV) 캐시에 개입함으로써 이를 연구한다. 네 가지 모델(7B~32B)을 대상으로 한 통제된 사실 검증 과제에서, 문서의 캐시를 변경하거나 제거해도 출처 보고에는 전혀 영향을 미치지 않았다. 반면, 동일한 질문과 답변 토큰을 사용한 두 번의 실행 사이에 질문-답변(Q+A) 캐시를 이식하면, 그 정보가 전달된다: 모든 적격한 출처 보고는 기증자의 것을 따르며, 수신자의 문서는 변하지 않는다. 두 개의 소형 모델에서는, 어떤 출처 질문보다 먼저 학습된 방향을 따라 Q+A 값을 조정하는 것이 가능했다…