2026년 10월 24일, “Mostly Reading: What Open-Book Scores Measure in Document-Level LoRA Adapters”라는 제목의 arXiv 사전인쇄본(번호 2610.31017v1)이 발표되어, 현재 단일 문서 기반 LoRA 어댑터를 활용한 지식 편집 및 검색 패러다임에 대해 핵심적인 의문을 제기했다. 연구에서는 Llama-3.1-8B-Instruct 모델을 기반으로 위키백과 문서 150편 각각에 대해 전용 LoRA 어댑터(즉, ‘전문가 어댑터’)를 학습시켰으며, ‘독서 행동’과 ‘지식 유지’를 분리하기 위해 문서 텍스트가 명시적으로 제공되는 오픈북 점수 평가와 원본 텍스트가 제공되지 않는 클로즈형 추론 프로브 두 가지 평가 방식을 설계하였다.
결과는 다음과 같다: 오픈북 점수는 주로 일반적인 독해 능력을 반영하며, 다른 문서에서 학습된 무작위 어댑터가 전문가용 어댑터가 기반 모델에 비해 가지는 오픈북의 우위 중 82%를 복원할 수 있다. 그러나 동일한 문서의 사실 관련 완성형 채우기 과제에서는 해당 무작위 어댑터가 단 2%의 우위만을 회복할 뿐이며, 이 값은 통계적으로 영과 구별되지 않는다. 이는 오픈북 설정 하에서 성능 향상이 거의 전적으로 모델이 제시된 텍스트를 즉각적으로 처리하는 데서 비롯되며, 어댑터 가중치에 저장된 특정 지식에 의한 것이 아님을 보여준다.
전문가 어댑터는 완성형 채우기 과제에서 기초 모델보다 절대적으로 +0.094의 유의한 성과 향상을 보여, 내용 정보가 실제로 가중치에 반영되었음을 확인했지만, 가중치 공간상의 거리나 텍스트 임베딩 유사성을 기반으로 한 어댑터 선택 전략은 두 가지 유형의 과제 모두에서 무작위 선택보다 통계적으로 유의하게 우수한 성과를 나타내지 않았다. 또한 16개 이상의 어댑터를 결합할 경우, 적절히 스케일링된 융합 방식은 오픈북 과제에서는 87–89%의 성과를 회복했으나, 완성형 채우기 과제에서는 겨우 12–16%만을 회복했으며(신뢰구간 하한이 영 아래, 상한이 32%를 넘지 않음), 반면 연합 학습은 완성형 채우기 과제에서 94%의 성과를 달성해, 분리형 어댑터가 지식 고착화에 있어 여전히 한계를 드러내고 있음을 더욱 분명히 보여준다.
논문은 또한 네 건의 ‘침묵 오류’(silent errors)를 특히 지적했다. 이들 오류는 런타임 예외를 발생시키지 않고 출력 형식은 완전히 정상이지만, 잘못된 결론을 초래한다—이러한 세부 사항은 해당 분야에서 방법 구현과 결과 검증의 취약성을 경고한다. 모든 결론은 이 사전인쇄본에 수록된 실험에 기반하며, 아직 동료 심사 과정을 거치지 않았다.