저랭크 다중선형 분해를 통한 LLM 환각 탐지

arXiv:2610.36191v1 발표 유형: 신규

요약: 대규모 언어 모델(LLM)은 종종 유창하지만 사실과 부합하지 않는 응답을 생성하여 그 신뢰성에 대한 우려를 불러일으킵니다. 최근의 환각 탐지기들은 점점 더 내부 표현을 활용하고 있지만, 고차원의 숨은 상태에서 유의미한 신호를 추출하는 것은 여전히 어려운 과제입니다. 기존 접근법들은 종종 선택된 활성화 값이나 풀링 기반 압축에 의존하기 때문에, 트랜스포머 계층, 특징 모드 및 토큰 전반에 걸쳐 분산된 판별적 정보를 놓칠 수 있습니다. 우리는 환각 탐지를 위한 다중선형 저랭크 분해 프레임워크인 LOTUS(Low-rank Order-statistic TUcker-based Subspace learning)를 제안합니다. 이는 라벨링된 데이터에 대한 의존도를 낮추면서 LLM의 숨은 상태로부터 간결한 표현을 추출합니다. 본 연구에서는 먼저 피크 활성화, 활성화 분포 및 계층 간 변화를 포착하는 상보적인 통계적 서술자를 사용하여 가변 길이의 토큰 표현을 요약합니다. 이후 저랭크 다중선형 분해를 통해 LLM 숨은 상태의 근본 구조를 포착하는 간결한 표현을 추출하고, 이를 바탕으로 경량화된 환각 분류기를 학습합니다. 여러 LLM과 질문-답변 벤치마크에서 수행된 실험 결과, 최신 최첨단 기준보다 개선된 환각 탐지 성능을 보여줍니다.