저랭크 다중선형 분해를 통한 LLM 환각 탐지

arXiv:2610.36191v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 흔히 유창하지만 사실과는 맞지 않는 응답을 생성하여 그 신뢰성에 대한 우려를 불러일으킵니다. 최근의 환각 탐지기들은 점점 더 내부 표현을 활용하고 있지만, 고차원의 숨은 상태에서 유의미한 신호를 추출하는 것은 여전히 어려운 과제입니다. 기존 접근법들은 종종 선택된 활성화 값이나 풀링 기반 압축에 의존하는데, 이로 인해 트랜스포머 계층, 특징 모드 및 토큰 전반에 걸쳐 분산된 판별적 정보를 놓칠 수 있습니다. 우리는 LOTUS(Low-rank Order-statistic TUcker-based Subspace learning)를 제안합니다. 이는 환각 탐지를 위한 다중선형 저랭크 분해 프레임워크로서, LLM의 숨은 상태로부터 컴팩트한 표현을 추출하면서도 레이블에 대한 의존성을 줄여줍니다.