LLM 신뢰도 검출을 위한 표현 서명의 적응적 전이

arXiv:2610.33442v1 발표 유형: 신규

요약: 대규모 언어 모델(LLM)은 환각 현상과 추론 오류를 포함한 신뢰성 문제에 취약한 것으로 보고되고 있습니다. 기존의 품질 검출기는 내부 표현을 기반으로 신뢰할 수 없는 출력을 비교적 높은 정확도로 예측할 수 있습니다. 그러나 이러한 검출기를 학습시키기 위해서는 종종 도메인별로 많은 양의 주석이 달린 데이터가 필요하며, 이는 새로운 도메인에 대한 적용 가능성을 제한합니다. 우리는 관련 도메인 간에 표현 서명을 전이함으로써 이 문제를 해결하고자 합니다. 구체적으로, 먼저 각 도메인에 대해 저차원 서명을 추출한 다음, 교차 적합을 통해 도메인 특화형 예측기의 구성 가중치를 학습하는 통계적 프레임워크를 구축합니다. 이 가중치는 각 출처 도메인의 예측적 관련성이 목표 도메인에 어떻게 작용하는지에 따라 자동으로 조정됩니다. 최소제곱법의 유사형에 대한 우리의 점근적 분석은 도메인 간 차이와 표현 편향을 바탕으로 한계적인 예측 위험 및 집합 가중치를 규명합니다. 여러 환각 데이터셋과 개방형 가중치를 갖춘 LLM을 대상으로 한 실험 결과, 새로운 도메인에서 단 25개의 주석된 질문만을 사용해도 적응형 전이를 통해 환각 탐지 AUROC 지수가 6.8% 향상되며, 추론 단계 예측에서는 AUROC 지수가 8.4% 개선됨을 확인했습니다.