‘Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models’라는 제목의 연구는 2026년 10월 24일에 arXiv(번호 2610.30676v1)에 게재되었으며, 트랜스포머 모델의 전방향층에서 up_proj와 down_proj 매트릭스의 특이값 스펙트럼 구조에 주목하여, 이들이 대규모 언어 모델의 하위 단계 행동에 미치는 인과적 영향을 탐구한다.
연구에서는 두 가지 유형의 후처리 간섭을 제안한다: 양성 교란(spiking)은 특이값들이 기하평균에서 벗어나는 정도를 확장하여 최대값을 증폭하고 최소값을 압축하며, 음성 교란(smoothing)은 이와 반대로 작용한다. 두 가지 조작 모두 특이벡터는 변하지 않으며, 특이값들의 기하평균도 일정하게 유지된다.
실험은 다섯 가지 오픈소스 Llama 및 Qwen 지침微調 모델을 대상으로 하며, 능력 표시 하위 작업, 표준 및 사고 체인 추론 벤치마크, 인간 평가를 통한 진실성·환각·안전성 과제, 그리고 TRAIT 성격 탐지 프로브 등 다차원적 평가에서 방해 효과를 검증하고, 응답 변화를 ‘사실 지식—언어 이해—연역 추론’의 3차원 능력 기반으로 매핑하여 해석한다.
결과는 능력 변화가 무작위성이 아니라 구조적임을 보여준다: 대규모의 긍정적 교란은 언어 이해와 연역 추론 성능을 전반적으로 저하시키며, 적당한 수준의 부정적 교란은 일부 평가 지표에서 사실성 또는 국부적 과제 성능을 향상시킬 수 있다. 또한, 민감성은 모델 계열, 평가 모듈 유형 및 각 층 간 스펙트럼 불균형의 정도에 따라 크게 달라진다. 본 연구는 스펙트럼 교란을 경량적이고 해석 가능한 능력 조직 탐지 도구로 규명하였다.