초록: 최근 앤트로픽의 연구에서는 자코비안 렌즈(J-lens, Gurnee 외, 2026)라는 새로운 해석 가능성 도구를 도입했다. 이 방법은 최첨단 언어 모델의 은닉 상태에서 작업 기억과 유사한 표현을 연상시키는 특성을 지닌 선형 방향을 식별해냈다. 그러나 이러한 특징들이 J-lens에 의해 탐지될 수 있는 기전적 특성이 무엇인지에 대해서는 아직 명확하지 않다. 이에 따라 우리는 J-lens에 대한 수학적 이론을 제시하고, J-lens가 특히 일관성 있는 특징들—즉, 공간적으로 일관된 리아푸노프 모드와 유사하게 작용하는 방향들—을 우선적으로 식별함을 보여준다. 이러한 방향을 따라 작은 섭동이 층간에 걸쳐 증폭되며, 토큰 위치에 따라 대체로 일정하게 유지되고, 서로 다른 맥락에서도 일관성을 보인다. 비록 이러한 특성들이 반드시 ‘글로벌 워크스페이스’와 연관되어 있다고 단정하기는 어렵지만, 분석적으로 도출된 J-lens의 선호 경향은 앞선 실험적 결과들을 통해 두 가지 모델 계열에 대해 모두 적용 가능함을 입증한다. 우리는 베이즈 필터와 장난감 트랜스포머를 대상으로 본 분석을 검증하며, 각 모델이 숨은 마르코프 모델(HMM)로부터 발생하는 다음 토큰을 최적으로 예측하는지를 평가한다. 또한 우리는 LLM에서 정보 처리의 다양한 시간 스케일을 강조하도록 설계된 일련의 J-lens, 즉 ω-J-lens를 제안한다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.