접두사 키와 값의 중요성 늦게 부각: 루프형 언어 모델에서 자기-추론적 디코딩을 위한 RIPE 캐싱

arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시에는 각 반복 레이어마다 $R$개의 평면이 저장된다. 또한 자기-사려 깊은 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 전체로 검증하는 방식)에서는 이 모든 평면을 읽는다. 우리는 접두사 키와 값이 후반부에서 특히 중요하다는 점을 발견했다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 각각 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달한다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라진다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별할 수 없으며, Huginn에서는 위치의 1%가 전체 오차의 74%를 차지한다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은