2026년 10월 24일, ‘RIFT: Complementary Compressibility Training을 활용한 초안 모델용 KV 캐시 압축’이라는 제목의 논문이 arXiv 플랫폼에 게재되었으며(논문 번호: arXiv:2610.31098v1), RIFT—추론 디코딩에서 사용되는 초안 모델을 위한 새로운 KV 캐시 압축 프레임워크—를 제안하였다.
논문은 기존의 사전 채워넣기(prefill) 정보에 기반한 KV 캐시 선택 방법이 긴 출력 생성 과정에서 ‘해독 노후화’ 현상을 쉽게 겪는다고 지적한다. 즉, 생성 토큰 수가 증가함에 따라 초기 캐시 항목의 관련성이 감소하여 초안 모델의 정확도가 떨어진다는 것이다. RIFT는 토큰 생성 과정에서 KV 캐시 선택을 동적으로 갱신함으로써 사전 채워넣기 정보와 최신 생성 내용을 균형 있게 반영하여 초안 품질을 크게 향상시키지만, 이로 인해 추가적인 해독 지연이 발생한다. 이에 대해 저자들은 평가 계산의 오버헤드를 줄이기 위해 적응형 갱신 전략을 추가로 설계하였다.
또한 이 작업에서는 ‘압축성에 기반한 초안 모델 학습’ 단계를 도입하여, 희소 주의력 마스크를 활용해 압축된 KV 캐시에 대한 모델의 적응력을 최적화합니다. Qwen3.5-4B를 초안 모델로, Qwen3.5-122B를 목표 모델로 설정한 평가에서, RIFT는 해당 학습 방법을 적용함으로써 32K 토큰 입력, 4K 토큰 출력, 그리고 단 8K 토큰의 KV 캐시 예산이라는 매우 엄격한 조건에서도 전체 캐시 수용 길이의 98% 이상을 유지할 수 있었습니다.
주의할 점: 본 연구 결과는 현재 arXiv 사전인쇄본으로, 아직 동료 심사 과정을 거치지 않았습니다. 모든 실험 결과는 논문에 제시된 설정을 기반으로 하며, 다른 모델이나 하드웨어 플랫폼에 대한 일반화 성능은 언급되지 않았습니다. 또한 본 논문에서는 추론 지연의 절대값, GPU 메모리 절감 비율 등과 같은 공학적 지표를 공개하지 않았고, RIFT가 검증자(verifier) 모델에 미치는 영향에 대해서도 설명하지 않았습니다.