arXiv:2610.33008v1 발표 유형: 신규
초록: 확산형 대규모 언어 모델(dLLM)은 반복적인 마스크 기반 노이즈 제거를 통해 유연한 생성을 가능하게 하지만, 노이즈 제거 단계마다 토큰 표현을 여러 번 재계산해야 하므로 추론 비용이 상당히 높아집니다. 기존의 캐시 기반 방법들은 노이즈 제거 단계 간에 중간 결과를 재사용하고, 각 단계에서 고정된 일정이나 변화를 나타내는 휴리스틱 신호에 따라 선택된 일부 위치만 다시 계산함으로써 이 비용을 절감합니다. 반면, 우리의 궤적 실험에서는 해독 궤적이 더 중요한 지표임을 보여줍니다. 캐시를 활용한 생성은 전체 노이즈 제거 궤적에 가까울 때 정확도가 유지되며, 오차는 주로 마스크 순서의 변동에 집중되고, 긴 참조 접두사가 복구될수록 감소합니다. 이는 보다 직접적인 원리를 시사합니다: 표현 오차를 제한하는 것도 도움이 되지만, 생성을 전체 노이즈 제거 궤적 위에 유지하는 것이 정확한 해독으로 이어지는 보다 직접적인 경로입니다. 따라서 우리는 효율적인 dLLM 추론을 궤적 기반 쿼리로 공식화합니다. 표현 오차를 광범위하게 수정하는 대신, 전체 노이즈 제거 궤적을 이용해 미해결 상태인 어떤 위치에 대해 제한된 신규 계산을 수행할지를 지도합니다. 이러한 공식화를 바탕으로, 우리는 TRACEQUERY를 제안합니다. TRACEQUERY는 가벼운 스파스 해독 프레임워크로서, 가까운 미래의 궤적과 관련된 소수의 위치를 예측하고 해당 후보들에 대해서만 쿼리를 수행한 뒤, 백본 모델이 그 신규 예측 중에서 어느 하나를 최종적으로 선택하도록 합니다. TRACEQUERY는 캐시 기반 접근법들 가운데 가장 우수한 품질-계산량 트레이드오프를 제공하며, 신규 토큰 계산 횟수를 크게 줄이면서도 높은 정확도를 유지하고, 다양한 작업, 모델 변종 및 모델 계열에 걸쳐 일반화됩니다. 코드: https://github.com/fish1928/tracequery.git