추측적 확산은 두 가지 절충의 이야기입니다

arXiv:2610.31819v1 발표 유형: 신규 초록: 편향적 해독은 더 빠르고 낮은 품질의 초안 모델로부터 샘플링을 수행함으로써 자동회귀형 대규모 언어 모델(LLM)의 추론 속도를 가속화하는 기법입니다. 전통적으로, 편향적 해독의 근본적인 특성은 검증자 분포에 대해 무손실이며, 품질을 희생하지 않고 속도를 보장한다는 점입니다. 이는 최근 개발된 확산형 LLM(dLLM)과는 달리, 덜한 확산 노력으로 출력의 품질을 저하시킴으로써 상당한 속도 향상을 달성할 수 있다는 점에서 차별됩니다. 확산 모델은 토큰을 병렬로 생성하여 자동회귀형 모델보다 더 빠르게 샘플링할 수 있기 때문에, 편향적 확산에서 초안 모델로서 강력한 후보로 간주됩니다. 널리…