적응형 병렬 추론: 효율적인 추론 확장의 다음 패러다임
적응형 병렬 추론 개요. 만약 추론 모델이 스스로 독립적인 하위 작업을 언제 분해하고 병렬화할지, 얼마나 많은 동시 스레드를 생성할지, 그리고 문제 상황에 따라 이를 어떻게 조율할지를 결정할 수 있다면 어떨까요? 우리는 병렬 추론 분야, 특히 적응형 병렬 추론에서의 최근 진전에 대해 상세히 분석합니다. 공개 사항: 이 글은 풍경 조사의 일환과 동시에 적응형 병렬 추론에 대한 관점입니다. 저자 중 한 명인 토니 리안은 아래에서 논의될 방법들 중 하나인 ThreadWeaver(리안 외, 2025)를 공동 주도했습니다. 저자들은 각 접근법을 그 자체의 맥락에서 제시하는 것을 목표로 합니다. 동기 부여: LLM의 추론 능력에 대한 최근의 발전은 데이터 및 파라미터 확장 외에도 주로 추론 시점의 확장에 의해 크게 촉진되어 왔습니다(OpenAI 외, 20