自适应并行推理：高效推理扩展的下一范式
自适应并行推理概述。如果一个推理模型能够自主决定何时对独立子任务进行分解与并行化、启动多少个并发线程，以及如何根据当前问题协调这些任务，会怎样？我们对并行推理领域的最新进展进行了详细分析，尤其是自适应并行推理。声明：本文既是一篇综述性文章，也包含了关于自适应并行推理的个人观点。作者之一（Tony Lian）曾共同领导了ThreadWeaver项目（Lian等人，2025），该方法正是下文所讨论的内容之一。作者旨在以各自的方式呈现每种方法。动机 近年来，大型语言模型推理能力的提升在很大程度上得益于推理阶段的规模扩展，此外还有数据与参数规模的扩展（OpenAI等，20