摘要：大型语言模型（LLM）的推理服务依赖于批处理以提升推理吞吐量，但键值（KV）缓存会随序列长度增长，从而限制了GPU上的并发度。通过将部分计算卸载至CPU，可以利用主机内存扩展KV缓存容量，然而现有系统在很大程度上仍受GPU的制约：只有当GPU调度器能够提供合适的重叠机会时，CPU驻留的请求才能取得进展。因此，主机内存与CPU计算无法作为独立的推理资源发挥作用，导致在负载下CPU端的进度出现突发性波动，并使尾部词间延迟（ITL）显著增加。
我们提出了 DualPace，这是一种 LLM 服务运行时，可将主机转变为一个独立调度的解码引擎。DualPace 在两个引擎之间划分了调度权：GPU 引擎负责执行预填充和驻 GPU 的解码任务，而启用了 AMX 的 CPU 引擎则独立地对驻 CPU 的解码任务进行批处理并推进。这两个引擎在调度上相互解耦，但在执行上协同合作：CPU 可以在本地完成一次完整的解码迭代，也可以选择性地调用 GPU 的 Dense Assist 来处理密集型阶段；同时，离线分析结果为硬件特定的批处理与路由提供了指导。
我们的评估表明，在以解码为导向的场景下，DualPace 相较于最先进的开源 CPU 卸载系统 NEO，可将服务吞吐量提升 6.9% 至 43.2%；相较于广泛使用的 GPU 服务系统 vLLM，则可提升 11.5% 至 90.6%，同时保持相同的延迟水平。此外，DualPace 在维持 NEO 相较于 vLLM 的 P99 首个标记生成时间（TTFT）优势的同时，还能在相同 P99 ITL 水平下实现比 NEO 高出 7.3% 至 50.5% 的请求速率。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。