要旨：大規模言語モデル（LLM）のサービスでは、推論スループットを向上させるためにバッチ処理が用いられるが、キー値（KV）キャッシュはシーケンス長に応じて増大し、GPU上での並行処理能力を制限する。CPUオフロードによりホストメモリを活用してKV容量を拡張できるものの、既存のシステムは依然として大部分がGPUに依存しており、CPU上に常駐するリクエストが進捗するのは、GPUスケジューラが適切なオーバーラップの機会を提供した場合に限られる。その結果、ホストメモリとCPU計算は独立したサービス資源として機能せず、負荷下ではCPU側の進捗が断続的になり、末端のトークン間遅延（ITL）が過剰に増大するという課題が生じる。
我々は、ホストを独立してスケジュールされるデコードエンジンへと変えるLLM実行時サービスであるDualPaceを提案する。DualPaceは、スケジューリング権限を二つのエンジンに分散させる：GPUエンジンはプリフィルおよびGPU常駐型のデコードを実行し、一方でAMX対応のCPUエンジンはCPU常駐型のデコードを独立してバッチ処理し進める。これらのエンジンはスケジューリングにおいては分離されているが、実行においては協調的であり、CPUはローカルで完全なデコードイテレーションを実行することも、密なステージに対してGPU Dense Assistを部分的に呼び出すこともできる。また、オフラインのプロファイルによりハードウェア固有のバッチ処理やルーティングが制御される。
私たちの評価によれば、デコード中心のシナリオにおいて、DualPaceは最先端のオープンソースCPUオフロードシステムであるNEOに比べてサービススループットを6.9～43.2％向上させ、広く利用されているGPUベースの推論システムであるvLLMに比べて11.5～90.6％向上させる一方で、遅延は同等の水準を維持しています。さらに、DualPaceはNEOがvLLMに対して有するP99時点での最初のトークン生成までの時間（TTFT）における優位性を保持しつつ、同じP99 ITL水準においてNEOよりも7.3～50.5％高いリクエスト率を実現しています。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。