要旨：クラウドデータセンターにおける基礎となる大規模言語モデル（LLM）の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示している。しかし、厳しいサービスレベル目標（SLO）の下で巨大な基盤モデルを運用するには、物理的およびシステム上の重大なボトルネックが露呈する。これらの課題には、依然として克服されていない高帯域幅メモリ（HBM）の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコード処理との間の運用上の非対称性、急増するキー・バリュー（KV）キャッシュの膨張、許容できないサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれる。既存の文献レビューは層ごとに分断されており、低レベルのアクセラレータ仮想化とクラスターのオーケストレーションやランタイム推論を切り離したまま、2024年から2026年にかけての重要な進展もほとんど見落としている。こうした限界を解消するため、本研究では、システマティック・レビューおよびメタアナリシスに関する優先報告項目（PRISMA）2020フレームワークに基づき、包括的かつ層間を横断する体系的なレビューを提示する。具体的には、ハードウェア仮想化、クラスター単位のスケジューリング、およびランタイム推論の最適化を統合した包括的なタクソノミーを構築し、イテレーション単位の継続的バッチ処理、プリフィルとデコードの分離、階層的KVキャッシュのオフロードといった手法を包含する。さらに、耐障害性に優れたクラウドネイティブなサービスアーキテクチャについて評価を行い、ゼロスケールのサーバーレスパラダイム、静かなデータ破損に対するフォールトトレラントなチェックポイント、マルチテナント間の隔離を実現するハードウェアベースの信頼実行環境（TEEs）などを検討する。最後に、スループット、レイテンシ、コスト、機密性といった多次元のパレート最適トレードオフを定式化し、Compute Express Link（CXL）に至るまでの将来を見据えた研究ロードマップを示す。 メモリプーリング、インメモリコンピューティング、および自律型マルチエージェント制御プレーンを活用して、将来のクラウド向けLLMインフラストラクチャを導く。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。