InferSlice：通信事業者の広域ネットワーク上でのSLO主導型LLM推論向けリファレンスアーキテクチャ

arXiv:2610.32638v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）の推論は、企業向けおよび対話型アプリケーションにおける基幹サービスとしてますます広く導入されていますが、主権、コンプライアンス、遅延、リソースの局所性といった要件により、集中型クラウド環境での導入には限界があります。通信事業者は、これらの制約に対応するため、地理的に分散した計算およびネットワークインフラを提供しています。しかし、既存のLLMサービスフレームワークは、密結合されたデータセンター向けに設計されており、地理的に分散し多様なリソースの協調を支援する機能は限定的です。本稿では、通信インフラ上でのサービスレベル目標（SLO）主導型LLM推論のためのリファレンスアーキテクチャであるInferSliceを提案します。同アーキテクチャは、ネットワークスライシング、GPUパーティショニング、エラスティックなサービス提供、ならびに観測可能性を統合しています。