InferSlice：一种面向电信广域网的、由SLO驱动的LLM推理参考架构

arXiv：2610.32638v1 发布类型：新 摘要：大型语言模型（LLM）推理正日益作为企业和交互式应用的核心服务被广泛部署，但主权、合规性、延迟以及资源本地化等方面的要求，可能限制集中式云部署的适用性。电信运营商提供地理分布式的计算与网络基础设施，以应对这些约束。然而，现有的 LLM 服务框架主要面向紧密耦合的数据中心设计，对协调地理分布且异构的资源支持有限。我们提出 InferSlice，一种面向电信基础设施、以服务等级目标（SLO）为导向的 LLM 推理参考架构，集成了网络切片、GPU 分区、弹性服务与可观测性等功能。