InferSlice: 통신사 광역 네트워크에서 SLO 기반 LLM 추론을 위한 참조 아키텍처

arXiv:2610.32638v1 발표 유형: 신규 초록: LLM 추론은 기업용 및 대화형 애플리케이션의 핵심 서비스로 점점 더 널리 도입되고 있지만, 주권, 규정 준수, 지연 시간 및 자원 지역성에 대한 요구 사항으로 인해 중앙 집중식 클라우드 배치의 적합성이 제한될 수 있습니다. 통신사들은 이러한 제약을 해결하기 위해 지리적으로 분산된 컴퓨팅 및 네트워크 인프라를 제공합니다. 그러나 기존의 LLM 서비스 프레임워크는 밀접하게 연동된 데이터 센터를 대상으로 설계되어 있어, 지리적으로 분산되고 이질적인 자원을 조율하는 데 대한 지원이 제한적입니다. 우리는 통신사 인프라 위에서 서비스 수준 목표(SLO) 기반 LLM 추론을 구현하기 위한 참조 아키텍처인 InferSlice를 제시하며, 여기에는 네트워크 슬라이싱, GPU 파티셔닝, 탄력적 서비스 제공 및 관찰 가능성이 통합되어 있습니다.