초록: 클라우드 데이터센터 전반에 걸쳐 기반 대규모 언어 모델(LLM)이 광범위하게 배치됨에 따라, 무상태 딥러닝에서 분산형·메모리 집약적 생성 워크로드로의 근본적인 패러다임 전환이 이루어지고 있다. 그러나 엄격한 서비스 수준 목표(SLO) 하에서 대규모 기반 모델을 서비스하는 과정에서는 중요한 물리적 및 시스템 병목 현상이 드러난다. 이러한 도전 과제에는 지속적인 고대역폭 메모리(HBM) 장벽, 연산 중심의 프리필링과 메모리 대역폭 중심의 디코딩 간의 운영 비대칭성, 폭발적으로 증가하는 키-값(KV) 캐시, 부담스러운 서버리스 콜드 스타트, 그리고 하드웨어 신뢰성 취약점 등이 포함된다. 기존 문헌 리뷰들은 계층별로 분리되어 있어, 저수준 가속기 가상화와 클러스터 오케스트레이션 및 런타임 추론을 서로 분리하고 있으며, 2024년부터 2026년까지의 주요 발전 사항은 거의 간과되고 있다. 이러한 한계를 해소하기 위해 본 연구는 체계적 리뷰 및 메타분석을 위한 선호 보고 항목(PRISMA) 2020 프레임워크에 따라 안내되는 포괄적이고 계층 간 통합적인 체계적 검토를 제시한다. 우리는 하드웨어 가상화, 클러스터 수준 스케줄링, 그리고 런타임 추론 최적화를 하나로 아우르는 종합적인 분류체계를 정립하며, 여기에는 반복 단위의 지속적 배치, 프리필-디코딩 분리, 그리고 계층적 KV 캐시 오프로드 기법이 포함된다. 또한, 탄력적인 클라우드 네이티브 서비스 아키텍처를 평가하여, 규모 제로로 확장 가능한 서버리스 패러다임, 침묵식 데이터 손상에 대한 내결함성 체크포인트, 그리고 다중 테넌트 격리를 위한 하드웨어 기반 신뢰 실행 환경(TEEs) 등을 검토한다. 마지막으로, 처리량, 지연 시간, 경제적 비용, 그리고 기밀성 간의 다차원적 파레토 트레이드오프를 공식화하고, 컴퓨트 익스프레스 링크(CXL)를 포괄하는 미래지향적 연구 로드맵을 제시한다. 메모리 풀링, 인메모리 컴퓨팅, 그리고 자율적 다중 에이전트 제어 플레인을 통해 미래 클라우드 LLM 인프라를 안내합니다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.