본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

전체 AI 소식

출처, 주제, 시간으로 전체 뉴스에서 관심 소식을 찾아보세요.

발행 시간순

LooseLeaf: 컴퓨팅 노트북을 위한 서버리스 GPU 지원

arXiv:2610.33275v1 발표 유형: 신규 초록: 컴퓨팅 노트북은 세션 전체 동안 GPU를 할당하지만, GPU는 셀이 실행되는 동안에만 계산을 수행하고 그 외에는 대기 상태로 남아 있습니다. 서버리스 실행 방식을 사용하면 셀 간에 GPU 자원을 해제할 수 있지만, 새로 생성된 워커에서 누적된 노트북 상태를 다시 구축하는 과정은 각 GPU 셀마다 상당한 비용을 초래합니다. 본 논문에서는 대화형 노트북을 위한 서버리스 GPU 플랫폼인 LooseLeaf를 제안합니다. LooseLeaf는 각 셀의 상태와 import 클로저를 추출하며, 해당 셀이 필요로 하는 최소한의 변수와 패키지를 파악합니다. 실제 사례 5,000개의 노트북을 대상으로 한 분석 결과, 이러한 클로저는 크기가 작으며, 사용자가 셀을 편집하는 동안에도 이를 준비하는 데 몇 초밖에 걸리지 않는 것으로 나타났습니다. LooseLeaf는 사용자가 셀을 편집하는 동안 이러한 클로저를 포함한 GPU 워커를 미리 준비합니다. 실행이 완료된 후, 워커는…

新闻源配图 · arXiv cs.DC
진행 상황 및 관련 보도

클라우드의 LLM: 아키텍처, 오케스트레이션 및 추론에 관한 논의

arXiv:2610.33475v1 발표 유형: 신규 초록: 클라우드 데이터센터 전반에 걸쳐 기반 대규모 언어 모델(LLM)이 광범위하게 배치됨에 따라, 무상태 딥러닝에서 분산형·메모리 집약적 생성 워크로드로의 근본적인 패러다임 전환이 이루어지고 있습니다. 그러나 엄격한 서비스 수준 목표(SLO) 하에서 대규모 기반 모델을 서비스하는 과정에서는 중요한 물리적 및 시스템 병목 현상이 드러납니다. 이러한 도전 과제에는 지속적인 고대역폭 메모리(HBM) 장벽, 연산 중심의 프리필링과 메모리 대역폭 중심의 디코딩 간의 운영 비대칭성, 폭발적으로 증가하는 키-값(KV) 캐시, 부담스러운 서버리스 콜드 스타트, 그리고 하드웨어 신뢰성 취약점 등이 포함됩니다. 기존 문헌 리뷰들은 여전히 계층별로 분리되어 있어, 저수준 가속기 가상화와 클러스터를 서로 분리하고 있습니다.

진행 상황 및 관련 보도

듀얼페이스: LLM 서비스를 위한 분리형 스케줄링 및 협력적 GPU–CPU 디코딩

arXiv:2610.33501v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 서비스는 추론 처리량을 높이기 위해 배치 처리에 의존하지만, 키-값(KV) 캐시는 시퀀스 길이와 함께 증가하여 GPU 상주 동시성을 제한한다. CPU 오프로드를 통해 호스트 메모리를 활용하면 KV 용량을 확장할 수 있지만, 기존 시스템은 여전히 대부분 GPU 중심으로 작동한다: CPU 상주 요청은 GPU 스케줄러가 적절한 겹침 기회를 제공할 때에만 진행된다. 그 결과, 호스트 메모리와 CPU 연산은 독립적인 서비스 자원으로 작용하지 못하며, 이로 인해 부하 하에서 CPU 측 진행이 간헐적으로 발생하고 꼬리 부분의 토큰 간 지연(ITL)이 부풀어 오르게 된다. 우리는 호스트를 독립적으로 스케줄링되는 디코딩 엔진으로 전환하는 LLM 서비스 런타임인 DualPace를 제안한다. DualPace는 두 개의 엔진 간에 스케줄링 권한을 분리한다: GPU 엔진

진행 상황 및 관련 보도