엣지 기반 LLM 훈련의 민주화: 도전 과제, 시스템 및 앞으로의 방향

arXiv:2610.32215v1 발표 유형: 신규 초록: 현대 GPU 기반 데이터센터의 컴퓨팅 파워 증가로 인해 일부 산업 거대기업들은 대규모 데이터를 활용한 대형 언어 모델(LLM)을 학습하고 배포할 수 있게 되었습니다. 그러나 이러한 모델들과 그 학습 데이터의 엄청난 규모는 중앙 집중식 개발을 점점 더 지속하기 어렵게 만들며, 동시에 관련된 개인 데이터를 보유하고 있지만 이에 상응하는 인프라를 갖추지 못한 소규모 기관들을 배제하게 합니다. 본 논문에서는 분산형 LLM 학습에 관한 우리의 입장을 사전 학습 및 미세조정 패러다임을 중심으로 정리하고, 연합학습, 분할학습 및 탈중앙화 방식을 다루며, 이들이 이질적인 하드웨어와 신뢰성 낮은 연결성을 갖춘 지리적으로 분산된 환경에서 어느 정도 준비되어 있는지를 평가합니다. 이후 우리는 {\em 통합} 시스템을 제시합니다