通过边缘端实现大语言模型训练的民主化：挑战、系统与未来之路

arXiv:2610.32215v1 发布类型：新 摘要：现代GPU数据中心日益强大的算力，使少数行业巨头得以在海量数据上训练并部署大型语言模型（LLMs）。然而，这些模型及其训练数据的庞大规模，使得集中式开发愈发难以持续，同时也将那些拥有相关私有数据但缺乏同等基础设施的小型机构排除在外。本文围绕预训练与微调两大范式，梳理了我们在分布式LLM训练方面的立场，涵盖联邦学习、分割学习以及去中心化方法，并评估了它们在异构硬件与连接不稳定等地理分布式环境下的适用性。随后，我们提出了一种{\em 统一}的系统