뮤온 프리컨디셔닝은 언제, 어떻게 이루어지는가? 구조화된 그라디언트 노이즈의 역할

arXiv:2610.31728v1 발표 유형: 신규 초록: 뮤온은 대규모 언어 모델 학습에서 인기 있는 최적화 방법으로 자리잡았지만, 그 이론적 기반은 아직 잘 이해되지 않고 있습니다. 본 연구에서는 그래디언트 노이즈의 기하학적 구조가 뮤온의 전치 preconditioning 효과에 어떤 영향을 미치는지 분석합니다. 먼저, 고전적인 등방성 노이즈 가정 하에서 뮤온은 학습률의 재조정 외에는 추가적인 가속 효과를 제공하지 않음을 이론적·실험적으로 보여줍니다. 이를 계기로, 임의의 작업 주기가 서로 다른 연관 기억 시스템에서 미니배치 샘플링으로 인해 발생하는 구조화된 노이즈를 탐구합니다. 우리는 두 가지 작업에 대해 정확한 균형 임계값을 규명하고, 이를 다중 작업으로 확장하여 작업 커버리지와 그래디언트 신뢰성이 학습 과정을 어떻게 공동으로 형성하는지 밝힙니다. 우리의 분석에 따르면, 뮤온은 …을 완화할 수 있음을 보여줍니다.