IQuest-Q1: 에이전트 기반 CLI 시스템을 위한 기본 기능의 발전
arXiv:2610.30949v1 발표 유형: 신규 초록: 우리는 총 파라미터 수 320B(활성화된 파라미터 수 15B)를 갖춘 희소 혼합형 전문가(MoE) 에이전트 기반 기본 모델인 IQuest-Q1을 제시합니다. IQuest-Q1은 세 단계의 프로세스를 통해 개발되었습니다: (1) 안정적이고 효율적인 사전 학습으로, 스테이블 스플릿노름, Muon, muP를 두 단계로 구성된 커리큘럼과 결합하며, 이 커리큘럼의 두 번째 단계에서는 코딩 데이터 혼합 비율을 높여 안전한 학습률과 최적 학습률 간의 넓은 안정성 여유를 유지합니다; (2) 세밀한 중간 학습 단계로, 도메인과 형식을 아우르는 데이터 혼합을 확대하고 문맥 범위를 점진적으로 확장합니다; 그리고 (3) 다중 스캐폴드와 다중 버전 사후 학습을 통해 SFT, 도메인 특화형 강화학습(RL), MOPD 등을 다양한 스캐폴드에서 결합하여 상호 보완적인 학습 신호를 통합하고 에이전트형 코딩 능력을 강화합니다.
