IQuest-Q1：提升面向智能CLI系统的基础能力
arXiv：2610.30949v1 发布类型：新 摘要：我们提出了 IQuest-Q1，这是一种稀疏的专家混合（MoE）型智能基础模型，总参数量为 3200 亿（其中激活参数 150 亿）。IQuest-Q1 采用三阶段流程构建：（1）稳定且高效的预训练，融合了 Stable SplitNorm、Muon 和 muP 技术，并采用两阶段课程设置，第二阶段逐步增加编码数据的混合比例，同时在安全与最优学习率之间保持较大的稳定性裕度；（2）精细的中期训练，跨领域与多格式扩展数据混合，并逐步扩大上下文长度；（3）多支架的后期训练，结合监督微调（SFT）、领域专用强化学习（RL）以及多目标优化（MOPD），在不同训练框架下整合互补的训练信号，强化其智能编码能力。
