arXiv:2610.33005v1 발표 유형: 신규
요약: 에너지 기반 모델은 도메인 특화 작업에서 유망한 성능을 보여왔지만, 범용 시나리오를 모델링하는 데는 여전히 어려움이 있다. 이러한 격차를 해소하기 위해 우리는 기초 언어 모델링을 위한 에너지 주도형 모델(ESM)을 설계하였다. ESM은 단일 아키텍처 내에서 에너지 주도와 토큰 생성을 통합하여, 에너지 기반 탐색을 활용해 토큰 생성을 정교화한다. 구체적으로, ESM은 먼저 에너지 지형 위에서 잠재 상태를 최적화한 다음, 이 정제된 잠재 상태를 토큰 생성에 활용한다. 대규모 말뭉치를 대상으로 이러한 에너지 기반 사전훈련을 수행함으로써, ESM은 유리한 토큰이 낮은 에너지 값을 갖는 일반적으로 효과적인 에너지 지형을 학습한다. ESM의 스케일링 특성을 탐구하기 위해 우리는 세 가지 대규모 말뭉치에서 ESM을 사전훈련한 뒤, 다양한 도메인을 포괄하는 26개의 하위 작업에 대해 평가를 수행하였다. 우리의 결과는 모델 크기와 훈련 데이터가 증가함에 따라 ESM이 유망한 스케일링 특성을 보이며, 대부분의 하위 작업에서 GPT보다 우수한 성능을 나타낸다는 점을 입증한다. 이러한 발견은 ESM이 대규모 사전훈련과 범용 문제 해결을 위한 유망한 아키텍처임을 강조한다. 우리는 모델 가중치와 훈련 인프라를 완전히 공개하여, 커뮤니티가 우리 결과를 완전히 재현하고 확장할 수 있도록 지원한다.
GitHub: https://github.com/datamllab/openesm HuggingFace: https://huggingface.co/collections/guan-wang/openesm