2026년 10월 24일, ‘ULME: 상호 강화되는 임베딩과 언어 모델링을 위한 예측적 결합’이라는 제목의 논문이 arXiv 플랫폼에 게재되었으며(논문 번호: arXiv:2610.30705v1), 대규모 언어 모델에서 텍스트 임베딩과 언어 생성 능력 간의 장기적인 분리 문제를 해결하기 위해 설계된 새로운 후훈련 프레임워크인 ULME를 제안하였다.
ULME는 인과 해독기 전용 대형 언어 모델 위에서 구동되며, 그 핵심 혁신은 ‘예측 결합’ 메커니즘을 도입한 데 있다. 쿼리와 답안 사이에 학습 가능한 일련의 슬롯을 삽입하여 각각 의미 임베딩과 추론 임베딩을 추출하고, 동시에 세 가지 손실 항목—대조 손실(앵커링된 의미 슬롯을 문서 표현으로 고정), 언어 모델링 손실(답안 생성을 감독), 그리고 stop-gradient가 적용된 예측 손실(추론 슬롯이 답안의 풀링 요약과 정렬되도록 함)—을 병행 최적화함으로써, 생성 과정이 임베딩 내용의 형성을 능동적으로 유도하도록 한다.
이 프레임워크는 Qwen2.5와 Qwen3 두 가지 모델 계열에서 총 여덟 가지 파라미터 규모(0.5B부터 8B까지)에 걸쳐 검증을 완료했습니다. 결과에 따르면, 단일 ULME 체크포인트가 MTEB 벤치마크에서 가장 강력한 오픈소스 기준선보다 3.3~4.1점 높은 성능을 보였으며, 동시에 BRIGHT 및 AdvBench-IR 두 가지 검색 강화 태스크 지표도 개선했습니다. 또한 MMLU, GSM8K, MMLU-Pro, HumanEval 등 주요 생성 평가에서 순수 생성 미세조정 모델과 동등한 성능을 달성했습니다. 논문은 이러한 결과가 ‘진정한 통합’이 단순한 공존이 아니라 서로 간의 상호 강화를 가져온다는 점을 입증한다고 지적합니다.
주의할 점: 본 연구 결과는 현재 arXiv 사전인쇄본 형태로만 공개되었으며, 아직 동료 심사 과정을 거치지 않았습니다. 모든 실험 결과는 Qwen 시리즈 모델을 기반으로 하며, Llama, Phi 등 다른 아키텍처에서의 일반화 성능에 대해서는 명시되어 있지 않습니다. 또한 본 논문에는 추론 지연, GPU 메모리 사용량 또는 실제 배포 적합성과 같은 엔지니어링 측면의 데이터는 포함되어 있지 않습니다.