2026年10月24日、arXivプラットフォームに『ULME: Predictive Coupling for Mutually Reinforcing Embedding and Language Modeling』というタイトルの論文が公開され（論文ID: arXiv:2610.30705v1）、ULME——大規模言語モデルにおけるテキスト埋め込みと言語生成能力の長年にわたる分断を解消することを目的とした新たな後訓練フレームワーク——が提案された。
ULMEは因果デコーダーのみを用いた大規模言語モデル上で動作し、その核心的な革新点は「予測結合」メカニズムの導入にある。すなわち、クエリと解答の間に学習可能なスロットの列を挿入し、そこからそれぞれ意味埋め込みと推論埋め込みを読み取るとともに、対比損失（アンカーとなる意味スロットを文書表現に固定）、言語モデリング損失（解答生成を監視）、およびストップグレーディント付きの予測損失（推論スロットを解答のプーリングされた要約に一致させる）という三つの損失を同時に最適化することで、生成プロセスが埋め込み内容の形成を能動的に誘導するようにしている。
このフレームワークは、Qwen2.5およびQwen3の二大モデルファミリーにおいて、合計8つのパラメータ規模（0.5Bから8B）で検証を完了しました。結果によれば、単一のULMEチェックポイントはMTEBベンチマークにおいて、最も強力なオープンソースベースラインに比べて3.3～4.1ポイントの性能向上を示し、同時にBRIGHTおよびAdvBench-IRの二つの検索強化タスクにおける指標も引き締められました。さらに、MMLU、GSM8K、MMLU-Pro、HumanEvalなどの標準的な生成評価においては、純粋な生成系の微調整モデルと同等の性能を実現しています。論文では、これが「真の統一」が単なる共存ではなく、各能力間の相互強化をもたらすことを示していると指摘されています。
注意が必要です：本成果は現在、arXivのプレプリント形式で公開されており、まだ査読を受けていません。また、すべての実験結果はQwenシリーズのモデルに基づいており、LlamaやPhiなど他のアーキテクチャにおける汎化性能については明示されていません。さらに、本文では推論遅延やGPUメモリ消費、実際のデプロイメントに適した適合性といった工学的側面に関するデータは提示されていません。