大規模言語モデルから世界モデルへ

闫德利 Tencent社のシニアエキスパート LLMは確率モデルであり、因果関係を理解していない。大規模言語モデル（LLM）は言語を理解しているわけではなく、あくまで次のトークンを予測するだけである。それは単調な「言葉の連想ゲーム」を行う機械にすぎず、一歩進むたびにその都度計算を行い、後戻りはしない。LLMは本質的に確率モデルであり、統計的な共起構造から「何がしばしば何と一緒に現れるか」を学習し、出力されるのは「通常そうである」という結果に過ぎない。なぜそうなるのかという「理由」は理解していない……