从大语言模型迈向世界模型

闫德利 腾讯公司资深专家LLM是概率模型，不知因果大语言模型（LLM）并不理解语言，只是在预测下一个token（Next Token Prediction）。它是一个枯燥的“文字接龙”机器，走一步，算一步，不走回头路。LLM在本质上是概率模型，在统计共现结构里学习“什么经常和什么一起出现”，输出的是“通常如此”，不理解“为什么如此”，...