Skip to content
AI NEWS JOURNAL
腾讯新闻 · AI频道AI NEWS / JOURNAL

From Large Language Models to World Models

Yan Deli, a senior expert at Tencent: LLMs are probabilistic models. They do not truly understand language; they merely predict the next token (Next Token Prediction). Essentially, they are monotonous “word-chain” machines—moving forward one step at a time without retracing their path. At their core, LLMs are probabilistic models that learn, from statistical co-occurrence patterns, “what often appears alongside what,” and output “this is usually the case,” without grasping “why it is so.”...

Translation is queued. This page updates when ready.

闫德利 腾讯公司资深专家

LLM是概率模型,不知因果

大语言模型(LLM)并不理解语言,只是在预测下一个token(Next Token Prediction)。它是一个枯燥的“文字接龙”机器,走一步,算一步,不走回头路。LLM在本质上是概率模型,在统计共现结构里学习“什么经常和什么一起出现”,输出的是“通常如此”,不理解“为什么如此”,未建立起变量间的因果链。也就是说,LLM“识相关,不知因果”。

LLM主要依赖概率预测,为什么能展现出如此广泛、如此深层的能力?为什么可以给出像样的因果解释?也能回答“如果当初换一种选择会怎样”。这似乎不局限于Pearl因果阶梯中的关联层(Association),也涉及干预层(Intervention)和反事实层(Counterfactuals)。因为压缩即智能。大模型的本质是将海量知识压缩到有限的连接中(杰弗里·辛顿,2025),数据概率模型和无损压缩在本质上是等价的。语言是一种压缩算法,人们把大量因果知识写进文本,语言结构中包含着对世界的解释。

既然是概率模型,就存在可靠性问题。答非所问、张冠李戴、无中生有、引用错误、前后矛盾、缺乏常识等幻觉(Hallucination)问题不可避免。幻觉是由LLM的技术特征决定的,是出厂设定,只能尽力减少,不能根本消灭。全球幻觉率最低的模型也有1.8%,如下图所示。

图 全球25个主流大语言模型的锚定幻觉率(2026.5)

LLM有盲区,缺洞见,不能持续学习

LLM很强大,但也有盲区,它学习不到隐性知识和涉密信息。波兰尼悖论指出:“我们能知道的比我们能说出的多(We can know more than we can tell)。”很多任务,仅凭直觉就能完成,却无法用语言来描述其规则和步骤。例如骑行的平衡、共情的分寸、指尖的温柔、会意的眼神……这些“难以清晰表述,难以有效转移”的知识被称为“隐性知识(tacit knowledge)”。与之相对应的是那些能够被记录、能够数字化的知识,即显性知识,这部分是LLM可学习到的。当然,并不是所有显性知识都能学习到。它和可获得性有关。涉密信息、不上网信息更有价值,一句顶一万句,也是LLM的盲区。

LLM无所不知,但缺乏创造性颠覆性洞见(CDIs)。图灵奖得主、强化学习之父理查德・萨顿指出(2026):“这些系统其实主要是在使用人类知识的力量,并且把它再交付给我们,它们并没有能力发现自己的知识。”为了评估LLM是否能够独立“重新发现”已知科学突破,戴密斯·哈萨比斯于今年2月提出了爱因斯坦测试。将知识库限制在1911年之前,如果AI能独立推导出爱因斯坦于1915年提出的广义相对论,即通过爱因斯坦测试。哈萨比斯表示:“很显然,目前的系统还无法做到。”

持续学习是另一个关键缺失。根据实现AGI的六阶梯路线图,持续学习是继当前Agent阶段之后要突破的下一个技术阶梯,是未来通往自我迭代(奇点)和具身智能的必经阶段。持续学习是指在不遗忘已有知识的前提下,不断学习新事物的能力。人类天生就具备。遗憾的是,LLM并非如此。LLM是“冻结的天才”,它依赖静态数据集,一旦训练完成、部署上线就冻结权重,无法在实际经验中学习成长。持续学习的核心挑战来自“稳定性可塑性困境”,面临灾难性遗忘(学新忘旧)和可塑性丧失(对新任务的学习能力持续下降)两大障碍。

世界模型:从语言到行动

“我语言的局限就是我世界的局限。”“世界是一切发生的事情。”维特根斯坦一百年前的论断在今天展示出了神奇的预言性力量。

语言是人类最强大的发明,但它无法充分表征我们的世界。现实世界并不是由语言文字组成。LLM是“黑暗中的词匠”,能说会道,却毫无真实物理世界的肉身经验。单纯的语言规模化已不够,需要加强对物理世界、空间结构、时间连续性和行动后果的内在表征。正如萨顿所言:LLM只是“一时的迷恋”,它仅捕捉到真实智能的一小部分。真正的智能必须拥有世界模型。

世界模型是状态变化预测器,描述“环境状态怎样随时间和行动变化”。其本质是动力学模型,可用如下函数表示:

世界模型就是在参数θ下,基于当前状态 st和拟采取动作at,预测下一状态 ŝₜ₊₁的函数。由于物理世界是随机的、部分可观测的,输出下一状态的概率分布更接近真实环境。‌‌世界模型的目标不是精确预测唯一的未来,而是构建可用于规划的未来分布。世界模型“计算不可计算之事(Computing the Uncomputable)”,探寻那些不可言传的、本能的、关于世界如何运转的根本认知。李飞飞和杨立昆是两位最重要的AI领导者。李飞飞创建了ImageNet 数据集,被尊为“AI教母”;杨立昆获得了2018年图灵奖,被誉为“卷积神经网络之父”。两位同样是世界模型最有力的倡导者和支持者。李飞飞(2026)将世界模型分为三类:输出像素的渲染器(renderer)、输出状态的模拟器(simulator)和输出行动的规划器(planner)。其创立的空间智能公司World Labs以82亿美元的价格被AMD收购。杨立昆辞去Meta 的工作后,于2025年底在家乡巴黎创立世界模型公司AMI Labs,估值已达35亿美元‌。

世界模型已成为创业热点领域,很多公司宣称自己就是一家世界模型公司。英伟达、谷歌等巨头纷纷下场。英伟达推出世界基础模型平台Cosmos,旨在帮助机器人、自动驾驶汽车和其他物理系统更好地理解和预测现实世界的环境;Google DeepMind把 Genie 3定位为 “a new frontier for world models”。

要重视“大师创业”现象

重大科学发现和技术进步,往往是由年轻人推动。爱因斯坦说过:“一个人如果在30岁之前还没有取得科学上的大成就,那将永远不会了。”量子力学重要奠基人狄拉克也觉察到,大多数伟大的物理学家在30岁以前就完成了他们最出色的工作。托马斯·库恩在《科学革命的结构》中指出:“几乎所有完成新范式根本性创见的人,要么非常年轻,要么刚进入这个即将被他们改变的领域。”这是科技创新的“三十岁规律”,更准确地说是“新人规律”。

“人工智能是年轻的事业,也是年轻人的事业。”图灵24岁提出图灵机假想,38岁提出图灵测试思想实验;约翰·麦卡锡28岁创造“Artificial Intelligence”术语;写出《Attention Is All You Need》的8位作者也都是年轻人;天才高中生陈广宇16岁加入月之暗面担任机器学习研究员,以共同第一作者发表论文《Attention Residuals》;山姆·奥特曼19岁辍学创业,30岁参与创立OpenAI;在19岁辍学创业的还有汪滔,他创立了数据标注公司Scale AI,28岁加入Meta担任首席AI官;戴密斯·哈萨比斯22岁辞职创业,34岁创立DeepMind;达里奥·阿莫迪38岁带着6名OpenAI同事创立Anthropic,已属高龄。

年轻不只是指年龄,还意味着他们是没有光环的“普通人”。例如,麦卡锡在组织达特茅斯会议时还只是一名助理教授;“Transformer八子”在发表《Attention Is All You Need》时职位不高,名不见经传。

然而,世界模型不是这样,很多功成名就的学者教授纷纷下场创业。杨立昆和李飞飞两位领导者在创办公司时已经分别65岁和48岁。此外,香港大学马毅教授51岁创立忆生科技,加州理工学院Anima Anandkumar教授44岁创立Accelerated Understanding;清华大学朱军教授40岁创立生数科技;加州大学圣地亚哥分校助理教授黄碧薇和清华大学副教授封硕比较年轻,创立公司时也35岁左右。这远远高于AI独角兽创始人在创立年份29岁的平均年龄(来源:Antler,2026)。如下表所示。

表 教授创立的部分世界模型公司

创业就是打破常规,另辟蹊径,但也九死一生。年轻人有闯劲、受旧范式的束缚少,懵懵懂懂、边做边学更容易闯出新路。学识渊博、光鲜亮丽的教授有偶像包袱、路径依赖,往往是风险厌恶者,历史上真正创业成功的较为少见。今天,学术大佬涌入世界模型赛道,我们该如何理解?抛开教授挂名、学生干活的情况不谈,主要有两种解释。

一是世界模型特殊论。它是知识高度密集领域,就需要掌握知识的教授去创办伟大的企业。

二是AI泡沫论。在泡沫中,投资人是慷慨的,愿意为各种梦想买单。世界模型的概念令人振奋,其狂热是AI泡沫的一个缩影。

Sources

腾讯新闻 · AI频道

Related topics

← Continue to all updates