← 返回首页ai798Lab 公开知识库

AI词典

星图管发现,路线管顺序,词典管查阅。每个词都挂着能直接拿去用的项目。

世界模型

World Model4 个项目3 个相关词还在变

在星图中看
小机器人伸手要碰桌上的球,头顶的想象泡里先演了一遍球滚落又弹起
说人话
人伸手之前会先在脑子里过一遍:这么一推,杯子会掉下去。这类常识几乎没人专门写成文字,模型从书里读不到,只能从视频和反复试错里学:眼下是这个样子,我做这个动作,下一刻会变成什么样。你会在机器人演示、自动驾驶仿真,以及能用方向键实时操控的生成画面里碰到它。
打个比方
像老司机不用真撞一次,就知道这个速度过弯会甩出去,他脑子里先跑了一遍。
说行话
英文 World Model。查论文要认两个关键词:latent dynamics 指在压缩后的状态空间里推演,action-conditioned 指按给定动作预测下一刻。落到产业里,它集中在具身智能和自动驾驶仿真的管线上。
潜台词
这个词眼下被三拨人同时在用:做可交互视频生成的、做机器人的、找下一代 AI 路线的,说的往往不是一回事。
别用它
别把视频生成模型直接当世界模型。画面逼真不等于懂物理,东西会凭空消失、互相穿模的就还不算。

拿这个能做什么4 个项目

  1. 01
    NVIDIA/cosmos

    英伟达开放的世界模型平台,含模型、数据集和工具

    选它当做机器人或自动驾驶,需要合成训练数据

  2. 02
    facebookresearch/vjepa2

    Meta 从视频里自监督学习世界表示的模型,不靠生成画面

    选它当想了解和视频生成不同的另一条路线

  3. 03
    danijar/dreamerv3

    在学到的世界模型里想象出经验来训练智能体的强化学习算法

    选它当研究强化学习,想看世界模型最经典的用法

  4. 04
    SkyworkAI/Matrix-Game

    开源的可交互世界模型,按操作实时生成后续画面

    选它当想亲手体验会随你操作而变化的虚拟世界

LLM 从文字里学到的是世界被怎么描述,世界模型想学的是世界怎么运转。这是下一代路线之争的核心,但对做应用的人来说,它眼下还是研究方向,不是能直接接进产品的工具。

动手试试做完就算会了

打开 rtfm.worldlabs.ai,开发者工具的 Network 里看 ws 连接的 Messages:站着不动只有几十字节的心跳,按住 W 一走,每条变成几十 KB 的 512×512 JPEG。拖右摇杆四处看看再点 recenter,画面和进场第一帧几乎一样:画过的帧按位置存着,回原处就拿来当底稿。

相关点进去继续查

局部星图:拖动节点看牵连,悬停只亮它的邻居,点一个词跳过去