高階 · 公開核心+會員工作紙

世界模型(World Models):內部模擬・下一狀態・Genie/Cosmos

公開約 30–45 分鐘 · 會員工作紙另加 · 聯絡 psyche@mail.grokbot.com

學習貼士

學習貼士

  • 由 Agentic · 世界模型 擴成獨立頁:先懂「下一狀態」。
  • PyBullet/MuJoCo 做行動→下一幀;RL 見 強化學習。
  • 官方專頁會更新;本頁教概念與學習順序。
  • 對照:Agentic · DL · CV · OPC。

一句話:世界模型=內部模擬,預測行動後的下一狀態(唔只係下一個字)。

是什麼 · vs LLM · 能力 · 應用 · 代表系統 · 學習路徑 · 銜接模擬/RL · 會員工作紙

1. 世界模型是什麼?

  • 內部模擬:在腦內想像環境如何隨行動演變。
  • 下一狀態:當前狀態+行動 → 預測下一狀態。
  • 規劃:在模擬裡試路徑再選行動(高風險場景要人類監督)。
  • 表示可深可淺:格子轉移表 → 影片/3D/物理一致生成世界。

2. 與 LLM 的差異(核心對照)

面向 大型語言模型(LLM) 世界模型(World Model)
主要預測什麼 下一個 token 環境的下一狀態
輸入典型形態 文字/多模態提示 狀態+行動
強項 語言推理、工具、知識綜合 物理/互動/因果演變
常見用途 對話、寫作、程式、Agent 編排 機器人、自駕、可交互環境、遊戲
一句記 LLM 預測下一個字;世界模型預測下一狀態。

實務上常互補:LLM 編排語言/工具;世界模型預測行動後世界變成怎樣。

3. 核心能力

  • 物理規律直覺:重力、碰撞、摩擦等。
  • 物件互動:推、抓、開門、堆疊。
  • 因果與時間:因 A 而 B;多步想像/反事實雛形。
  • 可交互生成:影片/圖像 → 可操作環境(Genie 方向)。

4. 應用方向

  • 機器人規劃:模擬試軌跡 → 真實機械臂/移動機器人。
  • 自駕/具身:虛擬大量試錯;Cosmos 等強調物理世界模擬。
  • 遊戲/可交互 3D:生成可玩世界。
  • 與 Agents:工具+語言編排;世界模型想像後果再行動。

5. 代表系統(公開摘要)

Google DeepMind

Google Genie

可交互環境/世界生成方向;以官方介紹與論文為準。

deepmind.google/models/genie/

NVIDIA

NVIDIA Cosmos

物理世界模擬與具身智能;請至 NVIDIA AI 搜尋 Cosmos 最新專頁。

nvidia.com · AI

World Labs

World Labs Marble

空間/3D 世界理解與生成;以 World Labs 官方為準。

Research

H-JEPA、Odyssey 等方向

研究路線:潛在空間下一狀態;名稱與公開程度會變。

6. 學習路徑(建議順序)

  1. 一句話:LLM→token;世界模型→下一狀態。
  2. PyBullet/MuJoCo:行動→觀察下一幀。
  3. 讀 Genie/Cosmos 官方介紹,對照模擬器現象。
  4. 入門:官方 Colab/文件 → 本地模擬器;DL 見 Deep Learning。
  5. 放回 Agent 全景:Agentic+路線圖。

7. 銜接:物理模擬・強化學習・機器人

入口:PyBullet · MuJoCo · Gymnasium · Spinning Up。

🔒 會員專屬:對照表深化・行動→狀態工作紙・系統閱讀清單・迷你實驗

解鎖:對照填空、行動→狀態實驗紀錄、系統閱讀檢查表、銜接規劃、一句話總結。會員 HK$50/月。

登入解鎖 開通會員

學習進度

登入會員後可標記完成並同步至儀表板。