VisualPatchWorld: 計画のための潜在構造表現としてのコードワールドモデル

要旨

異なる研究系統では「世界モデル」という用語を異なる意味で用いているが、知覚・シミュレーション・計画を支援する形で、行動下での世界の進化を捉えるという共通の目的を共有している。代表的な実現例として、連続ベクトル空間で力学を学習する神経予測器と、明示的な状態と物理法則を公開する手組の物理エンジンがある。神経予測器はデータからスケールするが、力学の形式は暗黙のままである。物理エンジンは検査・編集が可能だが、大規模に構築するのは困難である。本稿では、世界の力学をコードとして表現するVisualPatchWorld (VPW)を紹介する。VPWはまず、短い能動的プローブを用いて定性的な力学形式を選択し、次に記録された状態行動軌跡から多段階予測誤差を最小化することで、その形式の自由パラメータを適合させる。得られたプログラムはシミュレータのように前進させることができ、ソース形式で検査可能であり、モデル予測制御内で使用できる。画像由来のシーングラフは再計画時にライブ状態を提供する。従来のコードベース世界モデルとの比較において、VPWは平均計画成功率69.0%を達成し、最強のコードベースラインを23.5ポイント上回る。最大の向上は、正しい定性的力学の選択が不可欠な場合に生じる。同一のプランナーの下で、誘導されたモデルは、ナビゲーションや把持を多用する制御において真値エンジンの成功率に近づく。接触を伴う押し動作では残差ギャップが残るが、エンジン内で有望な計画の短いリストを確認することで、そのギャップのほとんどが解消される。これらの結果は、計画に有用な自動構築コード世界モデルへの実用的な経路を確立する。コードはhttps://github.com/HKBU-KnowComp/VisualPatchWorld/で入手可能である。

English

Different research lines use the term world model in different ways, yet they share a common aim: to capture how the world evolves under action in a form that supports perception, simulation, and planning. Two prominent realizations are neural predictors that learn dynamics in continuous vector spaces, and hand-built physics engines that expose explicit state and physical laws. Neural predictors scale from data but leave the form of the dynamics implicit; physics engines are inspectable and editable but difficult to construct at scale. We introduce VisualPatchWorld (VPW), which represents world dynamics as code. VPW first selects a qualitative dynamical form with short active probes, then fits that form's free parameters from recorded state-action traces by minimizing multi-step prediction error. The resulting programs can be rolled forward like a simulator, inspected in source form, and used inside model-predictive control; image-derived scene graphs can supply the live state at replan time. Across comparisons with prior code-based world models, VPW attains 69.0% mean planning success and exceeds the strongest code baseline by 23.5 points. The largest gains arise when choosing the correct qualitative dynamics is essential. Under the same planner, the induced models approach ground-truth engine success on navigation and grasp-rich control; a residual gap remains for contact-rich pushing, and checking a shortlist of promising plans in the engine closes most of that gap. These results establish a practical route toward automatically constructed code world models that are useful for planning. Code is available at https://github.com/HKBU-KnowComp/VisualPatchWorld/.