Code2Worlds: コーディングLLMによる4Dワールド生成の実現
Code2Worlds: Empowering Coding LLMs for 4D World Generation
February 12, 2026
著者: Yi Zhang, Yunshuang Wang, Zeyu Zhang, Hao Tang
cs.AI
要旨
空間的知能を達成するには、視覚的な妥当性を超えて、物理法則に基づいた世界シミュレーターを構築する必要がある。コード生成LLMは静的な3Dシーン生成を進展させたが、このパラダイムを4Dダイナミクスに拡張することは依然として重要な課題である。本課題には2つの根本的課題がある：マルチスケール文脈の絡み合い（単一的な生成では局所的なオブジェクト構造と大域的な環境レイアウトのバランスが取れない）と、意味論的・物理的実行ギャップ（オープンループのコード生成は動的忠実性に欠ける物理的幻覚を引き起こす）である。我々はCode2Worldsを提案する。これは4D生成を言語からシミュレーションコードへの生成として定式化するフレームワークである。第一に、検索強化されたオブジェクト生成と階層的な環境オーケストレーションを分離するデュアルストリームアーキテクチャを提案する。第二に、動的忠実性を確保するため、物理を考慮した閉ループ機構を確立する。これは動的特性をスクリプトする後処理エージェントと、自己反省を行ってシミュレーションコードを反復的に改良するVLMモーション批評家を連動させる。Code4Dベンチマークによる評価では、Code2Worldsがベースラインを41%のSGS向上と49%高いRichnessで上回り、従来の静的手法にはない物理を考慮したダイナミクスを独自に生成することを示した。コード：https://github.com/AIGeeksGroup/Code2Worlds。ウェブサイト：https://aigeeksgroup.github.io/Code2Worlds。
English
Achieving spatial intelligence requires moving beyond visual plausibility to build world simulators grounded in physical laws. While coding LLMs have advanced static 3D scene generation, extending this paradigm to 4D dynamics remains a critical frontier. This task presents two fundamental challenges: multi-scale context entanglement, where monolithic generation fails to balance local object structures with global environmental layouts; and a semantic-physical execution gap, where open-loop code generation leads to physical hallucinations lacking dynamic fidelity. We introduce Code2Worlds, a framework that formulates 4D generation as language-to-simulation code generation. First, we propose a dual-stream architecture that disentangles retrieval-augmented object generation from hierarchical environmental orchestration. Second, to ensure dynamic fidelity, we establish a physics-aware closed-loop mechanism in which a PostProcess Agent scripts dynamics, coupled with a VLM-Motion Critic that performs self-reflection to iteratively refine simulation code. Evaluations on the Code4D benchmark show Code2Worlds outperforms baselines with a 41% SGS gain and 49% higher Richness, while uniquely generating physics-aware dynamics absent in prior static methods. Code: https://github.com/AIGeeksGroup/Code2Worlds. Website: https://aigeeksgroup.github.io/Code2Worlds.