Code2Worlds: Het Machtigen van Coderende LLM's voor 4D Wereldgeneratie
Code2Worlds: Empowering Coding LLMs for 4D World Generation
February 12, 2026
Auteurs: Yi Zhang, Yunshuang Wang, Zeyu Zhang, Hao Tang
cs.AI
Samenvatting
Het bereiken van ruimtelijke intelligentie vereist dat men verder gaat dan visuele geloofwaardigheid om wereldsimulators te bouwen die zijn gegrond in fysische wetten. Hoewel coderende LLM's de statische 3D-scènegeneratie hebben verbeterd, blijft het uitbreiden van dit paradigma naar 4D-dynamica een cruciaal onderzoeksfront. Deze taak kent twee fundamentele uitdagingen: verstrengeling van context op meerdere schalen, waarbij monolithische generatie faalt om lokale objectstructuren te balanceren met globale omgevingslay-outs; en een semantisch-fysische uitvoeringskloof, waarbij open-loop codegeneratie leidt tot fysische hallucinaties die dynamische nauwkeurigheid missen. Wij introduceren Code2Worlds, een raamwerk dat 4D-generatie formuleert als taal-naar-simulatiecodegeneratie. Ten eerste stellen we een dual-stream architectuur voor die objectgeneratie verrijkt met retrievals ontwart van hiërarchische omgevingsorchestratie. Ten tweede, om dynamische nauwkeurigheid te waarborgen, vestigen we een fysica-bewust closed-loop mechanisme waarin een PostProcess Agent dynamiek script, gekoppeld aan een VLM-Motion Critic die zelfreflectie uitvoert om simulatiewcode iteratief te verfijnen. Evaluaties op de Code4D-benchmark tonen aan dat Code2Worlds baseline-methoden overtreft met een winst van 41% in SGS en 49% hogere Rijkheid, terwijl het uniek fysica-bewuste dynamiek genereert die afwezig is in eerdere statische methoden. Code: https://github.com/AIGeeksGroup/Code2Worlds. Website: https://aigeeksgroup.github.io/Code2Worlds.
English
Achieving spatial intelligence requires moving beyond visual plausibility to build world simulators grounded in physical laws. While coding LLMs have advanced static 3D scene generation, extending this paradigm to 4D dynamics remains a critical frontier. This task presents two fundamental challenges: multi-scale context entanglement, where monolithic generation fails to balance local object structures with global environmental layouts; and a semantic-physical execution gap, where open-loop code generation leads to physical hallucinations lacking dynamic fidelity. We introduce Code2Worlds, a framework that formulates 4D generation as language-to-simulation code generation. First, we propose a dual-stream architecture that disentangles retrieval-augmented object generation from hierarchical environmental orchestration. Second, to ensure dynamic fidelity, we establish a physics-aware closed-loop mechanism in which a PostProcess Agent scripts dynamics, coupled with a VLM-Motion Critic that performs self-reflection to iteratively refine simulation code. Evaluations on the Code4D benchmark show Code2Worlds outperforms baselines with a 41% SGS gain and 49% higher Richness, while uniquely generating physics-aware dynamics absent in prior static methods. Code: https://github.com/AIGeeksGroup/Code2Worlds. Website: https://aigeeksgroup.github.io/Code2Worlds.