Code2Worlds: 코딩 LLM의 4D 세계 생성 역량 강화

Code2Worlds: Empowering Coding LLMs for 4D World Generation

February 12, 2026

저자: Yi Zhang, Yunshuang Wang, Zeyu Zhang, Hao Tang

cs.AI

초록

공간 지능을 달성하기 위해서는 시각적 타당성을 넘어 물리 법칙에 기반한 세계 시뮬레이터를 구축해야 합니다. 코드 생성 LLM이 정적인 3D 장면 생성에서 진전을 보였지만, 이러한 패러다임을 4D 동역학으로 확장하는 것은 여전히 중요한 과제로 남아 있습니다. 이 과제는 두 가지 근본적인难题를 제기합니다: 단일 생성 방식이 지역적 객체 구조와 전역적 환경 배치의 균형을 맞추지 못하는 '다중 규모 문맥 얽힘' 문제, 그리고 개방형 루프 코드 생성이 동적 정확도를 결여한 물리적 환각을 초래하는 '의미론-물리학 실행 격차' 문제가 그것입니다. 우리는 4D 생성을 언어-대-시뮬레이션 코드 생성으로 공식화하는 Code2Worlds 프레임워크를 소개합니다. 첫째, 검색 증강 객체 생성과 계층적 환경 오케스트레이션을 분리하는 이중 스트림 아키텍처를 제안합니다. 둘째, 동적 정확도를 보장하기 위해 PostProcess Agent가 동역학을 스크립팅하고 VLM-Motion Critic이 자체 반성을 수행하여 시뮬레이션 코드를 반복적으로 개선하는 물리 인식 폐쇄형 루프 메커니즘을 구축합니다. Code4D 벤치마크 평가에서 Code2Worlds는 기준선 대비 41%의 SGS 향상과 49% 높은 풍부함을 보였으며, 기존 정적 방법에서는 볼 수 없었던 물리 인식 동역학을 유일하게 생성했습니다. 코드: https://github.com/AIGeeksGroup/Code2Worlds. 웹사이트: https://aigeeksgroup.github.io/Code2Worlds.

English

Achieving spatial intelligence requires moving beyond visual plausibility to build world simulators grounded in physical laws. While coding LLMs have advanced static 3D scene generation, extending this paradigm to 4D dynamics remains a critical frontier. This task presents two fundamental challenges: multi-scale context entanglement, where monolithic generation fails to balance local object structures with global environmental layouts; and a semantic-physical execution gap, where open-loop code generation leads to physical hallucinations lacking dynamic fidelity. We introduce Code2Worlds, a framework that formulates 4D generation as language-to-simulation code generation. First, we propose a dual-stream architecture that disentangles retrieval-augmented object generation from hierarchical environmental orchestration. Second, to ensure dynamic fidelity, we establish a physics-aware closed-loop mechanism in which a PostProcess Agent scripts dynamics, coupled with a VLM-Motion Critic that performs self-reflection to iteratively refine simulation code. Evaluations on the Code4D benchmark show Code2Worlds outperforms baselines with a 41% SGS gain and 49% higher Richness, while uniquely generating physics-aware dynamics absent in prior static methods. Code: https://github.com/AIGeeksGroup/Code2Worlds. Website: https://aigeeksgroup.github.io/Code2Worlds.