WorldGen: 텍스트에서 이동 가능하고 상호작용 가능한 3D 세계 생성

초록

월드젠(WorldGen)은 텍스트 프롬프트로부터 대규모 인터랙티브 3D 세계를 자동 생성할 수 있는 시스템을 소개합니다. 우리의 접근 방식은 자연어 설명을 표준 게임 엔진 내에서 즉시 탐색하거나 편집 가능한 완전한 텍스처가 적용된 이동 가능 환경으로 변환합니다. LLM 기반 장면 레이아웃 추론, 절차적 생성, 확산 기반 3D 생성 및 객체 인식 장면 분해를 결합함으로써 월드젠은 창의적 의도와 기능적 가상 공간 간의 간극을 메꾸어, 창작자들이 수동 모델링이나 전문 3D 기술 없이도 일관되고 탐색 가능한 세계를 설계할 수 있게 합니다. 본 시스템은 완전히 모듈화되어 레이아웃, 규모, 스타일에 대한 세밀한 제어를 지원하며, 기하학적으로 일관되고 시각적으로 풍부하며 실시간 렌더링에 효율적인 세계를 생성합니다. 이 작업은 게임, 시뮬레이션, 몰입형 소셜 환경 등에 적용 가능한 3D 생성 AI의 최전선을 발전시키며, 대규모 생성형 월드 빌딩의 접근성을 높이는 한 걸음을 나타냅니다.

English

We introduce WorldGen, a system that enables the automatic creation of large-scale, interactive 3D worlds directly from text prompts. Our approach transforms natural language descriptions into traversable, fully textured environments that can be immediately explored or edited within standard game engines. By combining LLM-driven scene layout reasoning, procedural generation, diffusion-based 3D generation, and object-aware scene decomposition, WorldGen bridges the gap between creative intent and functional virtual spaces, allowing creators to design coherent, navigable worlds without manual modeling or specialized 3D expertise. The system is fully modular and supports fine-grained control over layout, scale, and style, producing worlds that are geometrically consistent, visually rich, and efficient to render in real time. This work represents a step towards accessible, generative world-building at scale, advancing the frontier of 3D generative AI for applications in gaming, simulation, and immersive social environments.

WorldGen: 텍스트에서 이동 가능하고 상호작용 가능한 3D 세계 생성

WorldGen: From Text to Traversable and Interactive 3D Worlds

초록

Support