Map2World: 세그먼트 맵 조건 기반 텍스트-3D 월드 생성

초록

3D 세계 생성은 몰입형 콘텐츠 제작이나 자율 주행 시뮬레이션과 같은 애플리케이션에 필수적입니다. 3D 세계 생성 분야의 최근 발전은 유망한 결과를 보여주고 있지만, 이러한 방법들은 격자형 레이아웃에 제약을 받으며 전체 세계에 걸쳐 객체 크기의 불일치 문제를 겪습니다. 본 연구에서는 사용자가 정의한 임의의 형태와 크기를 가진 세그먼트 맵을 조건으로 전역적 규모 일관성과 광활한 환경 전반의 유연성을 보장하는 3D 세계 생성을 가능하게 하는 새로운 프레임워크인 Map2World를 소개합니다. 생성 품질을 더욱 향상시키기 위해 세계의 세부 사항을 생성하는 디테일 향상 네트워크를 제안합니다. 이 디테일 향상기는 전체 구조 정보를 통합하여 장면의 전반적인 일관성을 해치지 않으면서 정교한 세부 요소를 추가할 수 있게 합니다. 우리는 자산 생성기의 강력한 사전 지식을 활용하도록 전체 파이프라인을 설계하여 장면 생성에 대한 훈련 데이터가 제한적인 상황에서도 다양한 도메인에 걸쳐 견고한 일반화 성능을 달성합니다. 폭넓은 실험을 통해 우리의 방법이 사용자 제어성, 규모 일관성, 콘텐츠 일관성 측면에서 기존 접근법을 크게 능가하며, 사용자가 더 복잡한 조건 하에서 3D 세계를 생성할 수 있음을 입증합니다.

English

3D world generation is essential for applications such as immersive content creation or autonomous driving simulation. Recent advances in 3D world generation have shown promising results; however, these methods are constrained by grid layouts and suffer from inconsistencies in object scale throughout the entire world. In this work, we introduce a novel framework, Map2World, that first enables 3D world generation conditioned on user-defined segment maps of arbitrary shapes and scales, ensuring global-scale consistency and flexibility across expansive environments. To further enhance the quality, we propose a detail enhancer network that generates fine details of the world. The detail enhancer enables the addition of fine-grained details without compromising overall scene coherence by incorporating global structure information. We design the entire pipeline to leverage strong priors from asset generators, achieving robust generalization across diverse domains, even under limited training data for scene generation. Extensive experiments demonstrate that our method significantly outperforms existing approaches in user-controllability, scale consistency, and content coherence, enabling users to generate 3D worlds under more complex conditions.

Map2World: 세그먼트 맵 조건 기반 텍스트-3D 월드 생성

Map2World: Segment Map Conditioned Text to 3D World Generation

초록

Support