WorldFlow3D: 무한한 세계 생성을 위한 3D 분포 흐름 학습

WorldFlow3D: Flowing Through 3D Distributions for Unbounded World Generation

March 31, 2026

저자: Amogh Joshi, Julian Ost, Felix Heide

cs.AI

초록

무제한 3D 세계 생성은 컴퓨터 비전, 그래픽스 및 로봇공학 분야의 장면 모델링을 위한 기초적인 과제로 부상하고 있습니다. 본 연구에서는 무제한 3D 세계를 생성할 수 있는 새로운 방법인 WorldFlow3D를 제안합니다. 플로우 매칭의 기본 특성, 즉 두 데이터 분포 간의 전송 경로를 정의하는 것을 바탕으로, 우리는 3D 생성을 조건부 노이즈 제한에 국한되지 않고 3D 데이터 분포를 통해 흐르는 문제로 보다 일반적으로 모델링합니다. 우리의 라텐트-프리(latent-free) 플로우 접근법은 인과적이고 정확한 3D 구조를 생성하며, 이를 더 복잡한 구조와 고품질 텍스처의 생성을 안내하는 중간 분포로 활용할 수 있습니다. 이 모든 것은 기존 방법보다 더 빠르게 수렴하면서 이루어집니다. 우리는 기하학적 구조 제어를 위한 벡터화된 장면 레이아웃 조건과 장면 속성을 통한 시각적 텍스처 제어를 통해 생성된 장면에 대한 제어 가능성을 제공합니다. WorldFlow3D의 효과를 실제 야외 주행 장면과 합성 실내 장면 모두에서 확인하여, 실제 데이터 분포에 대한 크로스-도메인 일반화 성능과 고품질 생성을 검증합니다. 무제한 장면 생성을 위한 모든 테스트 설정에서 기존 접근법 대비 유리한 장면 생성 정확도를 확인합니다. 자세한 내용은 https://light.princeton.edu/worldflow3d를 참조하십시오.

English

Unbounded 3D world generation is emerging as a foundational task for scene modeling in computer vision, graphics, and robotics. In this work, we present WorldFlow3D, a novel method capable of generating unbounded 3D worlds. Building upon a foundational property of flow matching - namely, defining a path of transport between two data distributions - we model 3D generation more generally as a problem of flowing through 3D data distributions, not limited to conditional denoising. We find that our latent-free flow approach generates causal and accurate 3D structure, and can use this as an intermediate distribution to guide the generation of more complex structure and high-quality texture - all while converging more rapidly than existing methods. We enable controllability over generated scenes with vectorized scene layout conditions for geometric structure control and visual texture control through scene attributes. We confirm the effectiveness of WorldFlow3D on both real outdoor driving scenes and synthetic indoor scenes, validating cross-domain generalizability and high-quality generation on real data distributions. We confirm favorable scene generation fidelity over approaches in all tested settings for unbounded scene generation. For more, see https://light.princeton.edu/worldflow3d.