Construction d'une ville en 3D à partir d'une seule image

Constructing a 3D Town from a Single Image

May 21, 2025

Auteurs: Kaizhi Zheng, Ruijian Zhang, Jing Gu, Jie Yang, Xin Eric Wang

cs.AI

Résumé

L'acquisition de scènes 3D détaillées nécessite généralement un équipement coûteux, des données multi-vues ou une modélisation laborieuse. Par conséquent, une alternative légère, générant des scènes 3D complexes à partir d'une seule image en vue de dessus, joue un rôle essentiel dans les applications réelles. Bien que les modèles génératifs 3D récents aient obtenu des résultats remarquables au niveau des objets, leur extension à la génération de scènes complètes entraîne souvent une géométrie incohérente, des hallucinations de disposition et des maillages de faible qualité. Dans ce travail, nous présentons 3DTown, un framework sans entraînement conçu pour synthétiser des scènes 3D réalistes et cohérentes à partir d'une seule vue de dessus. Notre méthode repose sur deux principes : la génération basée sur les régions pour améliorer l'alignement et la résolution image-à-3D, et l'inpainting 3D spatialement conscient pour assurer la cohérence globale de la scène et la génération de géométrie de haute qualité. Plus précisément, nous décomposons l'image d'entrée en régions qui se chevauchent et générons chacune d'elles à l'aide d'un générateur d'objets 3D pré-entraîné, suivi d'un processus d'inpainting par flux rectifié masqué qui comble la géométrie manquante tout en maintenant la continuité structurelle. Cette conception modulaire nous permet de surmonter les goulots d'étranglement de résolution et de préserver la structure spatiale sans nécessiter de supervision 3D ou de fine-tuning. Des expériences approfondies sur diverses scènes montrent que 3DTown surpasse les baselines de pointe, y compris Trellis, Hunyuan3D-2 et TripoSG, en termes de qualité de géométrie, de cohérence spatiale et de fidélité des textures. Nos résultats démontrent que la génération de villes 3D de haute qualité est réalisable à partir d'une seule image en utilisant une approche sans entraînement et fondée sur des principes.

English

Acquiring detailed 3D scenes typically demands costly equipment, multi-view data, or labor-intensive modeling. Therefore, a lightweight alternative, generating complex 3D scenes from a single top-down image, plays an essential role in real-world applications. While recent 3D generative models have achieved remarkable results at the object level, their extension to full-scene generation often leads to inconsistent geometry, layout hallucinations, and low-quality meshes. In this work, we introduce 3DTown, a training-free framework designed to synthesize realistic and coherent 3D scenes from a single top-down view. Our method is grounded in two principles: region-based generation to improve image-to-3D alignment and resolution, and spatial-aware 3D inpainting to ensure global scene coherence and high-quality geometry generation. Specifically, we decompose the input image into overlapping regions and generate each using a pretrained 3D object generator, followed by a masked rectified flow inpainting process that fills in missing geometry while maintaining structural continuity. This modular design allows us to overcome resolution bottlenecks and preserve spatial structure without requiring 3D supervision or fine-tuning. Extensive experiments across diverse scenes show that 3DTown outperforms state-of-the-art baselines, including Trellis, Hunyuan3D-2, and TripoSG, in terms of geometry quality, spatial coherence, and texture fidelity. Our results demonstrate that high-quality 3D town generation is achievable from a single image using a principled, training-free approach.