Costruire una Città 3D da una Singola Immagine

Constructing a 3D Town from a Single Image

May 21, 2025

Autori: Kaizhi Zheng, Ruijian Zhang, Jing Gu, Jie Yang, Xin Eric Wang

cs.AI

Abstract

L'acquisizione di scene 3D dettagliate richiede tipicamente attrezzature costose, dati multi-vista o una modellazione laboriosa. Pertanto, un'alternativa leggera, che genera scene 3D complesse a partire da una singola immagine dall'alto, svolge un ruolo essenziale nelle applicazioni reali. Sebbene i recenti modelli generativi 3D abbiano ottenuto risultati notevoli a livello di oggetti, la loro estensione alla generazione di intere scene spesso porta a geometrie inconsistenti, allucinazioni di layout e mesh di bassa qualità. In questo lavoro, presentiamo 3DTown, un framework senza addestramento progettato per sintetizzare scene 3D realistiche e coerenti da una singola vista dall'alto. Il nostro metodo si basa su due principi: generazione basata su regioni per migliorare l'allineamento e la risoluzione da immagine a 3D, e inpainting 3D consapevole dello spazio per garantire la coerenza globale della scena e la generazione di geometrie di alta qualità. Nello specifico, scomponiamo l'immagine di input in regioni sovrapposte e generiamo ciascuna utilizzando un generatore di oggetti 3D pre-addestrato, seguito da un processo di inpainting a flusso rettificato mascherato che riempie la geometria mancante mantenendo la continuità strutturale. Questo design modulare ci permette di superare i colli di bottiglia della risoluzione e preservare la struttura spaziale senza richiedere supervisione 3D o fine-tuning. Esperimenti estesi su diverse scene dimostrano che 3DTown supera i migliori baseline, tra cui Trellis, Hunyuan3D-2 e TripoSG, in termini di qualità della geometria, coerenza spaziale e fedeltà delle texture. I nostri risultati dimostrano che la generazione di città 3D di alta qualità è realizzabile da una singola immagine utilizzando un approccio principiato e senza addestramento.

English

Acquiring detailed 3D scenes typically demands costly equipment, multi-view data, or labor-intensive modeling. Therefore, a lightweight alternative, generating complex 3D scenes from a single top-down image, plays an essential role in real-world applications. While recent 3D generative models have achieved remarkable results at the object level, their extension to full-scene generation often leads to inconsistent geometry, layout hallucinations, and low-quality meshes. In this work, we introduce 3DTown, a training-free framework designed to synthesize realistic and coherent 3D scenes from a single top-down view. Our method is grounded in two principles: region-based generation to improve image-to-3D alignment and resolution, and spatial-aware 3D inpainting to ensure global scene coherence and high-quality geometry generation. Specifically, we decompose the input image into overlapping regions and generate each using a pretrained 3D object generator, followed by a masked rectified flow inpainting process that fills in missing geometry while maintaining structural continuity. This modular design allows us to overcome resolution bottlenecks and preserve spatial structure without requiring 3D supervision or fine-tuning. Extensive experiments across diverse scenes show that 3DTown outperforms state-of-the-art baselines, including Trellis, Hunyuan3D-2, and TripoSG, in terms of geometry quality, spatial coherence, and texture fidelity. Our results demonstrate that high-quality 3D town generation is achievable from a single image using a principled, training-free approach.