Konstruktion einer 3D-Stadt aus einem einzelnen Bild

Constructing a 3D Town from a Single Image

May 21, 2025

Autoren: Kaizhi Zheng, Ruijian Zhang, Jing Gu, Jie Yang, Xin Eric Wang

cs.AI

Zusammenfassung

Die Erfassung detaillierter 3D-Szenen erfordert in der Regel teure Ausrüstung, Multi-View-Daten oder arbeitsintensive Modellierung. Daher spielt eine leichtgewichtige Alternative, die komplexe 3D-Szenen aus einem einzigen Draufsichtsbild generiert, eine wesentliche Rolle in realen Anwendungen. Während aktuelle 3D-Generierungsmodelle auf Objektebene bemerkenswerte Ergebnisse erzielt haben, führt ihre Erweiterung auf die Generierung vollständiger Szenen oft zu inkonsistenter Geometrie, Layout-Halluzinationen und qualitativ minderwertigen Meshes. In dieser Arbeit stellen wir 3DTown vor, ein trainingsfreies Framework, das darauf ausgelegt ist, realistische und kohärente 3D-Szenen aus einer einzigen Draufsicht zu synthetisieren. Unser Ansatz basiert auf zwei Prinzipien: regionsbasierte Generierung zur Verbesserung der Bild-zu-3D-Ausrichtung und Auflösung sowie raumbewusstes 3D-Inpainting, um globale Szenenkohärenz und hochwertige Geometriegenerierung sicherzustellen. Konkret zerlegen wir das Eingabebild in überlappende Regionen und generieren jede mithilfe eines vortrainierten 3D-Objekterzeugers, gefolgt von einem maskierten rectified flow-Inpainting-Prozess, der fehlende Geometrie auffüllt und gleichzeitig die strukturelle Kontinuität bewahrt. Dieser modulare Ansatz ermöglicht es uns, Auflösungsengpässe zu überwinden und die räumliche Struktur zu bewahren, ohne 3D-Aufsicht oder Feinabstimmung zu benötigen. Umfangreiche Experimente in verschiedenen Szenen zeigen, dass 3DTown state-of-the-art Baselines wie Trellis, Hunyuan3D-2 und TripoSG in Bezug auf Geometriequalität, räumliche Kohärenz und Texturtreue übertrifft. Unsere Ergebnisse demonstrieren, dass hochwertige 3D-Stadtgenerierung aus einem einzigen Bild mit einem prinzipienbasierten, trainingsfreien Ansatz möglich ist.

English

Acquiring detailed 3D scenes typically demands costly equipment, multi-view data, or labor-intensive modeling. Therefore, a lightweight alternative, generating complex 3D scenes from a single top-down image, plays an essential role in real-world applications. While recent 3D generative models have achieved remarkable results at the object level, their extension to full-scene generation often leads to inconsistent geometry, layout hallucinations, and low-quality meshes. In this work, we introduce 3DTown, a training-free framework designed to synthesize realistic and coherent 3D scenes from a single top-down view. Our method is grounded in two principles: region-based generation to improve image-to-3D alignment and resolution, and spatial-aware 3D inpainting to ensure global scene coherence and high-quality geometry generation. Specifically, we decompose the input image into overlapping regions and generate each using a pretrained 3D object generator, followed by a masked rectified flow inpainting process that fills in missing geometry while maintaining structural continuity. This modular design allows us to overcome resolution bottlenecks and preserve spatial structure without requiring 3D supervision or fine-tuning. Extensive experiments across diverse scenes show that 3DTown outperforms state-of-the-art baselines, including Trellis, Hunyuan3D-2, and TripoSG, in terms of geometry quality, spatial coherence, and texture fidelity. Our results demonstrate that high-quality 3D town generation is achievable from a single image using a principled, training-free approach.