Een 3D-stad bouwen vanuit een enkele afbeelding

Samenvatting

Het verkrijgen van gedetailleerde 3D-scènes vereist doorgaans kostbare apparatuur, multi-view data of arbeidsintensieve modellering. Daarom speelt een lichtgewicht alternatief, het genereren van complexe 3D-scènes vanuit een enkele bovenaanzichtsfoto, een essentiële rol in praktische toepassingen. Hoewel recente 3D-generatieve modellen opmerkelijke resultaten hebben behaald op objectniveau, leidt hun uitbreiding naar volledige scènegeneratie vaak tot inconsistente geometrie, layouthallucinaties en meshmodellen van lage kwaliteit. In dit werk introduceren we 3DTown, een trainingsvrij raamwerk ontworpen om realistische en samenhangende 3D-scènes te synthetiseren vanuit een enkel bovenaanzicht. Onze methode is gebaseerd op twee principes: regio-gebaseerde generatie om de afstemming en resolutie van beeld-naar-3D te verbeteren, en ruimtelijk bewuste 3D-inpainting om globale scènecoherentie en hoogwaardige geometriegeneratie te waarborgen. Specifiek ontleden we de invoerafbeelding in overlappende regio's en genereren we elk ervan met behulp van een vooraf getrainde 3D-objectgenerator, gevolgd door een gemaskeerd rectified flow-inpaintingproces dat ontbrekende geometrie invult terwijl structurele continuïteit behouden blijft. Dit modulaire ontwerp stelt ons in staat om resolutiebeperkingen te overwinnen en de ruimtelijke structuur te behouden zonder 3D-supervisie of fine-tuning nodig te hebben. Uitgebreide experimenten in diverse scènes tonen aan dat 3DTown state-of-the-art baselines, waaronder Trellis, Hunyuan3D-2 en TripoSG, overtreft op het gebied van geometriekwaliteit, ruimtelijke coherentie en textuurgetrouwheid. Onze resultaten demonstreren dat hoogwaardige 3D-stadsgeneratie haalbaar is vanuit een enkele afbeelding met een principieel, trainingsvrij aanpak.

English

Acquiring detailed 3D scenes typically demands costly equipment, multi-view data, or labor-intensive modeling. Therefore, a lightweight alternative, generating complex 3D scenes from a single top-down image, plays an essential role in real-world applications. While recent 3D generative models have achieved remarkable results at the object level, their extension to full-scene generation often leads to inconsistent geometry, layout hallucinations, and low-quality meshes. In this work, we introduce 3DTown, a training-free framework designed to synthesize realistic and coherent 3D scenes from a single top-down view. Our method is grounded in two principles: region-based generation to improve image-to-3D alignment and resolution, and spatial-aware 3D inpainting to ensure global scene coherence and high-quality geometry generation. Specifically, we decompose the input image into overlapping regions and generate each using a pretrained 3D object generator, followed by a masked rectified flow inpainting process that fills in missing geometry while maintaining structural continuity. This modular design allows us to overcome resolution bottlenecks and preserve spatial structure without requiring 3D supervision or fine-tuning. Extensive experiments across diverse scenes show that 3DTown outperforms state-of-the-art baselines, including Trellis, Hunyuan3D-2, and TripoSG, in terms of geometry quality, spatial coherence, and texture fidelity. Our results demonstrate that high-quality 3D town generation is achievable from a single image using a principled, training-free approach.

Een 3D-stad bouwen vanuit een enkele afbeelding

Constructing a 3D Town from a Single Image

Samenvatting

Support