Construindo uma Cidade 3D a partir de uma Única Imagem

Constructing a 3D Town from a Single Image

May 21, 2025

Autores: Kaizhi Zheng, Ruijian Zhang, Jing Gu, Jie Yang, Xin Eric Wang

cs.AI

Resumo

A aquisição de cenas 3D detalhadas geralmente exige equipamentos caros, dados de múltiplas vistas ou modelagem intensiva em mão de obra. Portanto, uma alternativa leve, que gera cenas 3D complexas a partir de uma única imagem de vista superior, desempenha um papel essencial em aplicações do mundo real. Embora modelos generativos 3D recentes tenham alcançado resultados notáveis no nível de objetos, sua extensão para a geração de cenas completas frequentemente resulta em geometria inconsistente, alucinações de layout e malhas de baixa qualidade. Neste trabalho, apresentamos o 3DTown, uma estrutura sem necessidade de treinamento projetada para sintetizar cenas 3D realistas e coerentes a partir de uma única vista superior. Nosso método é baseado em dois princípios: geração baseada em regiões para melhorar o alinhamento e a resolução de imagem para 3D, e preenchimento 3D espacialmente consciente para garantir a coerência global da cena e a geração de geometria de alta qualidade. Especificamente, decompomos a imagem de entrada em regiões sobrepostas e geramos cada uma usando um gerador de objetos 3D pré-treinado, seguido por um processo de preenchimento de fluxo retificado com máscara que preenche a geometria ausente enquanto mantém a continuidade estrutural. Esse design modular nos permite superar gargalos de resolução e preservar a estrutura espacial sem a necessidade de supervisão 3D ou ajuste fino. Experimentos extensos em diversas cenas mostram que o 3DTown supera as bases de referência mais avançadas, incluindo Trellis, Hunyuan3D-2 e TripoSG, em termos de qualidade de geometria, coerência espacial e fidelidade de textura. Nossos resultados demonstram que a geração de cidades 3D de alta qualidade é alcançável a partir de uma única imagem usando uma abordagem fundamentada e sem necessidade de treinamento.

English

Acquiring detailed 3D scenes typically demands costly equipment, multi-view data, or labor-intensive modeling. Therefore, a lightweight alternative, generating complex 3D scenes from a single top-down image, plays an essential role in real-world applications. While recent 3D generative models have achieved remarkable results at the object level, their extension to full-scene generation often leads to inconsistent geometry, layout hallucinations, and low-quality meshes. In this work, we introduce 3DTown, a training-free framework designed to synthesize realistic and coherent 3D scenes from a single top-down view. Our method is grounded in two principles: region-based generation to improve image-to-3D alignment and resolution, and spatial-aware 3D inpainting to ensure global scene coherence and high-quality geometry generation. Specifically, we decompose the input image into overlapping regions and generate each using a pretrained 3D object generator, followed by a masked rectified flow inpainting process that fills in missing geometry while maintaining structural continuity. This modular design allows us to overcome resolution bottlenecks and preserve spatial structure without requiring 3D supervision or fine-tuning. Extensive experiments across diverse scenes show that 3DTown outperforms state-of-the-art baselines, including Trellis, Hunyuan3D-2, and TripoSG, in terms of geometry quality, spatial coherence, and texture fidelity. Our results demonstrate that high-quality 3D town generation is achievable from a single image using a principled, training-free approach.