Создание трехмерного города из одного изображения

Constructing a 3D Town from a Single Image

May 21, 2025

Авторы: Kaizhi Zheng, Ruijian Zhang, Jing Gu, Jie Yang, Xin Eric Wang

cs.AI

Аннотация

Получение детализированных 3D-сцен обычно требует дорогостоящего оборудования, данных с нескольких ракурсов или трудоемкого моделирования. Поэтому легковесная альтернатива — генерация сложных 3D-сцен из одного изображения сверху — играет важную роль в реальных приложениях. Хотя современные 3D-генеративные модели достигли впечатляющих результатов на уровне объектов, их расширение до генерации полных сцен часто приводит к несогласованной геометрии, ошибкам в композиции и низкокачественным мешам. В данной работе мы представляем 3DTown — обучение-независимый фреймворк, предназначенный для синтеза реалистичных и согласованных 3D-сцен из одного изображения сверху. Наш метод основан на двух принципах: региональная генерация для улучшения соответствия и разрешения при переходе от изображения к 3D, и пространственно-осознанное 3D-восстановление для обеспечения глобальной согласованности сцены и высококачественной генерации геометрии. В частности, мы разбиваем входное изображение на перекрывающиеся области и генерируем каждую с использованием предобученного 3D-генератора объектов, после чего применяем процесс восстановления с маскированным исправлением потока, который заполняет недостающую геометрию, сохраняя структурную непрерывность. Этот модульный подход позволяет преодолеть ограничения по разрешению и сохранить пространственную структуру без необходимости 3D-надзора или дообучения. Многочисленные эксперименты на разнообразных сценах показывают, что 3DTown превосходит современные базовые методы, включая Trellis, Hunyuan3D-2 и TripoSG, по качеству геометрии, пространственной согласованности и точности текстур. Наши результаты демонстрируют, что высококачественная генерация 3D-городов возможна из одного изображения с использованием принципиального, обучение-независимого подхода.

English

Acquiring detailed 3D scenes typically demands costly equipment, multi-view data, or labor-intensive modeling. Therefore, a lightweight alternative, generating complex 3D scenes from a single top-down image, plays an essential role in real-world applications. While recent 3D generative models have achieved remarkable results at the object level, their extension to full-scene generation often leads to inconsistent geometry, layout hallucinations, and low-quality meshes. In this work, we introduce 3DTown, a training-free framework designed to synthesize realistic and coherent 3D scenes from a single top-down view. Our method is grounded in two principles: region-based generation to improve image-to-3D alignment and resolution, and spatial-aware 3D inpainting to ensure global scene coherence and high-quality geometry generation. Specifically, we decompose the input image into overlapping regions and generate each using a pretrained 3D object generator, followed by a masked rectified flow inpainting process that fills in missing geometry while maintaining structural continuity. This modular design allows us to overcome resolution bottlenecks and preserve spatial structure without requiring 3D supervision or fine-tuning. Extensive experiments across diverse scenes show that 3DTown outperforms state-of-the-art baselines, including Trellis, Hunyuan3D-2, and TripoSG, in terms of geometry quality, spatial coherence, and texture fidelity. Our results demonstrate that high-quality 3D town generation is achievable from a single image using a principled, training-free approach.