TerraDiT-Ω: Geünificeerde ruimtelijke controle voor satellietbeeldsynthese met elke geospatiale primitieve

Samenvatting

Generatieve modellen hebben opmerkelijke vooruitgang geboekt, maar het toepassen ervan op satellietbeelden blijft een uitdaging. In tegenstelling tot natuurlijke beelden worden satellietscènes gestructureerd door ruimtelijk complexe en semantisch verschillende geometrieën. Eerder werk pakt deze complexiteit aan door natuurlijke beeldkaders aan te passen met behulp van dichte rasters of spaarzame prompts, waarbij een afweging wordt gemaakt tussen annotatiekosten en getrouwheid, terwijl de compatibiliteit met vectorprimitiveven die doorgaans worden gebruikt om geografische informatie weer te geven, wordt verbroken. We introduceren TerraDiT-Ω, een uniform ruimtelijk controlekader dat satellietbeelden direct genereert vanuit elke native geospatiale primitief. Door gezamenlijk gebruik te maken van precieze annotaties (polygonen, polylijnen) en grovere annotaties (bounding boxes, punten), ondersteunt het model controleerbare lay-outs over variërende annotatiebudgetten, wat de toepasbaarheid vergroot voor ontwerptaken zoals stedelijke planning, terwijl het van nature compatibel blijft met end-to-end GeoAI-workflows. Om deze primitieven effectief te benutten tijdens de generatie, stellen we Geometry-Aware Local Attention voor, een conditioneringsmechanisme dat expliciete geometrische aanwijzingen in de aandachtsruimte injecteert. Over alle conditioneringsformaten heen presteert onze aanpak consistent beter dan zowel dichte-controle- als spaarzame-controle-baselines. Bovendien maakt deze flexibiliteit controleerbare synthetische data-augmentatie mogelijk met behulp van een enkel generatief model, wat de downstream-prestaties verbetert op het gebied van landbedekkingssegmentatie, objectdetectie, weggraafextractie en scèneclassificatie. Code, data en gewichten zijn beschikbaar op https://github.com/mvrl/TerraDiT.

English

Generative models have achieved remarkable progress, yet applying them to satellite imagery remains challenging. Unlike natural imagery, satellite scenes are structured by spatially complex and semantically distinct geometries. Prior work addresses this complexity by adapting natural image frameworks using dense rasters or sparse prompts, trading off annotation cost and fidelity while breaking compatibility with vector primitives commonly used to represent geographic information. We introduce TerraDiT-Ω, a unified spatial control framework that generates satellite imagery directly from any native geospatial primitive. By jointly leveraging precise annotations (polygons, polylines) and coarser ones (bounding boxes, points), the model supports controllable layouts across varying annotation budgets, broadening applicability to design tasks such as urban planning while remaining naturally compatible with end-to-end GeoAI workflows. To effectively leverage these primitives during generation, we propose Geometry-Aware Local Attention, a conditioning mechanism that injects explicit geometric cues into the attention space. Across all conditioning formats, our approach consistently outperforms both dense-control and sparse-control baselines. Furthermore, this flexibility enables controllable synthetic data augmentation using a single generative model, improving downstream performance on land-cover segmentation, object detection, road graph extraction, and scene classification. Code, data, and weights are available at https://github.com/mvrl/TerraDiT.