TerraDiT-Ω: Einheitliche räumliche Steuerung für die Satellitenbildsynthese mit beliebigen georäumlichen Primitiven

Zusammenfassung

Generative Modelle haben bemerkenswerte Fortschritte erzielt, doch ihre Anwendung auf Satellitenbilder bleibt herausfordernd. Anders als natürliche Bilder sind Satellitenszenen durch räumlich komplexe und semantisch unterschiedliche Geometrien strukturiert. Bisherige Arbeiten begegnen dieser Komplexität, indem sie Frameworks für natürliche Bilder mittels dichter Raster oder spärlicher Prompts anpassen, wobei sie einen Kompromiss zwischen Annotationskosten und -treue eingehen und die Kompatibilität mit den üblicherweise zur Repräsentation geografischer Informationen verwendeten Vektorprimitiven beeinträchtigen. Wir stellen TerraDiT-Ω vor, ein einheitliches Rahmenwerk zur räumlichen Steuerung, das Satellitenbilder direkt aus beliebigen nativen georäumlichen Primitiven erzeugt. Durch die gemeinsame Nutzung präziser Annotationen (Polygone, Polylinien) und gröberer Annotationen (Begrenzungsrahmen, Punkte) unterstützt das Modell steuerbare Layouts über unterschiedliche Annotationsbudgets hinweg und erweitert so die Anwendbarkeit auf Entwurfsaufgaben wie die Stadtplanung, während es auf natürliche Weise mit End-to-End-GeoAI-Workflows kompatibel bleibt. Um diese Primitiven während der Erzeugung effektiv zu nutzen, schlagen wir Geometry-Aware Local Attention vor, einen Konditionierungsmechanismus, der explizite geometrische Hinweise in den Aufmerksamkeitsraum einbringt. Bei allen Konditionierungsformaten übertrifft unser Ansatz sowohl auf dichter als auch auf spärlicher Steuerung basierende Basislinien. Darüber hinaus ermöglicht diese Flexibilität die kontrollierbare synthetische Datenaugmentierung mit einem einzigen generativen Modell, was die nachgelagerte Leistung bei Landbedeckungssegmentierung, Objekterkennung, Straßengraphextraktion und Szenenklassifikation verbessert. Code, Daten und Gewichte sind verfügbar unter https://github.com/mvrl/TerraDiT.

English

Generative models have achieved remarkable progress, yet applying them to satellite imagery remains challenging. Unlike natural imagery, satellite scenes are structured by spatially complex and semantically distinct geometries. Prior work addresses this complexity by adapting natural image frameworks using dense rasters or sparse prompts, trading off annotation cost and fidelity while breaking compatibility with vector primitives commonly used to represent geographic information. We introduce TerraDiT-Ω, a unified spatial control framework that generates satellite imagery directly from any native geospatial primitive. By jointly leveraging precise annotations (polygons, polylines) and coarser ones (bounding boxes, points), the model supports controllable layouts across varying annotation budgets, broadening applicability to design tasks such as urban planning while remaining naturally compatible with end-to-end GeoAI workflows. To effectively leverage these primitives during generation, we propose Geometry-Aware Local Attention, a conditioning mechanism that injects explicit geometric cues into the attention space. Across all conditioning formats, our approach consistently outperforms both dense-control and sparse-control baselines. Furthermore, this flexibility enables controllable synthetic data augmentation using a single generative model, improving downstream performance on land-cover segmentation, object detection, road graph extraction, and scene classification. Code, data, and weights are available at https://github.com/mvrl/TerraDiT.