TerraDiT-Ω : Contrôle spatial unifié pour la synthèse d'images satellitaires avec toute primitive géospatiale

Résumé

Les modèles génératifs ont accompli des progrès remarquables, mais leur application à l'imagerie satellite reste difficile. Contrairement aux images naturelles, les scènes satellites sont structurées par des géométries spatialement complexes et sémantiquement distinctes. Les travaux antérieurs abordent cette complexité en adaptant les cadres d’imagerie naturelle à l’aide de rasters denses ou de prompts parcimonieux, faisant un compromis entre coût d’annotation et fidélité, tout en rompant la compatibilité avec les primitives vectorielles couramment utilisées pour représenter l’information géographique. Nous présentons TerraDiT-Ω, un cadre de contrôle spatial unifié qui génère directement des images satellite à partir de n’importe quelle primitive géospatiale native. En exploitant conjointement des annotations précises (polygones, polylignes) et d’autres plus grossières (boîtes englobantes, points), le modèle prend en charge des dispositions contrôlables avec des budgets d’annotation variables, élargissant son applicabilité à des tâches de conception comme l’urbanisme, tout en restant naturellement compatible avec les workflows GeoAI de bout en bout. Pour exploiter efficacement ces primitives durant la génération, nous proposons l’Attention Locale Sensible à la Géométrie, un mécanisme de conditionnement qui injecte des indices géométriques explicites dans l’espace d’attention. Pour tous les formats de conditionnement, notre approche surpasse systématiquement les références à contrôle dense et à contrôle parcimonieux. De plus, cette flexibilité permet une augmentation de données synthétiques contrôlable à l’aide d’un seul modèle génératif, améliorant les performances en aval sur la segmentation de l’occupation des sols, la détection d’objets, l’extraction de graphes routiers et la classification de scènes. Le code, les données et les poids sont disponibles à l’adresse https://github.com/mvrl/TerraDiT.

English

Generative models have achieved remarkable progress, yet applying them to satellite imagery remains challenging. Unlike natural imagery, satellite scenes are structured by spatially complex and semantically distinct geometries. Prior work addresses this complexity by adapting natural image frameworks using dense rasters or sparse prompts, trading off annotation cost and fidelity while breaking compatibility with vector primitives commonly used to represent geographic information. We introduce TerraDiT-Ω, a unified spatial control framework that generates satellite imagery directly from any native geospatial primitive. By jointly leveraging precise annotations (polygons, polylines) and coarser ones (bounding boxes, points), the model supports controllable layouts across varying annotation budgets, broadening applicability to design tasks such as urban planning while remaining naturally compatible with end-to-end GeoAI workflows. To effectively leverage these primitives during generation, we propose Geometry-Aware Local Attention, a conditioning mechanism that injects explicit geometric cues into the attention space. Across all conditioning formats, our approach consistently outperforms both dense-control and sparse-control baselines. Furthermore, this flexibility enables controllable synthetic data augmentation using a single generative model, improving downstream performance on land-cover segmentation, object detection, road graph extraction, and scene classification. Code, data, and weights are available at https://github.com/mvrl/TerraDiT.