TerraDiT-Ω: Controle Espacial Unificado para Síntese de Imagens de Satélite com Qualquer Primitiva Geoespacial

Resumo

Modelos generativos alcançaram progressos notáveis, porém sua aplicação em imagens de satélite permanece desafiadora. Diferentemente de imagens naturais, cenas de satélite são estruturadas por geometrias espacialmente complexas e semanticamente distintas. Trabalhos anteriores abordam essa complexidade adaptando arcabouços de imagem natural por meio de rasters densos ou prompts esparsos, trocando custo de anotação e fidelidade ao mesmo tempo em que perdem compatibilidade com primitivas vetoriais comumente usadas para representar informações geográficas. Apresentamos o TerraDiT-Ω, um arcabouço unificado de controle espacial que gera imagens de satélite diretamente a partir de qualquer primitiva geoespacial nativa. Ao combinar anotações precisas (polígonos, polilinhas) e anotações mais grosseiras (caixas delimitadoras, pontos), o modelo suporta layouts controláveis em diferentes orçamentos de anotação, ampliando a aplicabilidade para tarefas de design como planejamento urbano, mantendo-se naturalmente compatível com fluxos de trabalho GeoAI de ponta a ponta. Para aproveitar efetivamente essas primitivas durante a geração, propomos a Atenção Local Ciente de Geometria, um mecanismo de condicionamento que injeta pistas geométricas explícitas no espaço de atenção. Em todos os formatos de condicionamento, nossa abordagem supera consistentemente tanto as linhas de base de controle denso quanto as de controle esparso. Além disso, essa flexibilidade possibilita o aumento controlável de dados sintéticos usando um único modelo generativo, melhorando o desempenho downstream em segmentação de cobertura do solo, detecção de objetos, extração de grafo viário e classificação de cenas. Código, dados e pesos estão disponíveis em https://github.com/mvrl/TerraDiT.

English

Generative models have achieved remarkable progress, yet applying them to satellite imagery remains challenging. Unlike natural imagery, satellite scenes are structured by spatially complex and semantically distinct geometries. Prior work addresses this complexity by adapting natural image frameworks using dense rasters or sparse prompts, trading off annotation cost and fidelity while breaking compatibility with vector primitives commonly used to represent geographic information. We introduce TerraDiT-Ω, a unified spatial control framework that generates satellite imagery directly from any native geospatial primitive. By jointly leveraging precise annotations (polygons, polylines) and coarser ones (bounding boxes, points), the model supports controllable layouts across varying annotation budgets, broadening applicability to design tasks such as urban planning while remaining naturally compatible with end-to-end GeoAI workflows. To effectively leverage these primitives during generation, we propose Geometry-Aware Local Attention, a conditioning mechanism that injects explicit geometric cues into the attention space. Across all conditioning formats, our approach consistently outperforms both dense-control and sparse-control baselines. Furthermore, this flexibility enables controllable synthetic data augmentation using a single generative model, improving downstream performance on land-cover segmentation, object detection, road graph extraction, and scene classification. Code, data, and weights are available at https://github.com/mvrl/TerraDiT.