TerraDiT-Ω: Единый пространственный контроль для синтеза спутниковых изображений с любыми геопространственными примитивами

Аннотация

Генеративные модели достигли значительных успехов, однако их применение к спутниковым снимкам остаётся сложной задачей. В отличие от изображений природных сцен, спутниковые сцены структурированы пространственно сложными и семантически различающимися геометриями. Предшествующие работы решали эту сложность путём адаптации фреймворков для обработки естественных изображений с использованием плотных растров или разреженных подсказок, что приводит к компромиссу между затратами на аннотацию и точностью, нарушая совместимость с векторными примитивами, обычно применяемыми для представления географической информации. Мы представляем TerraDiT-Ω — единую систему пространственного контроля, которая генерирует спутниковые снимки непосредственно из любых нативных геопространственных примитивов. Совместно используя точные аннотации (полигоны, полилинии) и более грубые (ограничивающие прямоугольники, точки), модель поддерживает управляемые компоновки при различных бюджетах аннотации, расширяя применимость к задачам проектирования, таким как городское планирование, и оставаясь естественно совместимой с комплексными GeoAI-конвейерами. Для эффективного использования этих примитивов в процессе генерации мы предлагаем механизм Geometry-Aware Local Attention — метод кондиционирования, который вводит явные геометрические подсказки в пространство внимания. На всех форматах кондиционирования наш подход стабильно превосходит как базиcы с плотным управлением, так и с разреженным. Кроме того, эта гибкость позволяет осуществлять контролируемое синтетическое дополнение данных с помощью одной генеративной модели, улучшая downstream-производительность на задачах сегментации земного покрова, обнаружения объектов, извлечения дорожных графов и классификации сцен. Код, данные и веса доступны по адресу https://github.com/mvrl/TerraDiT.

English

Generative models have achieved remarkable progress, yet applying them to satellite imagery remains challenging. Unlike natural imagery, satellite scenes are structured by spatially complex and semantically distinct geometries. Prior work addresses this complexity by adapting natural image frameworks using dense rasters or sparse prompts, trading off annotation cost and fidelity while breaking compatibility with vector primitives commonly used to represent geographic information. We introduce TerraDiT-Ω, a unified spatial control framework that generates satellite imagery directly from any native geospatial primitive. By jointly leveraging precise annotations (polygons, polylines) and coarser ones (bounding boxes, points), the model supports controllable layouts across varying annotation budgets, broadening applicability to design tasks such as urban planning while remaining naturally compatible with end-to-end GeoAI workflows. To effectively leverage these primitives during generation, we propose Geometry-Aware Local Attention, a conditioning mechanism that injects explicit geometric cues into the attention space. Across all conditioning formats, our approach consistently outperforms both dense-control and sparse-control baselines. Furthermore, this flexibility enables controllable synthetic data augmentation using a single generative model, improving downstream performance on land-cover segmentation, object detection, road graph extraction, and scene classification. Code, data, and weights are available at https://github.com/mvrl/TerraDiT.