TerraDiT-Ω: 모든 지리공간 프리미티브를 활용한 위성 이미지 합성을 위한 통합 공간 제어

초록

생성 모델은 놀라운 발전을 이루었지만, 이를 위성 영상에 적용하는 것은 여전히 어려운 과제로 남아 있다. 자연 영상과 달리 위성 장면은 공간적으로 복잡하고 의미적으로 구별되는 기하학적 구조로 이루어져 있다. 기존 연구는 이러한 복잡성을 해결하기 위해 조밀한 래스터(dense raster)나 희소 프롬프트(sparse prompt)를 사용하여 자연 영상 프레임워크를 변형하는 방식을 취해왔으며, 이는 주석 비용과 충실도 사이에서 절충을 이루면서 지리 정보를 표현하는 데 흔히 사용되는 벡터 기본 요소와의 호환성을 저해했다. 본 논문에서는 TerraDiT-Ω, 즉 네이티브 지리공간 기본 요소로부터 직접 위성 영상을 생성하는 통합된 공간 제어 프레임워크를 제안한다. 정밀한 주석(다각형, 폴리라인)과 더 거친 주석(경계 상자, 점)을 함께 활용함으로써, 모델은 다양한 주석 예산에 걸쳐 제어 가능한 레이아웃을 지원하며, 도시 계획과 같은 설계 작업에 대한 적용성을 넓히고 종단 간 GeoAI 워크플로우와 자연스럽게 호환된다. 생성 과정에서 이러한 기본 요소를 효과적으로 활용하기 위해, 우리는 기하학 인식 국소 주의(Geometry-Aware Local Attention)라는 조건화 메커니즘을 제안한다. 이는 명시적인 기하학적 단서를 주의 공간에 주입하는 방식이다. 모든 조건화 형식에서 우리의 접근 방식은 조밀한 제어 및 희소 제어 기준선을 일관되게 능가한다. 더 나아가, 이러한 유연성은 단일 생성 모델을 사용한 제어 가능한 합성 데이터 증강을 가능하게 하여, 토지 피복 분할, 객체 탐지, 도로 그래프 추출, 장면 분류 등 하위 작업의 성능을 향상시킨다. 코드, 데이터 및 가중치는 https://github.com/mvrl/TerraDiT에서 확인할 수 있다.

English

Generative models have achieved remarkable progress, yet applying them to satellite imagery remains challenging. Unlike natural imagery, satellite scenes are structured by spatially complex and semantically distinct geometries. Prior work addresses this complexity by adapting natural image frameworks using dense rasters or sparse prompts, trading off annotation cost and fidelity while breaking compatibility with vector primitives commonly used to represent geographic information. We introduce TerraDiT-Ω, a unified spatial control framework that generates satellite imagery directly from any native geospatial primitive. By jointly leveraging precise annotations (polygons, polylines) and coarser ones (bounding boxes, points), the model supports controllable layouts across varying annotation budgets, broadening applicability to design tasks such as urban planning while remaining naturally compatible with end-to-end GeoAI workflows. To effectively leverage these primitives during generation, we propose Geometry-Aware Local Attention, a conditioning mechanism that injects explicit geometric cues into the attention space. Across all conditioning formats, our approach consistently outperforms both dense-control and sparse-control baselines. Furthermore, this flexibility enables controllable synthetic data augmentation using a single generative model, improving downstream performance on land-cover segmentation, object detection, road graph extraction, and scene classification. Code, data, and weights are available at https://github.com/mvrl/TerraDiT.