DynamicVis: Un Modelo Visual Fundamental Eficiente y General para la Comprensión de Imágenes de Percepción Remota

DynamicVis: An Efficient and General Visual Foundation Model for Remote Sensing Image Understanding

March 20, 2025

Autores: Keyan Chen, Chenyang Liu, Bowen Chen, Wenyuan Li, Zhengxia Zou, Zhenwei Shi

cs.AI

Resumen

El avance de la tecnología de teledetección ha mejorado la resolución espacial de las imágenes satelitales, facilitando representaciones visuales más detalladas para diversas interpretaciones. Sin embargo, los métodos existentes muestran capacidades limitadas de generalización en aplicaciones variadas. Aunque algunos modelos base contemporáneos demuestran potencial, se ven obstaculizados por una adaptabilidad insuficiente entre tareas y procesan principalmente imágenes de baja resolución con tamaños restringidos, lo que les impide aprovechar completamente los datos de alta resolución o aprovechar la semántica de escenas grandes. Es crucial destacar que las imágenes de teledetección difieren fundamentalmente de las imágenes naturales, ya que los objetivos clave en primer plano (por ejemplo, objetos marítimos, estructuras artificiales) suelen ocupar proporciones espaciales mínimas (~1%) y presentan distribuciones dispersas. Modelar eficientemente el conocimiento generalizable entre tareas a partir de tokens 2D extensos (~100,000) representa un desafío significativo, pero sigue siendo crítico para la comprensión de imágenes de teledetección. Motivados por los mecanismos de atención selectiva inherentes al sistema visual humano, proponemos DynamicVis, un modelo base de percepción visual dinámica para imágenes de teledetección. El marco integra una novedosa arquitectura de percepción de regiones dinámicas basada en el modelo de espacio de estados selectivo, que equilibra estratégicamente la extracción de detalles localizados con la integración de contexto global, permitiendo una codificación computacionalmente eficiente de datos a gran escala mientras mantiene la escalabilidad arquitectónica. Para mejorar la transferencia de conocimiento entre tareas, introducimos un paradigma de aprendizaje multi-instancia que utiliza representaciones de meta-embeddings, entrenado con anotaciones a nivel de región en escala de millones. Las evaluaciones en nueve tareas descendentes demuestran la versatilidad del modelo. DynamicVis logra un modelado de características multinivel con una eficiencia excepcional, procesando píxeles (2048x2048) con una latencia de 97 ms (6% de ViT) y un uso de memoria GPU de 833 MB (3% de ViT).

English

The advancement of remote sensing technology has improved the spatial resolution of satellite imagery, facilitating more detailed visual representations for diverse interpretations. However, existing methods exhibit limited generalization capabilities across varied applications. While some contemporary foundation models demonstrate potential, they are hindered by insufficient cross-task adaptability and primarily process low-resolution imagery of restricted sizes, thus failing to fully exploit high-resolution data or leverage comprehensive large-scene semantics. Crucially, remote sensing imagery differs fundamentally from natural images, as key foreground targets (eg., maritime objects, artificial structures) often occupy minimal spatial proportions (~1%) and exhibit sparse distributions. Efficiently modeling cross-task generalizable knowledge from lengthy 2D tokens (~100,000) poses a significant challenge yet remains critical for remote sensing image understanding. Motivated by the selective attention mechanisms inherent to the human visual system, we propose DynamicVis, a dynamic visual perception foundation model for remote sensing imagery. The framework integrates a novel dynamic region perception backbone based on the selective state space model, which strategically balances localized detail extraction with global contextual integration, enabling computationally efficient encoding of large-scale data while maintaining architectural scalability. To enhance cross-task knowledge transferring, we introduce a multi-instance learning paradigm utilizing meta-embedding representations, trained on million-scale region-level annotations. Evaluations across nine downstream tasks demonstrate the model's versatility. DynamicVis achieves multi-level feature modeling with exceptional efficiency, processing (2048x2048) pixels with 97 ms latency (6% of ViT's) and 833 MB GPU memory (3% of ViT's).