Aprendizaje de Transformadores Visuales Robustos a Oclusiones para Seguimiento en Tiempo Real con UAVs

Learning Occlusion-Robust Vision Transformers for Real-Time UAV Tracking

April 12, 2025

Autores: You Wu, Xucheng Wang, Xiangyang Yang, Mengyuan Liu, Dan Zeng, Hengzhou Ye, Shuiwang Li

cs.AI

Resumen

Las arquitecturas de flujo único que utilizan backbones de Vision Transformer (ViT) muestran un gran potencial para el seguimiento de UAVs en tiempo real recientemente. Sin embargo, las frecuentes oclusiones causadas por obstáculos como edificios y árboles exponen una desventaja importante: estos modelos a menudo carecen de estrategias para manejar las oclusiones de manera efectiva. Se necesitan nuevos métodos para mejorar la resiliencia a oclusiones de los modelos ViT de flujo único en el seguimiento aéreo. En este trabajo, proponemos aprender Representaciones Robustas a Oclusiones (ORR) basadas en ViTs para el seguimiento de UAVs, aplicando una invariancia en la representación de características de un objetivo con respecto a operaciones de enmascaramiento aleatorio modeladas por un proceso espacial de Cox. Se espera que este enmascaramiento aleatorio simule aproximadamente las oclusiones del objetivo, permitiéndonos así aprender ViTs robustas a las oclusiones para el seguimiento de UAVs. Este marco se denomina ORTrack. Además, para facilitar aplicaciones en tiempo real, proponemos un método de Distilación de Conocimiento Basada en Características Adaptativas (AFKD) para crear un rastreador más compacto, que imita de manera adaptativa el comportamiento del modelo maestro ORTrack según la dificultad de la tarea. Este modelo estudiante, denominado ORTrack-D, conserva gran parte del rendimiento de ORTrack mientras ofrece una mayor eficiencia. Experimentos exhaustivos en múltiples benchmarks validan la efectividad de nuestro método, demostrando su rendimiento de vanguardia. Los códigos están disponibles en https://github.com/wuyou3474/ORTrack.

English

Single-stream architectures using Vision Transformer (ViT) backbones show great potential for real-time UAV tracking recently. However, frequent occlusions from obstacles like buildings and trees expose a major drawback: these models often lack strategies to handle occlusions effectively. New methods are needed to enhance the occlusion resilience of single-stream ViT models in aerial tracking. In this work, we propose to learn Occlusion-Robust Representations (ORR) based on ViTs for UAV tracking by enforcing an invariance of the feature representation of a target with respect to random masking operations modeled by a spatial Cox process. Hopefully, this random masking approximately simulates target occlusions, thereby enabling us to learn ViTs that are robust to target occlusion for UAV tracking. This framework is termed ORTrack. Additionally, to facilitate real-time applications, we propose an Adaptive Feature-Based Knowledge Distillation (AFKD) method to create a more compact tracker, which adaptively mimics the behavior of the teacher model ORTrack according to the task's difficulty. This student model, dubbed ORTrack-D, retains much of ORTrack's performance while offering higher efficiency. Extensive experiments on multiple benchmarks validate the effectiveness of our method, demonstrating its state-of-the-art performance. Codes is available at https://github.com/wuyou3474/ORTrack.