Обучение устойчивых к окклюзии Vision Transformers для трекинга БПЛА в реальном времени

Learning Occlusion-Robust Vision Transformers for Real-Time UAV Tracking

April 12, 2025

Авторы: You Wu, Xucheng Wang, Xiangyang Yang, Mengyuan Liu, Dan Zeng, Hengzhou Ye, Shuiwang Li

cs.AI

Аннотация

Однонаправленные архитектуры, использующие основы Vision Transformer (ViT), в последнее время демонстрируют значительный потенциал для отслеживания БПЛА в реальном времени. Однако частые окклюзии, вызванные препятствиями, такими как здания и деревья, выявляют серьёзный недостаток: эти модели часто не имеют эффективных стратегий для обработки окклюзий. Необходимы новые методы для повышения устойчивости однонаправленных моделей ViT к окклюзиям в задачах аэрофотосъёмки. В данной работе мы предлагаем изучить Окклюзионно-Устойчивые Представления (ORR) на основе ViT для отслеживания БПЛА, обеспечивая инвариантность представления признаков цели относительно случайных операций маскирования, смоделированных пространственным процессом Кокса. Надеемся, что такая случайная маскировка приблизительно имитирует окклюзии цели, что позволяет нам обучить ViT, устойчивые к окклюзиям в задачах отслеживания БПЛА. Эта структура получила название ORTrack. Кроме того, для поддержки приложений реального времени мы предлагаем метод Адаптивного Дистилляции Знаний на основе Признаков (AFKD), который создаёт более компактный трекер, адаптивно имитирующий поведение модели-учителя ORTrack в зависимости от сложности задачи. Эта модель-ученик, названная ORTrack-D, сохраняет большую часть производительности ORTrack, обеспечивая при этом более высокую эффективность. Многочисленные эксперименты на нескольких эталонных наборах данных подтверждают эффективность нашего метода, демонстрируя его передовые характеристики. Код доступен по адресу https://github.com/wuyou3474/ORTrack.

English

Single-stream architectures using Vision Transformer (ViT) backbones show great potential for real-time UAV tracking recently. However, frequent occlusions from obstacles like buildings and trees expose a major drawback: these models often lack strategies to handle occlusions effectively. New methods are needed to enhance the occlusion resilience of single-stream ViT models in aerial tracking. In this work, we propose to learn Occlusion-Robust Representations (ORR) based on ViTs for UAV tracking by enforcing an invariance of the feature representation of a target with respect to random masking operations modeled by a spatial Cox process. Hopefully, this random masking approximately simulates target occlusions, thereby enabling us to learn ViTs that are robust to target occlusion for UAV tracking. This framework is termed ORTrack. Additionally, to facilitate real-time applications, we propose an Adaptive Feature-Based Knowledge Distillation (AFKD) method to create a more compact tracker, which adaptively mimics the behavior of the teacher model ORTrack according to the task's difficulty. This student model, dubbed ORTrack-D, retains much of ORTrack's performance while offering higher efficiency. Extensive experiments on multiple benchmarks validate the effectiveness of our method, demonstrating its state-of-the-art performance. Codes is available at https://github.com/wuyou3474/ORTrack.