Iwin Transformer: Иерархический Vision Transformer с использованием чередующихся окон

Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows

July 24, 2025

Авторы: Simin Huo, Ning Li

cs.AI

Аннотация

Мы представляем Iwin Transformer — новый иерархический трансформер для обработки изображений, не требующий позиционных эмбеддингов, который может быть тонко настроен непосредственно от низкого до высокого разрешения благодаря сочетанию инновационного чередующегося оконного внимания и глубинной разделяемой свертки. Этот подход использует механизм внимания для соединения удаленных токенов и применяет свертку для связи соседних токенов, что позволяет обмениваться глобальной информацией в рамках одного модуля, преодолевая ограничение Swin Transformer, требующего двух последовательных блоков для приближения глобального внимания. Многочисленные эксперименты на визуальных бенчмарках демонстрируют, что Iwin Transformer показывает высокую конкурентоспособность в задачах, таких как классификация изображений (87,4% точности top-1 на ImageNet-1K), семантическая сегментация и распознавание действий в видео. Мы также подтверждаем эффективность ключевого компонента Iwin в качестве самостоятельного модуля, который может бесшовно заменить модуль самовнимания в генерации изображений с учетом классов. Концепции и методы, представленные в Iwin Transformer, имеют потенциал вдохновить будущие исследования, такие как Iwin 3D Attention в генерации видео. Код и модели доступны по адресу https://github.com/cominder/Iwin-Transformer.

English

We introduce Iwin Transformer, a novel position-embedding-free hierarchical vision transformer, which can be fine-tuned directly from low to high resolution, through the collaboration of innovative interleaved window attention and depthwise separable convolution. This approach uses attention to connect distant tokens and applies convolution to link neighboring tokens, enabling global information exchange within a single module, overcoming Swin Transformer's limitation of requiring two consecutive blocks to approximate global attention. Extensive experiments on visual benchmarks demonstrate that Iwin Transformer exhibits strong competitiveness in tasks such as image classification (87.4 top-1 accuracy on ImageNet-1K), semantic segmentation and video action recognition. We also validate the effectiveness of the core component in Iwin as a standalone module that can seamlessly replace the self-attention module in class-conditional image generation. The concepts and methods introduced by the Iwin Transformer have the potential to inspire future research, like Iwin 3D Attention in video generation. The code and models are available at https://github.com/cominder/Iwin-Transformer.