Iwin Transformer: Transformador de Visión Jerárquico utilizando Ventanas Entrelazadas

Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows

July 24, 2025

Autores: Simin Huo, Ning Li

cs.AI

Resumen

Presentamos Iwin Transformer, un novedoso transformador jerárquico para visión que no requiere incrustaciones de posición y puede ajustarse directamente desde baja hasta alta resolución, gracias a la colaboración de una innovadora atención por ventanas intercaladas y convoluciones separables en profundidad. Este enfoque utiliza atención para conectar tokens distantes y aplica convolución para vincular tokens vecinos, permitiendo el intercambio global de información dentro de un solo módulo y superando la limitación de Swin Transformer, que requiere dos bloques consecutivos para aproximar la atención global. Experimentos exhaustivos en benchmarks visuales demuestran que Iwin Transformer exhibe una fuerte competitividad en tareas como clasificación de imágenes (87.4 de precisión top-1 en ImageNet-1K), segmentación semántica y reconocimiento de acciones en video. También validamos la efectividad del componente central de Iwin como un módulo independiente que puede reemplazar sin problemas el módulo de auto-atención en la generación de imágenes condicionadas por clase. Los conceptos y métodos introducidos por Iwin Transformer tienen el potencial de inspirar investigaciones futuras, como la Atención 3D de Iwin en la generación de video. El código y los modelos están disponibles en https://github.com/cominder/Iwin-Transformer.

English

We introduce Iwin Transformer, a novel position-embedding-free hierarchical vision transformer, which can be fine-tuned directly from low to high resolution, through the collaboration of innovative interleaved window attention and depthwise separable convolution. This approach uses attention to connect distant tokens and applies convolution to link neighboring tokens, enabling global information exchange within a single module, overcoming Swin Transformer's limitation of requiring two consecutive blocks to approximate global attention. Extensive experiments on visual benchmarks demonstrate that Iwin Transformer exhibits strong competitiveness in tasks such as image classification (87.4 top-1 accuracy on ImageNet-1K), semantic segmentation and video action recognition. We also validate the effectiveness of the core component in Iwin as a standalone module that can seamlessly replace the self-attention module in class-conditional image generation. The concepts and methods introduced by the Iwin Transformer have the potential to inspire future research, like Iwin 3D Attention in video generation. The code and models are available at https://github.com/cominder/Iwin-Transformer.