Iwin Transformer: Transformador de Visão Hierárquico utilizando Janelas Intercaladas

Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows

July 24, 2025

Autores: Simin Huo, Ning Li

cs.AI

Resumo

Apresentamos o Iwin Transformer, um novo transformador hierárquico para visão sem incorporação de posição, que pode ser ajustado diretamente de baixa para alta resolução, por meio da colaboração de uma atenção inovadora por janelas intercaladas e convolução separável em profundidade. Essa abordagem utiliza atenção para conectar tokens distantes e aplica convolução para vincular tokens vizinhos, permitindo a troca global de informações dentro de um único módulo, superando a limitação do Swin Transformer de exigir dois blocos consecutivos para aproximar a atenção global. Experimentos extensos em benchmarks visuais demonstram que o Iwin Transformer exibe forte competitividade em tarefas como classificação de imagens (87,4 de precisão top-1 no ImageNet-1K), segmentação semântica e reconhecimento de ações em vídeos. Também validamos a eficácia do componente central do Iwin como um módulo independente que pode substituir perfeitamente o módulo de autoatenção na geração de imagens condicionadas por classe. Os conceitos e métodos introduzidos pelo Iwin Transformer têm o potencial de inspirar pesquisas futuras, como a Iwin 3D Attention na geração de vídeos. O código e os modelos estão disponíveis em https://github.com/cominder/Iwin-Transformer.

English

We introduce Iwin Transformer, a novel position-embedding-free hierarchical vision transformer, which can be fine-tuned directly from low to high resolution, through the collaboration of innovative interleaved window attention and depthwise separable convolution. This approach uses attention to connect distant tokens and applies convolution to link neighboring tokens, enabling global information exchange within a single module, overcoming Swin Transformer's limitation of requiring two consecutive blocks to approximate global attention. Extensive experiments on visual benchmarks demonstrate that Iwin Transformer exhibits strong competitiveness in tasks such as image classification (87.4 top-1 accuracy on ImageNet-1K), semantic segmentation and video action recognition. We also validate the effectiveness of the core component in Iwin as a standalone module that can seamlessly replace the self-attention module in class-conditional image generation. The concepts and methods introduced by the Iwin Transformer have the potential to inspire future research, like Iwin 3D Attention in video generation. The code and models are available at https://github.com/cominder/Iwin-Transformer.