Iwin Transformer: Hiërarchische Vision Transformer met behulp van Interleaved Windows

Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows

July 24, 2025

Auteurs: Simin Huo, Ning Li

cs.AI

Samenvatting

We introduceren de Iwin Transformer, een nieuwe hiërarchische vision transformer zonder positionele inbedding, die direct kan worden afgestemd van lage naar hoge resolutie, dankzij de samenwerking van innovatieve interleaved window attention en depthwise separable convolution. Deze aanpak gebruikt attention om verre tokens te verbinden en past convolutie toe om naburige tokens te koppelen, waardoor globale informatie-uitwisseling binnen een enkele module mogelijk wordt, wat de beperking van de Swin Transformer overwint om twee opeenvolgende blokken nodig te hebben om globale attention te benaderen. Uitgebreide experimenten op visuele benchmarks tonen aan dat de Iwin Transformer sterke concurrentie vertoont in taken zoals beeldclassificatie (87,4 top-1 nauwkeurigheid op ImageNet-1K), semantische segmentatie en video-actieherkenning. We valideren ook de effectiviteit van de kerncomponent in Iwin als een zelfstandige module die naadloos de self-attention module in klasse-conditionele beeldgeneratie kan vervangen. De concepten en methoden die door de Iwin Transformer worden geïntroduceerd, hebben het potentieel om toekomstig onderzoek te inspireren, zoals Iwin 3D Attention in videogeneratie. De code en modellen zijn beschikbaar op https://github.com/cominder/Iwin-Transformer.

English

We introduce Iwin Transformer, a novel position-embedding-free hierarchical vision transformer, which can be fine-tuned directly from low to high resolution, through the collaboration of innovative interleaved window attention and depthwise separable convolution. This approach uses attention to connect distant tokens and applies convolution to link neighboring tokens, enabling global information exchange within a single module, overcoming Swin Transformer's limitation of requiring two consecutive blocks to approximate global attention. Extensive experiments on visual benchmarks demonstrate that Iwin Transformer exhibits strong competitiveness in tasks such as image classification (87.4 top-1 accuracy on ImageNet-1K), semantic segmentation and video action recognition. We also validate the effectiveness of the core component in Iwin as a standalone module that can seamlessly replace the self-attention module in class-conditional image generation. The concepts and methods introduced by the Iwin Transformer have the potential to inspire future research, like Iwin 3D Attention in video generation. The code and models are available at https://github.com/cominder/Iwin-Transformer.