Iwin Transformer: インタリーブウィンドウを用いた階層型ビジョントランスフォーマー

Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows

July 24, 2025

著者: Simin Huo, Ning Li

cs.AI

要旨

我々は、新しい位置埋め込み不要の階層型ビジョントランスフォーマーであるIwin Transformerを紹介します。これは、革新的なインターリーブウィンドウアテンションと深さ方向分離可能畳み込みの協調により、低解像度から高解像度へ直接微調整することができます。このアプローチでは、遠くのトークンを接続するためにアテンションを使用し、近隣のトークンをリンクするために畳み込みを適用し、単一のモジュール内でグローバルな情報交換を可能にします。これにより、Swin Transformerがグローバルアテンションを近似するために2つの連続したブロックを必要とする制限を克服します。視覚ベンチマークでの広範な実験により、Iwin Transformerが画像分類（ImageNet-1Kでの87.4トップ1精度）、セマンティックセグメンテーション、ビデオアクション認識などのタスクで強い競争力を示すことが実証されました。また、Iwinのコアコンポーネントが、クラス条件付き画像生成において自己アテンションモジュールをシームレスに置き換えることができるスタンドアロンモジュールとして有効であることも検証しました。Iwin Transformerによって導入された概念と方法は、ビデオ生成におけるIwin 3D Attentionのような将来の研究を刺激する可能性があります。コードとモデルはhttps://github.com/cominder/Iwin-Transformerで利用可能です。

English

We introduce Iwin Transformer, a novel position-embedding-free hierarchical vision transformer, which can be fine-tuned directly from low to high resolution, through the collaboration of innovative interleaved window attention and depthwise separable convolution. This approach uses attention to connect distant tokens and applies convolution to link neighboring tokens, enabling global information exchange within a single module, overcoming Swin Transformer's limitation of requiring two consecutive blocks to approximate global attention. Extensive experiments on visual benchmarks demonstrate that Iwin Transformer exhibits strong competitiveness in tasks such as image classification (87.4 top-1 accuracy on ImageNet-1K), semantic segmentation and video action recognition. We also validate the effectiveness of the core component in Iwin as a standalone module that can seamlessly replace the self-attention module in class-conditional image generation. The concepts and methods introduced by the Iwin Transformer have the potential to inspire future research, like Iwin 3D Attention in video generation. The code and models are available at https://github.com/cominder/Iwin-Transformer.