ViT-AdaLA: Vision Transformers aanpassen met lineaire aandacht

ViT-AdaLA: Adapting Vision Transformers with Linear Attention

March 17, 2026

Auteurs: Yifan Li, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Jason Kuen, Yu Kong, Trung Bui

cs.AI

Samenvatting

Vision Transformer (ViT) gebaseerde visuele foundation-modellen (VFMs) hebben opmerkelijke prestaties geleverd bij diverse visuele taken, maar lijden onder kwadratische complexiteit die de schaalbaarheid naar lange sequenties beperkt. Bestaande lineaire aandacht-benaderingen voor ViTs worden doorgaans vanaf nul getraind, wat aanzienlijke rekenresources vereist, terwijl linearisatiegebaseerde methoden die zijn ontwikkeld voor large language model-decoders niet goed overdraagbaar zijn naar ViTs. Om deze uitdagingen aan te pakken, stellen we ViT-AdaLA voor, een nieuw raamwerk voor het effectief aanpassen en overdragen van voorkennis van VFMs naar lineaire aandacht-ViTs. ViT-AdaLA bestaat uit drie fasen: aandachtalignering, feature-alignering en supervised fine-tuning. In de aandachtaligneringsfase aligneren we standaard lineaire aandacht met de originele softmax-gebaseerde aandacht in elk blok om het gedrag van softmax-aandacht te benaderen. Residuele benaderingsfouten hopen zich echter onvermijdelijk op over lagen heen. We verzachten dit door de gelineariseerde ViT fijn af te stemmen om de features van de laatste laag te aligneren met een bevroren softmax VFM-leraarmodel. Ten slotte wordt de aangepaste voorkennis overgedragen naar downstreamtaken door middel van supervised fine-tuning. Uitgebreide experimenten met classificatie- en segmentatietaken tonen de effectiviteit en algemene geldigheid van ViT-AdaLA aan ten opzichte van verschillende state-of-the-art lineaire aandacht-tegenhangers.

English

Vision Transformers (ViTs) based vision foundation models (VFMs) have achieved remarkable performance across diverse vision tasks, but suffer from quadratic complexity that limits scalability to long sequences. Existing linear attention approaches for ViTs are typically trained from scratch, requiring substantial computational resources, while linearization-based methods developed for large language model decoders do not transfer well to ViTs. To address these challenges, we propose ViT-AdaLA, a novel framework for effectively adapting and transferring prior knowledge from VFMs to linear attention ViTs. ViT-AdaLA consists of three stages: attention alignment, feature alignment, and supervised fine-tuning. In the attention alignment stage, we align vanilla linear attention with the original softmax-based attention in each block to approximate the behavior of softmax attention. However, residual approximation errors inevitably accumulate across layers. We mitigate this by fine-tuning the linearized ViT to align its final-layer features with a frozen softmax VFM teacher. Finally, the adapted prior knowledge is transferred to downstream tasks through supervised fine-tuning. Extensive experiments on classification and segmentation tasks demonstrate the effectiveness and generality of ViT-AdaLA over various state-of-the-art linear attention counterpart.