ViT-AdaLA: Adattamento dei Vision Transformer con Attenzione Lineare

ViT-AdaLA: Adapting Vision Transformers with Linear Attention

March 17, 2026

Autori: Yifan Li, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Jason Kuen, Yu Kong, Trung Bui

cs.AI

Abstract

I modelli vision foundation (VFM) basati su Vision Transformers (ViT) hanno ottenuto prestazioni notevoli in varie attività di visione artificiale, ma soffrono di una complessità quadratica che ne limita la scalabilità a sequenze lunghe. Gli approcci esistenti di attenzione lineare per i ViT sono tipicamente addestrati da zero, richiedendo ingenti risorse computazionali, mentre i metodi basati sulla linearizzazione sviluppati per i decoder di grandi modelli linguistici non si trasferiscono efficacemente ai ViT. Per affrontare queste sfide, proponiamo ViT-AdaLA, un framework innovativo per adattare e trasferire efficacemente la conoscenza pregressa dai VFM ai ViT con attenzione lineare. ViT-AdaLA si articola in tre fasi: allineamento dell'attenzione, allineamento delle feature e fine-tuning supervisionato. Nella fase di allineamento dell'attenzione, allineiamo l'attenzione lineare standard con l'attenzione originale basata su softmax in ciascun blocco per approssimare il comportamento dell'attenzione softmax. Tuttavia, errori di approssimazione residui si accumulano inevitabilmente attraverso i layer. Mitighiamo questo problema effettuando il fine-tuning del ViT linearizzato per allineare le feature del layer finale con quelle di un insegnante VFM softmax congelato. Infine, la conoscenza pregressa adattata viene trasferita ai task downstream attraverso il fine-tuning supervisionato. Esperimenti estensivi su attività di classificazione e segmentazione dimostrano l'efficacia e la generalità di ViT-AdaLA rispetto a varie controparti all'avanguardia basate su attenzione lineare.

English

Vision Transformers (ViTs) based vision foundation models (VFMs) have achieved remarkable performance across diverse vision tasks, but suffer from quadratic complexity that limits scalability to long sequences. Existing linear attention approaches for ViTs are typically trained from scratch, requiring substantial computational resources, while linearization-based methods developed for large language model decoders do not transfer well to ViTs. To address these challenges, we propose ViT-AdaLA, a novel framework for effectively adapting and transferring prior knowledge from VFMs to linear attention ViTs. ViT-AdaLA consists of three stages: attention alignment, feature alignment, and supervised fine-tuning. In the attention alignment stage, we align vanilla linear attention with the original softmax-based attention in each block to approximate the behavior of softmax attention. However, residual approximation errors inevitably accumulate across layers. We mitigate this by fine-tuning the linearized ViT to align its final-layer features with a frozen softmax VFM teacher. Finally, the adapted prior knowledge is transferred to downstream tasks through supervised fine-tuning. Extensive experiments on classification and segmentation tasks demonstrate the effectiveness and generality of ViT-AdaLA over various state-of-the-art linear attention counterpart.