ViT-AdaLA: Adaptando Vision Transformers com Atenção Linear
ViT-AdaLA: Adapting Vision Transformers with Linear Attention
March 17, 2026
Autores: Yifan Li, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Jason Kuen, Yu Kong, Trung Bui
cs.AI
Resumo
Os modelos de base visuais (VFMs) baseados em Vision Transformers (ViTs) alcançaram desempenho notável em diversas tarefas visuais, mas sofrem com complexidade quadrática que limita a escalabilidade para sequências longas. As abordagens de atenção linear existentes para ViTs são tipicamente treinadas do zero, exigindo recursos computacionais substanciais, enquanto métodos baseados em linearização desenvolvidos para decodificadores de modelos de linguagem grandes não se transferem bem para ViTs. Para enfrentar esses desafios, propomos o ViT-AdaLA, uma estrutura nova para adaptar e transferir efetivamente conhecimento prévio de VFMs para ViTs com atenção linear. O ViT-AdaLA consiste em três estágios: alinhamento de atenção, alinhamento de características e ajuste fino supervisionado. No estágio de alinhamento de atenção, alinhamos a atenção linear padrão com a atenção original baseada em softmax em cada bloco para aproximar o comportamento da atenção softmax. No entanto, erros de aproximação residuais acumulam-se inevitavelmente entre as camadas. Mitigamos isso ajustando finamente o ViT linearizado para alinhar suas características da camada final com um professor VFM softmax congelado. Finalmente, o conhecimento prévio adaptado é transferido para tarefas subsequentes através de ajuste fino supervisionado. Experimentos extensos em tarefas de classificação e segmentação demonstram a eficácia e generalidade do ViT-AdaLA sobre várias contrapartes de atenção linear estado da arte.
English
Vision Transformers (ViTs) based vision foundation models (VFMs) have achieved remarkable performance across diverse vision tasks, but suffer from quadratic complexity that limits scalability to long sequences. Existing linear attention approaches for ViTs are typically trained from scratch, requiring substantial computational resources, while linearization-based methods developed for large language model decoders do not transfer well to ViTs. To address these challenges, we propose ViT-AdaLA, a novel framework for effectively adapting and transferring prior knowledge from VFMs to linear attention ViTs. ViT-AdaLA consists of three stages: attention alignment, feature alignment, and supervised fine-tuning. In the attention alignment stage, we align vanilla linear attention with the original softmax-based attention in each block to approximate the behavior of softmax attention. However, residual approximation errors inevitably accumulate across layers. We mitigate this by fine-tuning the linearized ViT to align its final-layer features with a frozen softmax VFM teacher. Finally, the adapted prior knowledge is transferred to downstream tasks through supervised fine-tuning. Extensive experiments on classification and segmentation tasks demonstrate the effectiveness and generality of ViT-AdaLA over various state-of-the-art linear attention counterpart.