ViT-AdaLA: Адаптация Vision Transformer с линейным вниманием

ViT-AdaLA: Adapting Vision Transformers with Linear Attention

March 17, 2026

Авторы: Yifan Li, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Jason Kuen, Yu Kong, Trung Bui

cs.AI

Аннотация

Визуальные базовые модели (VFMs), основанные на архитектуре Vision Transformers (ViTs), демонстрируют выдающиеся результаты в решении разнообразных задач компьютерного зрения, однако страдают от квадратичной сложности, что ограничивает их масштабируемость для длинных последовательностей. Существующие подходы с линейным вниманием для ViTs обычно обучаются с нуля, требуя значительных вычислительных ресурсов, в то время как методы линеаризации, разработанные для декодеров больших языковых моделей, плохо переносятся на ViTs. Для решения этих проблем мы предлагаем ViT-AdaLA — новую структуру для эффективной адаптации и передачи предварительных знаний из VFMs в ViTs с линейным вниманием. ViT-AdaLA состоит из трех этапов: выравнивания внимания, выравнивания признаков и контролируемого дообучения. На этапе выравнивания внимания мы согласуем стандартное линейное внимание с исходным вниманием на основе softmax в каждом блоке, чтобы приблизить его поведение к softmax-вниманию. Однако остаточные ошибки аппроксимации неизбежно накапливаются по слоям. Мы смягчаем это путем дообучения линеаризованного ViT для согласования его признаков на последнем слое с признаками замороженной VFM-учителя с softmax-вниманием. Наконец, адаптированные предварительные знания передаются для решения последующих задач через контролируемое дообучение. Многочисленные эксперименты по классификации и сегментации демонстрируют эффективность и универсальность ViT-AdaLA по сравнению с различными современными аналогами, использующими линейное внимание.

English

Vision Transformers (ViTs) based vision foundation models (VFMs) have achieved remarkable performance across diverse vision tasks, but suffer from quadratic complexity that limits scalability to long sequences. Existing linear attention approaches for ViTs are typically trained from scratch, requiring substantial computational resources, while linearization-based methods developed for large language model decoders do not transfer well to ViTs. To address these challenges, we propose ViT-AdaLA, a novel framework for effectively adapting and transferring prior knowledge from VFMs to linear attention ViTs. ViT-AdaLA consists of three stages: attention alignment, feature alignment, and supervised fine-tuning. In the attention alignment stage, we align vanilla linear attention with the original softmax-based attention in each block to approximate the behavior of softmax attention. However, residual approximation errors inevitably accumulate across layers. We mitigate this by fine-tuning the linearized ViT to align its final-layer features with a frozen softmax VFM teacher. Finally, the adapted prior knowledge is transferred to downstream tasks through supervised fine-tuning. Extensive experiments on classification and segmentation tasks demonstrate the effectiveness and generality of ViT-AdaLA over various state-of-the-art linear attention counterpart.