Использование супернейронов для сокращения вычислений в категориальном визуальном вопросе-ответе

Taking Shortcuts for Categorical VQA Using Super Neurons

March 11, 2026

Авторы: Pierre Musacchio, Jaeyi Jeong, Dahun Kim, Jaesik Park

cs.AI

Аннотация

Разреженные векторы внимания (SAV) стали отличной бесплатной альтернативой контролируемому дообучению или низкоранговой адаптации для повышения производительности моделей «визуальный язык» (VLM). По своей сути, SAV выбирают несколько точных голов внимания для целевой задачи и используют их в качестве классификаторов, а не полагаются на предсказание модели. В том же духе мы обнаруживаем, что прямое зондирование исходных активаций VLM в форме скалярных значений достаточно для создания точных классификаторов в разнообразных визуально обоснованных downstream-задачах. Смещение фокуса с векторов внимания на скалярные активации значительно расширяет пространство поиска точных параметров, позволяя нам находить более дискриминативные нейроны непосредственно с первого сгенерированного токена. Мы называем такие активации Супернейронами (SN). В данной постановке зондирования мы обнаруживаем, что в поверхностных слоях большой языковой модели появляется достаточно SN, чтобы обеспечить экстремально ранний выход уже из первого слоя модели на первом сгенерированном токене. По сравнению с исходной сетью, SN устойчиво улучшают производительность классификации, достигая при этом ускорения до 5.10 раз.

English

Sparse Attention Vectors (SAVs) have emerged as an excellent training-free alternative to supervised finetuning or low-rank adaptation to improve the performance of Vision Language Models (VLMs). At their heart, SAVs select a few accurate attention heads for a task of interest and use them as classifiers, rather than relying on the model's prediction. In a similar spirit, we find that directly probing the raw activations of the VLM, in the form of scalar values, is sufficient to yield accurate classifiers on diverse visually grounded downstream tasks. Shifting focus from attention vectors to scalar activations dramatically increases the search space for accurate parameters, allowing us to find more discriminative neurons immediately from the first generated token. We call such activations Super Neurons (SNs). In this probing setting, we discover that enough SNs appear in the shallower layers of the large language model to allow for extreme early exiting from the first layer of the model at the first generated token. Compared to the original network, SNs robustly improve the classification performance while achieving a speedup of up to 5.10x.