Tomando Atajos para VQA Categórico Utilizando Superneuronas

Taking Shortcuts for Categorical VQA Using Super Neurons

March 11, 2026

Autores: Pierre Musacchio, Jaeyi Jeong, Dahun Kim, Jaesik Park

cs.AI

Resumen

Los Vectores de Atención Dispersos (SAV, por sus siglas en inglés) han surgido como una excelente alternativa libre de entrenamiento al ajuste fino supervisado o a la adaptación de bajo rango para mejorar el rendimiento de los Modelos de Lenguaje y Visión (VLMs). En esencia, los SAV seleccionan unas pocas cabezas de atención precisas para una tarea de interés y las utilizan como clasificadores, en lugar de depender de la predicción del modelo. En un espíritu similar, descubrimos que sondear directamente las activaciones brutas del VLM, en forma de valores escalares, es suficiente para producir clasificadores precisos en diversas tareas posteriores con base visual. Cambiar el enfoque de los vectores de atención a las activaciones escalares aumenta drásticamente el espacio de búsqueda de parámetros precisos, permitiéndonos encontrar neuronas más discriminativas inmediatamente a partir del primer token generado. Llamamos a estas activaciones Superneuronas (SNs). En este entorno de sondeo, descubrimos que aparecen suficientes SNs en las capas más superficiales del modelo de lenguaje grande como para permitir una salida extremadamente temprana desde la primera capa del modelo en el primer token generado. En comparación con la red original, las SNs mejoran robustamente el rendimiento de clasificación mientras logran una aceleración de hasta 5.10x.

English

Sparse Attention Vectors (SAVs) have emerged as an excellent training-free alternative to supervised finetuning or low-rank adaptation to improve the performance of Vision Language Models (VLMs). At their heart, SAVs select a few accurate attention heads for a task of interest and use them as classifiers, rather than relying on the model's prediction. In a similar spirit, we find that directly probing the raw activations of the VLM, in the form of scalar values, is sufficient to yield accurate classifiers on diverse visually grounded downstream tasks. Shifting focus from attention vectors to scalar activations dramatically increases the search space for accurate parameters, allowing us to find more discriminative neurons immediately from the first generated token. We call such activations Super Neurons (SNs). In this probing setting, we discover that enough SNs appear in the shallower layers of the large language model to allow for extreme early exiting from the first layer of the model at the first generated token. Compared to the original network, SNs robustly improve the classification performance while achieving a speedup of up to 5.10x.