Prendere scorciatoie per la VQA categorica utilizzando super neuroni

Taking Shortcuts for Categorical VQA Using Super Neurons

March 11, 2026

Autori: Pierre Musacchio, Jaeyi Jeong, Dahun Kim, Jaesik Park

cs.AI

Abstract

I Sparse Attention Vector (SAV) sono emersi come un'ottima alternativa *training-free* alla messa a punto supervisionata (*supervised finetuning*) o all'adattamento a basso rango (*low-rank adaptation*) per migliorare le prestazioni dei Modelli Linguistica-Visivi (VLM). Nel loro principio fondamentale, i SAV selezionano alcune *attention head* accurate per un compito di interesse e le utilizzano come classificatori, invece di fare affidamento sulla previsione del modello. In uno spirito simile, scopriamo che sondare direttamente le attivazioni grezze del VLM, sotto forma di valori scalari, è sufficiente per ottenere classificatori accurati su svariati compiti *downstream* di tipo visivo. Spostare l'attenzione dai vettori di attenzione alle attivazioni scalari aumenta drasticamente lo spazio di ricerca per parametri accurati, permettendoci di trovare neuroni più discriminativi immediatamente dal primo token generato. Chiamiamo tali attivazioni Super Neuroni (SN). In questo contesto di *probing*, scopriamo che un numero sufficiente di SN appare negli strati più superficiali del grande modello linguistico, permettendo un *early exit* estremo già dal primo strato del modello al primo token generato. Rispetto alla rete originale, gli SN migliorano robustamente le prestazioni di classificazione ottenendo al contempo un'accelerazione fino a 5.10x.

English

Sparse Attention Vectors (SAVs) have emerged as an excellent training-free alternative to supervised finetuning or low-rank adaptation to improve the performance of Vision Language Models (VLMs). At their heart, SAVs select a few accurate attention heads for a task of interest and use them as classifiers, rather than relying on the model's prediction. In a similar spirit, we find that directly probing the raw activations of the VLM, in the form of scalar values, is sufficient to yield accurate classifiers on diverse visually grounded downstream tasks. Shifting focus from attention vectors to scalar activations dramatically increases the search space for accurate parameters, allowing us to find more discriminative neurons immediately from the first generated token. We call such activations Super Neurons (SNs). In this probing setting, we discover that enough SNs appear in the shallower layers of the large language model to allow for extreme early exiting from the first layer of the model at the first generated token. Compared to the original network, SNs robustly improve the classification performance while achieving a speedup of up to 5.10x.