Scoperta del Percorso Neuronale Influente nei Vision Transformer
Discovering Influential Neuron Path in Vision Transformers
March 12, 2025
Autori: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren
cs.AI
Abstract
I modelli Vision Transformer dimostrano un potere immenso ma rimangono opachi alla comprensione umana, ponendo sfide e rischi per le applicazioni pratiche. Sebbene ricerche precedenti abbiano tentato di demistificare questi modelli attraverso l'attribuzione degli input e l'analisi del ruolo dei neuroni, si è osservata una lacuna significativa nel considerare le informazioni a livello di strato e il percorso olistico del flusso di informazioni attraverso gli strati. In questo articolo, indaghiamo l'importanza dei percorsi di neuroni influenti all'interno dei Vision Transformer, ovvero un percorso di neuroni dall'input del modello all'output che influisce in modo più significativo sull'inferenza del modello. Proponiamo innanzitutto una misura di influenza congiunta per valutare il contributo di un insieme di neuroni al risultato del modello. Inoltre, forniamo un approccio di localizzazione progressiva dei neuroni per strato che seleziona in modo efficiente il neurone più influente in ciascuno strato, cercando di scoprire il percorso cruciale dei neuroni dall'input all'output all'interno del modello target. I nostri esperimenti dimostrano la superiorità del nostro metodo nel trovare il percorso di neuroni più influente lungo il quale fluiscono le informazioni, rispetto alle soluzioni baseline esistenti. Inoltre, i percorsi di neuroni hanno illustrato che i Vision Transformer presentano un meccanismo interno specifico per elaborare le informazioni visive all'interno della stessa categoria di immagini. Analizziamo ulteriormente gli effetti chiave di questi neuroni sul compito di classificazione delle immagini, dimostrando che i percorsi di neuroni trovati hanno già preservato la capacità del modello sui compiti downstream, il che potrebbe anche gettare luce su applicazioni reali come il pruning del modello. Il sito web del progetto, incluso il codice di implementazione, è disponibile all'indirizzo https://foundation-model-research.github.io/NeuronPath/.
English
Vision Transformer models exhibit immense power yet remain opaque to human
understanding, posing challenges and risks for practical applications. While
prior research has attempted to demystify these models through input
attribution and neuron role analysis, there's been a notable gap in considering
layer-level information and the holistic path of information flow across
layers. In this paper, we investigate the significance of influential neuron
paths within vision Transformers, which is a path of neurons from the model
input to output that impacts the model inference most significantly. We first
propose a joint influence measure to assess the contribution of a set of
neurons to the model outcome. And we further provide a layer-progressive neuron
locating approach that efficiently selects the most influential neuron at each
layer trying to discover the crucial neuron path from input to output within
the target model. Our experiments demonstrate the superiority of our method
finding the most influential neuron path along which the information flows,
over the existing baseline solutions. Additionally, the neuron paths have
illustrated that vision Transformers exhibit some specific inner working
mechanism for processing the visual information within the same image category.
We further analyze the key effects of these neurons on the image classification
task, showcasing that the found neuron paths have already preserved the model
capability on downstream tasks, which may also shed some lights on real-world
applications like model pruning. The project website including implementation
code is available at https://foundation-model-research.github.io/NeuronPath/.