Scoperta del Percorso Neuronale Influente nei Vision Transformer

Discovering Influential Neuron Path in Vision Transformers

March 12, 2025

Autori: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren

cs.AI

Abstract

I modelli Vision Transformer dimostrano un potere immenso ma rimangono opachi alla comprensione umana, ponendo sfide e rischi per le applicazioni pratiche. Sebbene ricerche precedenti abbiano tentato di demistificare questi modelli attraverso l'attribuzione degli input e l'analisi del ruolo dei neuroni, si è osservata una lacuna significativa nel considerare le informazioni a livello di strato e il percorso olistico del flusso di informazioni attraverso gli strati. In questo articolo, indaghiamo l'importanza dei percorsi di neuroni influenti all'interno dei Vision Transformer, ovvero un percorso di neuroni dall'input del modello all'output che influisce in modo più significativo sull'inferenza del modello. Proponiamo innanzitutto una misura di influenza congiunta per valutare il contributo di un insieme di neuroni al risultato del modello. Inoltre, forniamo un approccio di localizzazione progressiva dei neuroni per strato che seleziona in modo efficiente il neurone più influente in ciascuno strato, cercando di scoprire il percorso cruciale dei neuroni dall'input all'output all'interno del modello target. I nostri esperimenti dimostrano la superiorità del nostro metodo nel trovare il percorso di neuroni più influente lungo il quale fluiscono le informazioni, rispetto alle soluzioni baseline esistenti. Inoltre, i percorsi di neuroni hanno illustrato che i Vision Transformer presentano un meccanismo interno specifico per elaborare le informazioni visive all'interno della stessa categoria di immagini. Analizziamo ulteriormente gli effetti chiave di questi neuroni sul compito di classificazione delle immagini, dimostrando che i percorsi di neuroni trovati hanno già preservato la capacità del modello sui compiti downstream, il che potrebbe anche gettare luce su applicazioni reali come il pruning del modello. Il sito web del progetto, incluso il codice di implementazione, è disponibile all'indirizzo https://foundation-model-research.github.io/NeuronPath/.

English

Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.