Het Ontdekken van Invloedrijke Neuronpaden in Vision Transformers

Discovering Influential Neuron Path in Vision Transformers

March 12, 2025

Auteurs: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren

cs.AI

Samenvatting

Vision Transformer-modellen vertonen enorme kracht, maar blijven ondoorzichtig voor menselijk begrip, wat uitdagingen en risico's met zich meebrengt voor praktische toepassingen. Hoewel eerder onderzoek heeft geprobeerd deze modellen te ontrafelen via input-attributie en neuronrolanalyse, is er een opvallende leemte geweest in het overwegen van laagniveau-informatie en het holistische pad van informatieoverdracht tussen lagen. In dit artikel onderzoeken we het belang van invloedrijke neuronpaden binnen vision Transformers, wat een pad van neuronen is van de modelinput naar de output dat de modelinferentie het meest significant beïnvloedt. We stellen eerst een gezamenlijke invloedsmaat voor om de bijdrage van een set neuronen aan het modelresultaat te beoordelen. Verder bieden we een laagprogressieve neuronlokalisatiebenadering die efficiënt de meest invloedrijke neuron in elke laag selecteert, in een poging het cruciale neuronpad van input naar output binnen het doelmodel te ontdekken. Onze experimenten tonen de superioriteit van onze methode aan bij het vinden van het meest invloedrijke neuronpad waarlangs de informatie stroomt, vergeleken met bestaande baseline-oplossingen. Daarnaast hebben de neuronpaden aangetoond dat vision Transformers een specifiek intern werkingsmechanisme vertonen voor het verwerken van visuele informatie binnen dezelfde beeldcategorie. We analyseren verder de sleuteleffecten van deze neuronen op de beeldclassificatietaak, wat aantoont dat de gevonden neuronpaden al de modelcapaciteit op downstreamtaken hebben behouden, wat ook inzicht kan bieden voor real-world toepassingen zoals modelpruning. De projectwebsite, inclusief implementatiecode, is beschikbaar op https://foundation-model-research.github.io/NeuronPath/.

English

Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.