Découverte des chemins neuronaux influents dans les Transformers pour la vision

Discovering Influential Neuron Path in Vision Transformers

March 12, 2025

Auteurs: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren

cs.AI

Résumé

Les modèles Vision Transformer démontrent une puissance immense tout en restant opaques à la compréhension humaine, posant des défis et des risques pour les applications pratiques. Bien que des recherches antérieures aient tenté de démystifier ces modèles par l'attribution des entrées et l'analyse des rôles des neurones, il existe un manque notable de considération pour les informations au niveau des couches et le chemin global du flux d'information à travers les couches. Dans cet article, nous étudions l'importance des chemins de neurones influents au sein des Vision Transformers, qui représentent un trajet de neurones de l'entrée à la sortie du modèle ayant un impact significatif sur l'inférence du modèle. Nous proposons d'abord une mesure d'influence conjointe pour évaluer la contribution d'un ensemble de neurones au résultat du modèle. Ensuite, nous fournissons une approche de localisation progressive des neurones par couche qui sélectionne efficacement le neurone le plus influent à chaque couche, dans le but de découvrir le chemin de neurones crucial de l'entrée à la sortie au sein du modèle cible. Nos expériences démontrent la supériorité de notre méthode pour trouver le chemin de neurones le plus influent le long duquel l'information circule, par rapport aux solutions de référence existantes. De plus, les chemins de neurones ont révélé que les Vision Transformers présentent un mécanisme interne spécifique pour traiter l'information visuelle au sein d'une même catégorie d'images. Nous analysons également les effets clés de ces neurones sur la tâche de classification d'images, montrant que les chemins de neurones identifiés préservent déjà la capacité du modèle sur les tâches en aval, ce qui pourrait également éclairer des applications pratiques comme l'élagage de modèles. Le site web du projet, incluant le code d'implémentation, est disponible à l'adresse suivante : https://foundation-model-research.github.io/NeuronPath/.

English

Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.