Descubriendo la Ruta de Neuronas Influyentes en Transformadores de Visión

Discovering Influential Neuron Path in Vision Transformers

March 12, 2025

Autores: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren

cs.AI

Resumen

Los modelos Vision Transformer exhiben un poder inmenso pero permanecen opacos para la comprensión humana, lo que plantea desafíos y riesgos para aplicaciones prácticas. Si bien investigaciones previas han intentado desmitificar estos modelos mediante atribución de entrada y análisis de roles de neuronas, ha habido una brecha notable al considerar la información a nivel de capas y la ruta holística del flujo de información a través de las capas. En este artículo, investigamos la importancia de las rutas de neuronas influyentes dentro de los Vision Transformers, que es una ruta de neuronas desde la entrada del modelo hasta la salida que impacta más significativamente en la inferencia del modelo. Primero proponemos una medida de influencia conjunta para evaluar la contribución de un conjunto de neuronas al resultado del modelo. Además, proporcionamos un enfoque de localización de neuronas progresivo por capas que selecciona eficientemente la neurona más influyente en cada capa, intentando descubrir la ruta crucial de neuronas desde la entrada hasta la salida dentro del modelo objetivo. Nuestros experimentos demuestran la superioridad de nuestro método para encontrar la ruta de neuronas más influyente a lo largo de la cual fluye la información, sobre las soluciones de referencia existentes. Adicionalmente, las rutas de neuronas han ilustrado que los Vision Transformers exhiben un mecanismo interno específico para procesar la información visual dentro de la misma categoría de imagen. Analizamos además los efectos clave de estas neuronas en la tarea de clasificación de imágenes, mostrando que las rutas de neuronas encontradas ya preservan la capacidad del modelo en tareas posteriores, lo que también podría arrojar luz sobre aplicaciones del mundo real como la poda de modelos. El sitio web del proyecto, que incluye el código de implementación, está disponible en https://foundation-model-research.github.io/NeuronPath/.

English

Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.