Descobrindo o Caminho de Neurônios Influentes em Transformers de Visão

Discovering Influential Neuron Path in Vision Transformers

March 12, 2025

Autores: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren

cs.AI

Resumo

Os modelos Vision Transformer exibem um poder imenso, mas permanecem opacos à compreensão humana, apresentando desafios e riscos para aplicações práticas. Embora pesquisas anteriores tenham tentado desmistificar esses modelos por meio de atribuição de entrada e análise de papéis dos neurônios, houve uma lacuna notável na consideração de informações em nível de camada e no caminho holístico do fluxo de informações entre as camadas. Neste artigo, investigamos a importância dos caminhos de neurônios influentes dentro dos Vision Transformers, que é um caminho de neurônios desde a entrada até a saída do modelo que impacta a inferência do modelo de forma mais significativa. Primeiro, propomos uma medida de influência conjunta para avaliar a contribuição de um conjunto de neurônios para o resultado do modelo. E ainda fornecemos uma abordagem de localização progressiva de neurônios por camada que seleciona eficientemente o neurônio mais influente em cada camada, tentando descobrir o caminho crucial de neurônios da entrada até a saída dentro do modelo alvo. Nossos experimentos demonstram a superioridade de nosso método ao encontrar o caminho de neurônios mais influente ao longo do qual as informações fluem, em relação às soluções de linha de base existentes. Além disso, os caminhos de neurônios ilustraram que os Vision Transformers exibem um mecanismo interno específico para processar as informações visuais dentro da mesma categoria de imagem. Analisamos ainda os efeitos-chave desses neurônios na tarefa de classificação de imagens, mostrando que os caminhos de neurônios encontrados já preservam a capacidade do modelo em tarefas subsequentes, o que também pode lançar luz sobre aplicações do mundo real, como a poda de modelos. O site do projeto, incluindo o código de implementação, está disponível em https://foundation-model-research.github.io/NeuronPath/.

English

Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.