비전 트랜스포머에서 영향력 있는 뉴런 경로 발견하기

Discovering Influential Neuron Path in Vision Transformers

March 12, 2025

저자: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren

cs.AI

초록

비전 트랜스포머(Vision Transformer) 모델은 엄청난 성능을 보이지만 인간의 이해를 넘어서는 불투명성을 가지고 있어 실용적인 응용에 있어 도전과 위험을 안고 있습니다. 기존 연구에서는 입력 속성 분석과 뉴런 역할 분석을 통해 이러한 모델을 해석하려는 시도가 있었지만, 계층 수준의 정보와 계층 간 정보 흐름의 전체적인 경로를 고려하는 데에는 상당한 공백이 있었습니다. 본 논문에서는 비전 트랜스포머 내에서 가장 중요한 영향을 미치는 뉴런 경로, 즉 모델 입력부터 출력까지 모델 추론에 가장 큰 영향을 미치는 뉴런들의 경로를 연구합니다. 먼저, 우리는 모델 결과에 대한 일련의 뉴런들의 기여도를 평가하기 위한 공동 영향력 측정 방법을 제안합니다. 그리고 대상 모델 내에서 입력부터 출력까지의 중요한 뉴런 경로를 발견하기 위해 각 계층에서 가장 영향력 있는 뉴런을 효율적으로 선택하는 계층별 점진적 뉴런 위치 지정 방법을 추가로 제시합니다. 우리의 실험은 정보가 흐르는 가장 영향력 있는 뉴런 경로를 찾는 데 있어 기존의 베이스라인 솔루션보다 우리의 방법이 우수함을 입증합니다. 또한, 뉴런 경로는 비전 트랜스포머가 동일한 이미지 카테고리 내에서 시각 정보를 처리하기 위한 특정한 내부 작동 메커니즘을 가지고 있음을 보여줍니다. 우리는 이미지 분류 작업에서 이러한 뉴런들의 주요 효과를 추가로 분석하며, 발견된 뉴런 경로가 이미 하위 작업에서의 모델 능력을 보존하고 있음을 보여줍니다. 이는 모델 가지치기와 같은 실제 응용에도 유용한 통찰을 제공할 수 있습니다. 구현 코드를 포함한 프로젝트 웹사이트는 https://foundation-model-research.github.io/NeuronPath/에서 확인할 수 있습니다.

English

Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.