ビジョントランスフォーマーにおける影響力のあるニューロンパスの発見

Discovering Influential Neuron Path in Vision Transformers

March 12, 2025

著者: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren

cs.AI

要旨

Vision Transformerモデルは非常に強力である一方で、人間にとってその内部動作が不透明であり、実用上の課題やリスクを抱えています。これまでの研究では、入力属性分析やニューロンの役割解析を通じてこれらのモデルの解明を試みてきましたが、レイヤーレベルの情報や層間を跨ぐ情報の流れの全体像を考慮する点で大きなギャップがありました。本論文では、Vision Transformer内の影響力のあるニューロンパス（モデルの入力から出力までの間でモデルの推論に最も大きな影響を与えるニューロンの経路）の重要性を調査します。まず、ニューロンの集合がモデルの出力に与える貢献度を評価するための共同影響度尺度を提案します。さらに、ターゲットモデル内で入力から出力までの重要なニューロンパスを発見するために、各層で最も影響力のあるニューロンを効率的に選択するレイヤー進行型ニューロン位置特定手法を提供します。実験結果は、情報が流れる最も影響力のあるニューロンパスを見つける点で、既存のベースライン手法に対する本手法の優位性を示しています。さらに、ニューロンパスは、Vision Transformerが同じ画像カテゴリ内の視覚情報を処理する際に特定の内部動作メカニズムを示すことを明らかにしました。画像分類タスクにおけるこれらのニューロンの主要な影響をさらに分析し、発見されたニューロンパスが下流タスクにおけるモデルの能力を既に保持していることを示しました。これは、モデルのプルーニングなどの実世界のアプリケーションにも示唆を与える可能性があります。実装コードを含むプロジェクトウェブサイトはhttps://foundation-model-research.github.io/NeuronPath/で公開されています。

English

Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.