Обнаружение влиятельных путей нейронов в Vision Transformers

Discovering Influential Neuron Path in Vision Transformers

March 12, 2025

Авторы: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren

cs.AI

Аннотация

Модели Vision Transformer демонстрируют огромную мощь, но остаются непрозрачными для человеческого понимания, что создает сложности и риски для их практического применения. Хотя предыдущие исследования пытались раскрыть суть этих моделей с помощью анализа вклада входных данных и ролей нейронов, в них не уделялось достаточного внимания информации на уровне слоев и целостному пути потока информации между слоями. В данной работе мы исследуем значимость влиятельных путей нейронов в Vision Transformer, представляющих собой последовательность нейронов от входа модели до выхода, которая оказывает наибольшее влияние на вывод модели. Сначала мы предлагаем совместную меру влияния для оценки вклада группы нейронов в результат модели. Далее мы представляем послойный подход к локализации нейронов, который эффективно выбирает наиболее влиятельный нейрон на каждом слое, стремясь обнаружить ключевой путь нейронов от входа до выхода внутри целевой модели. Наши эксперименты демонстрируют превосходство нашего метода в поиске наиболее влиятельного пути нейронов, по которому проходит информация, по сравнению с существующими базовыми решениями. Кроме того, пути нейронов показывают, что Vision Transformer обладают определенным внутренним механизмом обработки визуальной информации в рамках одной категории изображений. Мы также анализируем ключевое влияние этих нейронов на задачу классификации изображений, демонстрируя, что найденные пути нейронов уже сохраняют способность модели к решению последующих задач, что может также пролить свет на практические приложения, такие как обрезка моделей. Проектный веб-сайт, включая код реализации, доступен по адресу https://foundation-model-research.github.io/NeuronPath/.

English

Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.