Структурное зондирование графов в визуально-языковых моделях

Structural Graph Probing of Vision-Language Models

March 28, 2026

Авторы: Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

cs.AI

Аннотация

Мультимодальные модели, объединяющие зрение и язык (VLM), демонстрируют высокую производительность, однако принципы организации вычислений в популяциях нейронов остаются малоизученными. В данной работе мы исследуем VLM через призму нейронной топологии, представляя каждый слой в виде графа внутрислоевых корреляций, выведенного из коактиваций нейрон-нейрон. Такой подход позволяет выяснить, является ли популяционная структура поведенчески значимой, как она изменяется в зависимости от модальности и глубины сети, и идентифицирует ли она причинно-влиятельные внутренние компоненты при вмешательстве. Мы показываем, что топология корреляций содержит восстанавливаемый поведенческий сигнал; более того, кросс-модальная структура прогрессивно консолидируется с глубиной вокруг компактного набора рекуррентных хаб-нейронов, целевое возмущение которых существенно изменяет вывод модели. Таким образом, нейронная топология проявляется как содержательный промежуточный масштаб для интерпретируемости VLM: более информативный, чем локальная атрибуция, более управляемый, чем полное восстановление схемы, и эмпирически связанный с мультимодальным поведением. Код доступен по адресу https://github.com/he-h/vlm-graph-probing.

English

Vision-language models (VLMs) achieve strong multimodal performance, yet how computation is organized across populations of neurons remains poorly understood. In this work, we study VLMs through the lens of neural topology, representing each layer as a within-layer correlation graph derived from neuron-neuron co-activations. This view allows us to ask whether population-level structure is behaviorally meaningful, how it changes across modalities and depth, and whether it identifies causally influential internal components under intervention. We show that correlation topology carries recoverable behavioral signal; moreover, cross-modal structure progressively consolidates with depth around a compact set of recurrent hub neurons, whose targeted perturbation substantially alters model output. Neural topology thus emerges as a meaningful intermediate scale for VLM interpretability: richer than local attribution, more tractable than full circuit recovery, and empirically tied to multimodal behavior. Code is publicly available at https://github.com/he-h/vlm-graph-probing.