Analisi Strutturale dei Grafi per i Modelli Visione-Linguaggio

Structural Graph Probing of Vision-Language Models

March 28, 2026

Autori: Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

cs.AI

Abstract

I modelli visione-linguaggio (VLM) raggiungono prestazioni multimodali robuste, ma come il calcolo sia organizzato attraverso popolazioni di neuroni rimane scarsamente compreso. In questo lavoro, studiamo i VLM attraverso la lente della topologia neurale, rappresentando ogni strato come un grafo di correlazione intra-strato derivato dalle co-attivazioni neurone-neurone. Questa prospettiva ci permette di chiederci se la struttura a livello di popolazione sia comportamentalmente significativa, come cambi tra modalità e profondità, e se identifichi componenti interni causalmente influenti sotto intervento. Dimostriamo che la topologia delle correlazioni trasporta un segnale comportamentale recuperabile; inoltre, la struttura cross-modale si consolida progressivamente con la profondità attorno a un insieme compatto di neuroni hub ricorrenti, la cui perturbazione mirata altera sostanzialmente l'output del modello. La topologia neurale emerge quindi come una scala intermedia significativa per l'interpretabilità dei VLM: più ricca delle attribuzioni locali, più trattabile della ricostruzione completa del circuito, e empiricamente legata al comportamento multimodale. Il codice è pubblicamente disponibile all'indirizzo https://github.com/he-h/vlm-graph-probing.

English

Vision-language models (VLMs) achieve strong multimodal performance, yet how computation is organized across populations of neurons remains poorly understood. In this work, we study VLMs through the lens of neural topology, representing each layer as a within-layer correlation graph derived from neuron-neuron co-activations. This view allows us to ask whether population-level structure is behaviorally meaningful, how it changes across modalities and depth, and whether it identifies causally influential internal components under intervention. We show that correlation topology carries recoverable behavioral signal; moreover, cross-modal structure progressively consolidates with depth around a compact set of recurrent hub neurons, whose targeted perturbation substantially alters model output. Neural topology thus emerges as a meaningful intermediate scale for VLM interpretability: richer than local attribution, more tractable than full circuit recovery, and empirically tied to multimodal behavior. Code is publicly available at https://github.com/he-h/vlm-graph-probing.