Sondagem Estrutural de Grafos em Modelos de Visão e Linguagem

Structural Graph Probing of Vision-Language Models

March 28, 2026

Autores: Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

cs.AI

Resumo

Os modelos visão-linguagem (VLMs) alcançam um forte desempenho multimodal, mas a forma como o cálculo é organizado através de populações de neurónios permanece pouco compreendida. Neste trabalho, estudamos os VLMs através da lente da topologia neural, representando cada camada como um grafo de correlação intra-camada derivado de co-ativações neurónio-neurónio. Esta perspetiva permite-nos questionar se a estrutura ao nível da população é comportamentalmente significativa, como é que esta muda entre modalidades e profundidade, e se identifica componentes internos causalmente influentes sob intervenção. Mostramos que a topologia de correlação transporta um sinal comportamental recuperável; além disso, a estrutura cross-modal consolida-se progressivamente com a profundidade em torno de um conjunto compacto de neurónios centrais recorrentes, cuja perturbação direcionada altera substancialmente a saída do modelo. A topologia neural surge assim como uma escala intermédia significativa para a interpretabilidade dos VLMs: mais rica do que a atribuição local, mais tratável do que a recuperação completa do circuito, e empiricamente ligada ao comportamento multimodal. O código está publicamente disponível em https://github.com/he-h/vlm-graph-probing.

English

Vision-language models (VLMs) achieve strong multimodal performance, yet how computation is organized across populations of neurons remains poorly understood. In this work, we study VLMs through the lens of neural topology, representing each layer as a within-layer correlation graph derived from neuron-neuron co-activations. This view allows us to ask whether population-level structure is behaviorally meaningful, how it changes across modalities and depth, and whether it identifies causally influential internal components under intervention. We show that correlation topology carries recoverable behavioral signal; moreover, cross-modal structure progressively consolidates with depth around a compact set of recurrent hub neurons, whose targeted perturbation substantially alters model output. Neural topology thus emerges as a meaningful intermediate scale for VLM interpretability: richer than local attribution, more tractable than full circuit recovery, and empirically tied to multimodal behavior. Code is publicly available at https://github.com/he-h/vlm-graph-probing.