Sondage structurel par graphes des modèles vision-langage

Structural Graph Probing of Vision-Language Models

March 28, 2026

Auteurs: Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

cs.AI

Résumé

Les modèles vision-langage (VLM) atteignent des performances multimodales élevées, mais l'organisation computationnelle au sein des populations de neurones reste mal comprise. Dans cette étude, nous analysons les VLM sous l'angle de la topologie neuronale, en représentant chaque couche comme un graphe de corrélations intra-couche dérivé des co-activations neuron-neurone. Cette approche nous permet d'examiner si la structure populationnelle a une signification comportementale, comment elle évolue selon les modalités et la profondeur, et si elle identifie des composants internes causalement influents sous intervention. Nous démontrons que la topologie de corrélation porte un signal comportemental récupérable ; de plus, la structure cross-modale se consolide progressivement avec la profondeur autour d'un ensemble compact de neurones hubs récurrents, dont la perturbation ciblée modifie substantiellement la sortie du modèle. La topologie neuronale émerge ainsi comme une échelle intermédiaire pertinente pour l'interprétabilité des VLM : plus riche que l'attribution locale, plus traitable que la récupération complète des circuits, et empiriquement liée au comportement multimodal. Le code est disponible à l'adresse https://github.com/he-h/vlm-graph-probing.

English

Vision-language models (VLMs) achieve strong multimodal performance, yet how computation is organized across populations of neurons remains poorly understood. In this work, we study VLMs through the lens of neural topology, representing each layer as a within-layer correlation graph derived from neuron-neuron co-activations. This view allows us to ask whether population-level structure is behaviorally meaningful, how it changes across modalities and depth, and whether it identifies causally influential internal components under intervention. We show that correlation topology carries recoverable behavioral signal; moreover, cross-modal structure progressively consolidates with depth around a compact set of recurrent hub neurons, whose targeted perturbation substantially alters model output. Neural topology thus emerges as a meaningful intermediate scale for VLM interpretability: richer than local attribution, more tractable than full circuit recovery, and empirically tied to multimodal behavior. Code is publicly available at https://github.com/he-h/vlm-graph-probing.