Structurele Grafiekverkenning van Vision-Language Modellen

Structural Graph Probing of Vision-Language Models

March 28, 2026

Auteurs: Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

cs.AI

Samenvatting

Vision-language modellen (VLMs) behalen sterke multimodale prestaties, maar hoe computationele verwerking georganiseerd is over populaties van neuronen blijft grotendeels onbegrepen. In dit werk bestuderen we VLMs door de lens van neurale topologie, waarbij we elke laag representeren als een graaf van binnenlaagcorrelaties, afgeleid van neuron-neuron co-activaties. Deze invalshoek stelt ons in staat te onderzoeken of de populatiestructuur gedragsrelevant is, hoe deze verandert tussen modaliteiten en in diepte, en of deze causaal invloedrijke interne componenten identificeert onder interventie. Wij tonen aan dat correlatietopologie herleidbaar gedragssignaal bevat; bovendien consolideert de cross-modale structuur progressief met de diepte rond een compacte set van recurrente hubneuronen, waarvan gerichte perturbatie de modeloutput aanzienlijk verandert. Neurale topologie komt zo naar voren als een betekenisvolle tussenliggende schaal voor VLM-interpreteerbaarheid: rijker dan lokale attributie, beter hanteerbaar dan volledige circuitreconstructie, en empirisch verbonden met multimodaal gedrag. Code is publiekelijk beschikbaar op https://github.com/he-h/vlm-graph-probing.

English

Vision-language models (VLMs) achieve strong multimodal performance, yet how computation is organized across populations of neurons remains poorly understood. In this work, we study VLMs through the lens of neural topology, representing each layer as a within-layer correlation graph derived from neuron-neuron co-activations. This view allows us to ask whether population-level structure is behaviorally meaningful, how it changes across modalities and depth, and whether it identifies causally influential internal components under intervention. We show that correlation topology carries recoverable behavioral signal; moreover, cross-modal structure progressively consolidates with depth around a compact set of recurrent hub neurons, whose targeted perturbation substantially alters model output. Neural topology thus emerges as a meaningful intermediate scale for VLM interpretability: richer than local attribution, more tractable than full circuit recovery, and empirically tied to multimodal behavior. Code is publicly available at https://github.com/he-h/vlm-graph-probing.