視覚言語モデルの構造的グラフプロービング

要旨

視覚言語モデル（VLM）は強力なマルチモーダル性能を達成するが、神経細胞集団間での計算構造の組織化については未解明な点が多い。本論文では、神経細胞間の共活性化から導出された層内相関グラフとして各層を表現する、神経トポロジーの観点からVLMを分析する。この視点により、集団レベルの構造が行動的に意味を持つか、様式や深さに応じてどのように変化するか、介入下で因果的に影響力のある内部構成要素を同定できるか、といった問いを検討する。相関トポロジーが回復可能な行動信号を保持すること、さらに、クロスモーダル構造が深さとともにコンパクトな繰り返しハブ神経細胞群を中心に漸進的に統合され、これらの選択的摂動がモデル出力を大幅に変化させることを実証する。神経トポロジーは thus、VLMの解釈可能性における意味ある中間スケールとして登場する：局所的な帰属分析より豊富で、完全な回路回復より扱いやすく、経験的にマルチモーダル行動と結びついている。コードはhttps://github.com/he-h/vlm-graph-probingで公開されている。

English

Vision-language models (VLMs) achieve strong multimodal performance, yet how computation is organized across populations of neurons remains poorly understood. In this work, we study VLMs through the lens of neural topology, representing each layer as a within-layer correlation graph derived from neuron-neuron co-activations. This view allows us to ask whether population-level structure is behaviorally meaningful, how it changes across modalities and depth, and whether it identifies causally influential internal components under intervention. We show that correlation topology carries recoverable behavioral signal; moreover, cross-modal structure progressively consolidates with depth around a compact set of recurrent hub neurons, whose targeted perturbation substantially alters model output. Neural topology thus emerges as a meaningful intermediate scale for VLM interpretability: richer than local attribution, more tractable than full circuit recovery, and empirically tied to multimodal behavior. Code is publicly available at https://github.com/he-h/vlm-graph-probing.

視覚言語モデルの構造的グラフプロービング

Structural Graph Probing of Vision-Language Models

要旨

Support