Wo MLLMs ihre Aufmerksamkeit richten und worauf sie sich stützen: Die Erklärung der autoregressiven Token-Generierung

Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

September 26, 2025

papers.authors: Ruoyu Chen, Xiaoqing Guo, Kangwei Liu, Siyuan Liang, Shiming Liu, Qunli Zhang, Hua Zhang, Xiaochun Cao

cs.AI

papers.abstract

Multimodale große Sprachmodelle (MLLMs) haben bemerkenswerte Fähigkeiten bei der Ausrichtung visueller Eingaben an natürliche Sprachausgaben gezeigt. Dennoch ist das Ausmaß, in dem generierte Tokens von visuellen Modalitäten abhängen, noch weitgehend unverstanden, was die Interpretierbarkeit und Zuverlässigkeit einschränkt. In dieser Arbeit präsentieren wir EAGLE, ein leichtgewichtiges Black-Box-Framework zur Erklärung der autoregressiven Token-Generierung in MLLMs. EAGLE ordnet ausgewählte Tokens kompakten Wahrnehmungsregionen zu und quantifiziert den relativen Einfluss von Sprachpriors und Wahrnehmungsbeweisen. Das Framework führt eine Zielfunktion ein, die Suffizienz (Insight-Score) und Unverzichtbarkeit (Notwendigkeits-Score) vereint und durch eine gierige Suche über sparsifizierte Bildregionen für eine treue und effiziente Attribution optimiert wird. Über die räumliche Attribution hinaus führt EAGLE eine modalitätsbewusste Analyse durch, die aufschlüsselt, worauf Tokens angewiesen sind, und so eine feinkörnige Interpretierbarkeit von Modellentscheidungen bietet. Umfangreiche Experimente mit Open-Source-MLLMs zeigen, dass EAGLE bestehende Methoden in Bezug auf Treue, Lokalisierung und Halluzinationsdiagnose konsequent übertrifft, während er deutlich weniger GPU-Speicher benötigt. Diese Ergebnisse unterstreichen seine Effektivität und Praktikabilität für die Verbesserung der Interpretierbarkeit von MLLMs. Der Code ist unter https://github.com/RuoyuChen10/EAGLE verfügbar.

English

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in aligning visual inputs with natural language outputs. Yet, the extent to which generated tokens depend on visual modalities remains poorly understood, limiting interpretability and reliability. In this work, we present EAGLE, a lightweight black-box framework for explaining autoregressive token generation in MLLMs. EAGLE attributes any selected tokens to compact perceptual regions while quantifying the relative influence of language priors and perceptual evidence. The framework introduces an objective function that unifies sufficiency (insight score) and indispensability (necessity score), optimized via greedy search over sparsified image regions for faithful and efficient attribution. Beyond spatial attribution, EAGLE performs modality-aware analysis that disentangles what tokens rely on, providing fine-grained interpretability of model decisions. Extensive experiments across open-source MLLMs show that EAGLE consistently outperforms existing methods in faithfulness, localization, and hallucination diagnosis, while requiring substantially less GPU memory. These results highlight its effectiveness and practicality for advancing the interpretability of MLLMs. The code is available at https://github.com/RuoyuChen10/EAGLE.