Waar MLLM's aandacht aan besteden en waar ze op vertrouwen: Het verklaren van autoregressieve token-generatie

Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

September 26, 2025

Auteurs: Ruoyu Chen, Xiaoqing Guo, Kangwei Liu, Siyuan Liang, Shiming Liu, Qunli Zhang, Hua Zhang, Xiaochun Cao

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLMs) hebben opmerkelijke capaciteiten getoond in het afstemmen van visuele invoer op natuurlijke taaloutput. Toch is de mate waarin gegenereerde tokens afhankelijk zijn van visuele modaliteiten nog steeds slecht begrepen, wat de interpreteerbaarheid en betrouwbaarheid beperkt. In dit werk presenteren we EAGLE, een lichtgewicht black-box raamwerk voor het verklaren van autoregressieve token-generatie in MLLMs. EAGLE schrijft geselecteerde tokens toe aan compacte perceptuele regio's terwijl het de relatieve invloed van taalprioriteiten en perceptueel bewijs kwantificeert. Het raamwerk introduceert een objectieve functie die voldoendeheid (inzichtscore) en onmisbaarheid (noodzakelijkheidsscore) verenigt, geoptimaliseerd via een gretige zoektocht over verspreide beeldregio's voor betrouwbare en efficiënte attributie. Naast ruimtelijke attributie voert EAGLE een modaliteitsbewuste analyse uit die ontrafelt waar tokens op vertrouwen, wat fijnmazige interpreteerbaarheid van modelbeslissingen biedt. Uitgebreide experimenten met open-source MLLMs laten zien dat EAGLE consistent beter presteert dan bestaande methoden in betrouwbaarheid, lokalisatie en hallucinatie-diagnose, terwijl het aanzienlijk minder GPU-geheugen vereist. Deze resultaten onderstrepen de effectiviteit en praktische bruikbaarheid voor het bevorderen van de interpreteerbaarheid van MLLMs. De code is beschikbaar op https://github.com/RuoyuChen10/EAGLE.

English

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in aligning visual inputs with natural language outputs. Yet, the extent to which generated tokens depend on visual modalities remains poorly understood, limiting interpretability and reliability. In this work, we present EAGLE, a lightweight black-box framework for explaining autoregressive token generation in MLLMs. EAGLE attributes any selected tokens to compact perceptual regions while quantifying the relative influence of language priors and perceptual evidence. The framework introduces an objective function that unifies sufficiency (insight score) and indispensability (necessity score), optimized via greedy search over sparsified image regions for faithful and efficient attribution. Beyond spatial attribution, EAGLE performs modality-aware analysis that disentangles what tokens rely on, providing fine-grained interpretability of model decisions. Extensive experiments across open-source MLLMs show that EAGLE consistently outperforms existing methods in faithfulness, localization, and hallucination diagnosis, while requiring substantially less GPU memory. These results highlight its effectiveness and practicality for advancing the interpretability of MLLMs. The code is available at https://github.com/RuoyuChen10/EAGLE.