Dónde se enfocan los MLLM y en qué se basan: Explicando la generación autoregresiva de tokens

Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

September 26, 2025

Autores: Ruoyu Chen, Xiaoqing Guo, Kangwei Liu, Siyuan Liang, Shiming Liu, Qunli Zhang, Hua Zhang, Xiaochun Cao

cs.AI

Resumen

Los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) han demostrado capacidades notables para alinear entradas visuales con salidas de lenguaje natural. Sin embargo, el grado en que los tokens generados dependen de las modalidades visuales sigue siendo poco comprendido, lo que limita la interpretabilidad y la confiabilidad. En este trabajo, presentamos EAGLE, un marco ligero de caja negra para explicar la generación autoregresiva de tokens en MLLMs. EAGLE atribuye cualquier token seleccionado a regiones perceptivas compactas mientras cuantifica la influencia relativa de los antecedentes lingüísticos y la evidencia perceptiva. El marco introduce una función objetivo que unifica la suficiencia (puntaje de percepción) y la indispensabilidad (puntaje de necesidad), optimizada mediante búsqueda voraz sobre regiones de imagen esparcidas para una atribución fiel y eficiente. Más allá de la atribución espacial, EAGLE realiza un análisis consciente de la modalidad que desentraña en qué tokens se basan, proporcionando una interpretabilidad detallada de las decisiones del modelo. Experimentos extensos en MLLMs de código abierto muestran que EAGLE supera consistentemente a los métodos existentes en fidelidad, localización y diagnóstico de alucinaciones, mientras requiere significativamente menos memoria de GPU. Estos resultados destacan su efectividad y practicidad para avanzar en la interpretabilidad de los MLLMs. El código está disponible en https://github.com/RuoyuChen10/EAGLE.

English

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in aligning visual inputs with natural language outputs. Yet, the extent to which generated tokens depend on visual modalities remains poorly understood, limiting interpretability and reliability. In this work, we present EAGLE, a lightweight black-box framework for explaining autoregressive token generation in MLLMs. EAGLE attributes any selected tokens to compact perceptual regions while quantifying the relative influence of language priors and perceptual evidence. The framework introduces an objective function that unifies sufficiency (insight score) and indispensability (necessity score), optimized via greedy search over sparsified image regions for faithful and efficient attribution. Beyond spatial attribution, EAGLE performs modality-aware analysis that disentangles what tokens rely on, providing fine-grained interpretability of model decisions. Extensive experiments across open-source MLLMs show that EAGLE consistently outperforms existing methods in faithfulness, localization, and hallucination diagnosis, while requiring substantially less GPU memory. These results highlight its effectiveness and practicality for advancing the interpretability of MLLMs. The code is available at https://github.com/RuoyuChen10/EAGLE.