Aufmerksamkeit für multimodale Generierung Token für Token

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) generieren Antworten autoregressiv, indem sie visuelle und sprachliche Informationen in einem sich entwickelnden Kontext integrieren. Bisherige Arbeiten zur Interpretierbarkeit haben sich auf einzelne Schichten und Schaltkreise konzentriert (das „Wo“), während die token-bezogene Dynamik multimodaler Berechnung während der Generierung (das „Wann“) wenig erforscht ist. Wir schließen diese Lücke und untersuchen Aufmerksamkeitsverschiebungen nach semantischer Rolle; dabei verfolgen wir die Aufmerksamkeit des Modells auf Bilder, Text, Anweisungen und zuvor generierte Token, One Token at a Time (OTaT). Wir führen multimodale Aufgaben ein, die explizites Umschalten zwischen visuellem und textuellem Kontext innerhalb einer einzelnen Antwort erfordern. Über zwei gängige Modellfamilien und vier Open-Weight-MLLMs verschiedener Größen hinweg stellen wir konsistente Muster fest: Die Aufmerksamkeit auf Bilder erreicht bei Tokens, die bildbezogene Informationen erfordern, ihren Höhepunkt; Anweisungs-Tokens werden bei Aufgabenübergängen erneut aufgerufen; und die Aufmerksamkeit auf zuvor generierte Tokens nimmt mit fortschreitender Generierung zu. Kausale Aufmerksamkeitsblockierungsinterventionen bestätigen die funktionale Rolle dieser Tendenzen. Wir charakterisieren das Modellverhalten unter gestörter Aufmerksamkeit und beobachten, dass Antworten auf Sprachpriore zurückfallen oder modalitätsübergreifendes Durchsickern, Verweigerung oder Erholung aufweisen. Schließlich schlagen wir – gestützt auf die durch unsere neuartige Analyse gewonnenen Erkenntnisse über die Aufmerksamkeitsdynamik – eine einfache Testzeit-Intervention vor, um die Aufmerksamkeit zur richtigen Zeit auf die relevante Modalität zu lenken, was die Leistung bei multimodalen Aufgaben signifikant verbessert.

English

Multimodal large language models (MLLMs) generate responses autoregressively, integrating visual and linguistic information in an evolving context. Prior work on interpretability has focused on individual layers and circuits (where), leaving the token-level dynamics of multimodal computation during generation (when) underexplored. We address this gap and study attention shifts as per semantic role; tracking model attention to image, text, instruction, and previously generated tokens, One Token at a Time (OTaT). We introduce multimodal tasks that require explicit switching between visual and textual context within a single response. Across two mainstream model families and four open-weight MLLMs of varying sizes, we establish consistent patterns: attention to image peaks at tokens requiring image-derived information, instruction tokens are revisited during task transitions, and attention to previously generated tokens increases as the generation progresses. Causal attention blocking interventions validate the functional role of these trends. We profile model behavior under disrupted attention and observe responses falling back to language priors, or exhibiting cross-modal leakage, denial, or recovery. Finally, informed of the attention dynamics through our novel analysis, we propose a simple test-time intervention to boost attention to the relevant modality at the right time, significantly improving multimodal task performance.