Atendendo à Geração Multimodal Um Token de Cada Vez

Resumo

Modelos de linguagem multimodal de grande escala (MLLMs) geram respostas de forma autorregressiva, integrando informações visuais e linguísticas em um contexto em evolução. Trabalhos anteriores sobre interpretabilidade focaram em camadas e circuitos individuais (onde), deixando a dinâmica no nível dos tokens da computação multimodal durante a geração (quando) pouco explorada. Abordamos essa lacuna e estudamos as mudanças de atenção por papel semântico, rastreando a atenção do modelo para imagem, texto, instrução e tokens gerados anteriormente, Um Token de Cada Vez (OTaT). Introduzimos tarefas multimodais que exigem alternância explícita entre contexto visual e textual dentro de uma única resposta. Em duas famílias de modelos populares e quatro MLLMs de código aberto de diferentes tamanhos, estabelecemos padrões consistentes: a atenção à imagem atinge pico em tokens que exigem informações derivadas da imagem, tokens de instrução são revisitados durante transições de tarefa, e a atenção a tokens gerados anteriormente aumenta conforme a geração avança. Intervenções causais de bloqueio de atenção validam o papel funcional dessas tendências. Perfilamos o comportamento do modelo sob atenção interrompida e observamos respostas que recaem sobre prioris linguísticos, ou exibem vazamento cross-modal, negação ou recuperação. Finalmente, informados pela dinâmica da atenção por meio de nossa nova análise, propomos uma intervenção simples em tempo de teste para aumentar a atenção à modalidade relevante no momento certo, melhorando significativamente o desempenho em tarefas multimodais.

English

Multimodal large language models (MLLMs) generate responses autoregressively, integrating visual and linguistic information in an evolving context. Prior work on interpretability has focused on individual layers and circuits (where), leaving the token-level dynamics of multimodal computation during generation (when) underexplored. We address this gap and study attention shifts as per semantic role; tracking model attention to image, text, instruction, and previously generated tokens, One Token at a Time (OTaT). We introduce multimodal tasks that require explicit switching between visual and textual context within a single response. Across two mainstream model families and four open-weight MLLMs of varying sizes, we establish consistent patterns: attention to image peaks at tokens requiring image-derived information, instruction tokens are revisited during task transitions, and attention to previously generated tokens increases as the generation progresses. Causal attention blocking interventions validate the functional role of these trends. We profile model behavior under disrupted attention and observe responses falling back to language priors, or exhibiting cross-modal leakage, denial, or recovery. Finally, informed of the attention dynamics through our novel analysis, we propose a simple test-time intervention to boost attention to the relevant modality at the right time, significantly improving multimodal task performance.