Atente às Cabeças: Alinhamento Topológico de Representações para LLMs Multimodais

Resumo

O alinhamento de representações emergiu como uma abordagem eficaz para melhorar Modelos de Linguagem Multimodais de Grande Escala (MLLMs), ao regularizar suas representações internas em direção àquelas de um codificador visual externo. No entanto, os métodos existentes tipicamente alinham uma camada fixa do backbone da linguagem, ignorando a estrutura granular dos modelos Transformer. Neste trabalho, propomos o Alinhamento de Representação por Cabeça (HeRA, do inglês *Head-Wise Representation Alignment*), um método que impõe o alinhamento cross-modal no nível de cabeças de atenção individuais. Nossa abordagem fundamenta-se na Hipótese de Representação Platônica, focando em preservar a estrutura topológica das representações (isto é, suas relações de vizinhança local) entre as modalidades. Seguindo a métrica de alinhamento de Vizinhos Mútuos Mais Próximos (MKNN, do inglês *Mutual K-Nearest Neighbor*), introduzimos um objetivo contrastivo que atua como um proxy diferenciável para corresponder estruturas locais. O HeRA aplica esse objetivo durante o treinamento multimodal a cabeças de atenção específicas no LLM, selecionadas pelo seu escore de alinhamento de acordo com a métrica MKNN. De forma contraintuitiva, descobrimos que alinhar as cabeças menos alinhadas gera os maiores ganhos. Avaliações extensas em múltiplos MLLMs e 18 benchmarks demonstram que o HeRA melhora consistentemente o desempenho em tarefas desafiadoras centradas na visão e serve como um regularizador eficaz contra alucinações visuais, ao conter naturalmente a dependência excessiva de priores linguísticos. Nosso código é disponibilizado publicamente.

English

Representation alignment has emerged as an effective approach to improve Multimodal Large Language Models (MLLMs) by regularizing their internal representations toward those of an external vision encoder. However, existing methods typically align a fixed layer of the language backbone, overlooking the fine-grained structure of Transformer models. In this work, we propose Head-Wise Representation Alignment (HeRA), a method that enforces cross-modal alignment at the level of individual attention heads. Our approach is grounded in the Platonic Representation Hypothesis, focusing on preserving the topological structure of representations (i.e., their local neighborhood relationships) across modalities. Following the Mutual K-Nearest Neighbor (MKNN) alignment metric, we introduce a contrastive objective that acts as a differentiable proxy for matching local structures. HeRA applies this objective during multimodal training to specific attention heads in the LLM, selected by their alignment score according to the MKNN metric. Counterintuitively, we find that aligning the least aligned heads yields the largest gains. Extensive evaluations across multiple MLLMs and 18 benchmarks demonstrate that HeRA consistently improves performance on challenging vision-centric tasks and serves as an effective regularizer against visual hallucinations by naturally curbing the over-reliance on linguistic priors. Our code is publicly released.