Atención a las Cabezas: Alineación Topológica de Representaciones para LLMs Multimodales

Resumen

La alineación de representaciones ha surgido como un enfoque eficaz para mejorar los Modelos de Lenguaje Grandes Multimodales (MLLMs) al regularizar sus representaciones internas hacia las de un codificador visual externo. Sin embargo, los métodos existentes suelen alinear una capa fija del tronco del lenguaje, pasando por alto la estructura detallada de los modelos Transformer. En este trabajo, proponemos la Alineación de Representaciones por Cabezal (HeRA), un método que impone la alineación multimodal a nivel de cabezales de atención individuales. Nuestro enfoque se fundamenta en la Hipótesis de la Representación Platónica, centrándose en preservar la estructura topológica de las representaciones (es decir, sus relaciones de vecindad local) entre modalidades. Siguiendo la métrica de alineación de Vecinos Más Cercanos Mutuos (MKNN), introducimos un objetivo contrastivo que actúa como un proxy diferenciable para emparejar estructuras locales. HeRA aplica este objetivo durante el entrenamiento multimodal a cabezales de atención específicos en el LLM, seleccionados por su puntuación de alineación según la métrica MKNN. De manera contraintuitiva, encontramos que alinear los cabezales menos alineados produce las mayores ganancias. Evaluaciones exhaustivas en múltiples MLLMs y 18 puntos de referencia demuestran que HeRA mejora consistentemente el rendimiento en tareas desafiantes centradas en la visión y actúa como un regularizador eficaz contra las alucinaciones visuales, al reducir naturalmente la dependencia excesiva de los conocimientos previos lingüísticos. Nuestro código está disponible públicamente.

English

Representation alignment has emerged as an effective approach to improve Multimodal Large Language Models (MLLMs) by regularizing their internal representations toward those of an external vision encoder. However, existing methods typically align a fixed layer of the language backbone, overlooking the fine-grained structure of Transformer models. In this work, we propose Head-Wise Representation Alignment (HeRA), a method that enforces cross-modal alignment at the level of individual attention heads. Our approach is grounded in the Platonic Representation Hypothesis, focusing on preserving the topological structure of representations (i.e., their local neighborhood relationships) across modalities. Following the Mutual K-Nearest Neighbor (MKNN) alignment metric, we introduce a contrastive objective that acts as a differentiable proxy for matching local structures. HeRA applies this objective during multimodal training to specific attention heads in the LLM, selected by their alignment score according to the MKNN metric. Counterintuitively, we find that aligning the least aligned heads yields the largest gains. Extensive evaluations across multiple MLLMs and 18 benchmarks demonstrate that HeRA consistently improves performance on challenging vision-centric tasks and serves as an effective regularizer against visual hallucinations by naturally curbing the over-reliance on linguistic priors. Our code is publicly released.