Attention aux têtes : alignement topologique des représentations pour les LLMs multimodaux

Résumé

L'alignement des représentations est devenu une approche efficace pour améliorer les Modèles de Langage Multimodaux de Grande Taille (MLLMs) en régularisant leurs représentations internes vers celles d'un encodeur visuel externe. Cependant, les méthodes existantes alignent généralement une couche fixe du backbone linguistique, négligeant la structure fine des modèles Transformer. Dans ce travail, nous proposons l'Alignement des Représentations par Têtes d'Attention (HeRA), une méthode qui impose un alignement cross-modal au niveau des têtes d'attention individuelles. Notre approche s'appuie sur l'Hypothèse de la Représentation Platonicienne, en se concentrant sur la préservation de la structure topologique des représentations (c'est-à-dire leurs relations de voisinage local) entre les modalités. Suivant la métrique d'alignement des K-plus proches voisins mutuels (MKNN), nous introduisons un objectif contrastif qui agit comme un proxy différentiable pour apparier les structures locales. HeRA applique cet objectif durant l'entraînement multimodal à des têtes d'attention spécifiques du LLM, sélectionnées en fonction de leur score d'alignement selon la métrique MKNN. Contre-intuitivement, nous constatons que l'alignement des têtes les moins alignées produit les gains les plus importants. Des évaluations approfondies sur plusieurs MLLMs et 18 benchmarks montrent que HeRA améliore systématiquement les performances sur des tâches exigeantes centrées sur la vision et sert de régularisateur efficace contre les hallucinations visuelles, en limitant naturellement la dépendance excessive aux a priori linguistiques. Notre code est publié en accès libre.

English

Representation alignment has emerged as an effective approach to improve Multimodal Large Language Models (MLLMs) by regularizing their internal representations toward those of an external vision encoder. However, existing methods typically align a fixed layer of the language backbone, overlooking the fine-grained structure of Transformer models. In this work, we propose Head-Wise Representation Alignment (HeRA), a method that enforces cross-modal alignment at the level of individual attention heads. Our approach is grounded in the Platonic Representation Hypothesis, focusing on preserving the topological structure of representations (i.e., their local neighborhood relationships) across modalities. Following the Mutual K-Nearest Neighbor (MKNN) alignment metric, we introduce a contrastive objective that acts as a differentiable proxy for matching local structures. HeRA applies this objective during multimodal training to specific attention heads in the LLM, selected by their alignment score according to the MKNN metric. Counterintuitively, we find that aligning the least aligned heads yields the largest gains. Extensive evaluations across multiple MLLMs and 18 benchmarks demonstrate that HeRA consistently improves performance on challenging vision-centric tasks and serves as an effective regularizer against visual hallucinations by naturally curbing the over-reliance on linguistic priors. Our code is publicly released.