Achten Sie auf die Köpfe: Topologische Repräsentationsausrichtung für multimodale LLMs

Zusammenfassung

Die Repräsentationsausrichtung hat sich als effektiver Ansatz zur Verbesserung multimodaler großer Sprachmodelle (MLLMs) erwiesen, indem sie deren interne Repräsentationen mittels Regularisierung an die eines externen visuellen Encoders angleicht. Bestehende Methoden richten jedoch typischerweise eine feste Schicht des Sprach-Fundaments aus und übersehen dabei die feingranulare Struktur von Transformer-Modellen. In dieser Arbeit schlagen wir die kopfweise Repräsentationsausrichtung (Head-Wise Representation Alignment, HeRA) vor, eine Methode, die eine cross-modale Ausrichtung auf der Ebene einzelner Aufmerksamkeitsköpfe erzwingt. Unser Ansatz basiert auf der Platonischen Repräsentationshypothese und konzentriert sich darauf, die topologische Struktur von Repräsentationen (d. h. ihre lokalen Nachbarschaftsbeziehungen) über Modalitäten hinweg zu bewahren. In Anlehnung an die Metrik der gegenseitigen K-nächsten Nachbarn (Mutual K-Nearest Neighbor, MKNN) führen wir ein kontrastives Ziel ein, das als differenzierbarer Proxy für den Abgleich lokaler Strukturen fungiert. HeRA wendet dieses Ziel während des multimodalen Trainings auf bestimmte Aufmerksamkeitsköpfe im LLM an, die anhand ihres Ausrichtungswerts gemäß der MKNN-Metrik ausgewählt werden. Entgegen der Intuition stellen wir fest, dass die Ausrichtung der am wenigsten ausgerichteten Köpfe die größten Verbesserungen erzielt. Umfangreiche Auswertungen über mehrere MLLMs und 18 Benchmarks hinweg zeigen, dass HeRA die Leistung bei anspruchsvollen visionszentrierten Aufgaben konsistent verbessert und als wirksamer Regularisierer gegen visuelle Halluzinationen fungiert, indem es die übermäßige Abhängigkeit von sprachlichen Priors auf natürliche Weise eindämmt. Unser Code ist öffentlich verfügbar.

English

Representation alignment has emerged as an effective approach to improve Multimodal Large Language Models (MLLMs) by regularizing their internal representations toward those of an external vision encoder. However, existing methods typically align a fixed layer of the language backbone, overlooking the fine-grained structure of Transformer models. In this work, we propose Head-Wise Representation Alignment (HeRA), a method that enforces cross-modal alignment at the level of individual attention heads. Our approach is grounded in the Platonic Representation Hypothesis, focusing on preserving the topological structure of representations (i.e., their local neighborhood relationships) across modalities. Following the Mutual K-Nearest Neighbor (MKNN) alignment metric, we introduce a contrastive objective that acts as a differentiable proxy for matching local structures. HeRA applies this objective during multimodal training to specific attention heads in the LLM, selected by their alignment score according to the MKNN metric. Counterintuitively, we find that aligning the least aligned heads yields the largest gains. Extensive evaluations across multiple MLLMs and 18 benchmarks demonstrate that HeRA consistently improves performance on challenging vision-centric tasks and serves as an effective regularizer against visual hallucinations by naturally curbing the over-reliance on linguistic priors. Our code is publicly released.