Let op de Heads: Topologische Representatie-uitlijning voor Multimodale LLM's

Samenvatting

Representatie-afstemming is naar voren gekomen als een effectieve aanpak om Multimodale Grote Taalmodellen (MLLM's) te verbeteren door hun interne representaties te regulariseren naar die van een externe visie-encoder. Bestaande methoden stemmen echter doorgaans een vaste laag van de taalbackbone af, waarbij de fijnmazige structuur van Transformermodellen wordt genegeerd. In dit werk stellen we Head-Wise Representation Alignment (HeRA) voor, een methode die crossmodale afstemming afdwingt op het niveau van individuele aandachtskoppen. Onze benadering is gegrond in de Platonische Representatiehypothese, met de focus op het behouden van de topologische structuur van representaties (d.w.z. hun lokale buurrelaties) over modaliteiten heen. Volgend op de Mutual K-Nearest Neighbor (MKNN)-afstemmingsmetriek introduceren we een contrastief doel dat fungeert als een differentieerbare proxy voor het matchen van lokale structuren. HeRA past dit doel toe tijdens multimodale training op specifieke aandachtskoppen in het LLM, geselecteerd op basis van hun afstemmingsscore volgens de MKNN-metriek. Tegenintuïtief ontdekken we dat het afstemmen van de minst afgestemde koppen de grootste winst oplevert. Uitgebreide evaluaties over meerdere MLLM's en 18 benchmarks tonen aan dat HeRA consistent de prestaties op uitdagende visie-gerichte taken verbetert en dient als een effectieve regularisator tegen visuele hallucinaties door van nature de overmatige afhankelijkheid van linguïstische priori's in te perken. Onze code is openbaar beschikbaar gesteld.

English

Representation alignment has emerged as an effective approach to improve Multimodal Large Language Models (MLLMs) by regularizing their internal representations toward those of an external vision encoder. However, existing methods typically align a fixed layer of the language backbone, overlooking the fine-grained structure of Transformer models. In this work, we propose Head-Wise Representation Alignment (HeRA), a method that enforces cross-modal alignment at the level of individual attention heads. Our approach is grounded in the Platonic Representation Hypothesis, focusing on preserving the topological structure of representations (i.e., their local neighborhood relationships) across modalities. Following the Mutual K-Nearest Neighbor (MKNN) alignment metric, we introduce a contrastive objective that acts as a differentiable proxy for matching local structures. HeRA applies this objective during multimodal training to specific attention heads in the LLM, selected by their alignment score according to the MKNN metric. Counterintuitively, we find that aligning the least aligned heads yields the largest gains. Extensive evaluations across multiple MLLMs and 18 benchmarks demonstrate that HeRA consistently improves performance on challenging vision-centric tasks and serves as an effective regularizer against visual hallucinations by naturally curbing the over-reliance on linguistic priors. Our code is publicly released.