Обратите внимание на головы: выравнивание топологических представлений для мультимодальных больших языковых моделей

Аннотация

Выравнивание представлений стало эффективным подходом для улучшения мультимодальных больших языковых моделей (MLLM) путём регуляризации их внутренних представлений в сторону представлений внешнего визуального энкодера. Однако существующие методы обычно выравнивают фиксированный слой языкового бэкбоуна, игнорируя мелкозернистую структуру трансформерных моделей. В данной работе мы предлагаем выравнивание представлений на уровне голов внимания (Head-Wise Representation Alignment, HeRA) — метод, который обеспечивает кросс-модальное выравнивание на уровне отдельных голов внимания. Наш подход основан на Платонической гипотезе представлений и фокусируется на сохранении топологической структуры представлений (т.е. их локальных отношений соседства) между модальностями. Следуя метрике выравнивания Mutual K-Nearest Neighbor (MKNN), мы вводим контрастивную целевую функцию, которая действует как дифференцируемый прокси для согласования локальных структур. HeRA применяет эту целевую функцию в ходе мультимодального обучения к конкретным головам внимания в LLM, отобранным по показателю их выравнивания согласно метрике MKNN. Вопреки интуиции, мы обнаружили, что выравнивание наименее согласованных голов даёт наибольший прирост. Обширные оценки на нескольких MLLM и 18 бенчмарках демонстрируют, что HeRA стабильно улучшает производительность в сложных задачах, ориентированных на зрение, и служит эффективным регуляризатором против визуальных галлюцинаций, естественным образом сдерживая чрезмерную опору на лингвистические априорные знания. Наш код опубликован в открытом доступе.

English

Representation alignment has emerged as an effective approach to improve Multimodal Large Language Models (MLLMs) by regularizing their internal representations toward those of an external vision encoder. However, existing methods typically align a fixed layer of the language backbone, overlooking the fine-grained structure of Transformer models. In this work, we propose Head-Wise Representation Alignment (HeRA), a method that enforces cross-modal alignment at the level of individual attention heads. Our approach is grounded in the Platonic Representation Hypothesis, focusing on preserving the topological structure of representations (i.e., their local neighborhood relationships) across modalities. Following the Mutual K-Nearest Neighbor (MKNN) alignment metric, we introduce a contrastive objective that acts as a differentiable proxy for matching local structures. HeRA applies this objective during multimodal training to specific attention heads in the LLM, selected by their alignment score according to the MKNN metric. Counterintuitively, we find that aligning the least aligned heads yields the largest gains. Extensive evaluations across multiple MLLMs and 18 benchmarks demonstrate that HeRA consistently improves performance on challenging vision-centric tasks and serves as an effective regularizer against visual hallucinations by naturally curbing the over-reliance on linguistic priors. Our code is publicly released.