헤드에 주목하라: 멀티모달 LLM을 위한 위상적 표현 정렬

초록

표현 정렬(representation alignment)은 외부 비전 인코더의 내부 표현 쪽으로 다중 모드 대규모 언어 모델(Multimodal Large Language Models, MLLMs)의 내부 표현을 정규화함으로써 이를 개선하는 효과적인 접근 방식으로 부상했다. 그러나 기존 방법들은 일반적으로 언어 백본의 고정된 계층을 정렬할 뿐, Transformer 모델의 세밀한 구조를 간과한다. 본 연구에서는 개별 어텐션 헤드 수준에서 교차 모달 정렬을 강제하는 방법인 헤드별 표현 정렬(Head-Wise Representation Alignment, HeRA)을 제안한다. 우리의 접근 방식은 플라토닉 표현 가설(Platonic Representation Hypothesis)에 기반을 두며, 모달리티 간 표현의 위상적 구조(즉, 국소 이웃 관계)를 보존하는 데 초점을 맞춘다. 상호 K-최근접 이웃(Mutual K-Nearest Neighbor, MKNN) 정렬 지표에 따라, 국소 구조 일치를 위한 미분 가능한 대리 함수 역할을 하는 대조적 목적 함수를 도입한다. HeRA는 다중 모드 훈련 중에 이 목적 함수를 LLM의 특정 어텐션 헤드에 적용하며, 이 헤드들은 MKNN 지표에 따른 정렬 점수로 선택된다. 직관에 반하여, 가장 덜 정렬된 헤드들을 정렬하는 것이 가장 큰 성능 향상을 가져온다는 사실을 발견했다. 다양한 MLLM과 18개의 벤치마크에 걸친 광범위한 평가는 HeRA가 까다로운 시각 중심 작업에서 일관된 성능 개선을 제공하며, 언어적 사전 지식에 대한 과도한 의존을 자연스럽게 억제함으로써 시각적 환각에 대한 효과적인 정규화자 역할을 함을 입증한다. 우리의 코드는 공개적으로 배포되었다.

English

Representation alignment has emerged as an effective approach to improve Multimodal Large Language Models (MLLMs) by regularizing their internal representations toward those of an external vision encoder. However, existing methods typically align a fixed layer of the language backbone, overlooking the fine-grained structure of Transformer models. In this work, we propose Head-Wise Representation Alignment (HeRA), a method that enforces cross-modal alignment at the level of individual attention heads. Our approach is grounded in the Platonic Representation Hypothesis, focusing on preserving the topological structure of representations (i.e., their local neighborhood relationships) across modalities. Following the Mutual K-Nearest Neighbor (MKNN) alignment metric, we introduce a contrastive objective that acts as a differentiable proxy for matching local structures. HeRA applies this objective during multimodal training to specific attention heads in the LLM, selected by their alignment score according to the MKNN metric. Counterintuitively, we find that aligning the least aligned heads yields the largest gains. Extensive evaluations across multiple MLLMs and 18 benchmarks demonstrate that HeRA consistently improves performance on challenging vision-centric tasks and serves as an effective regularizer against visual hallucinations by naturally curbing the over-reliance on linguistic priors. Our code is publicly released.