Neubewertung multimodaler Positionscodierung in Bild-Sprache-Modellen

Revisiting Multimodal Positional Encoding in Vision-Language Models

October 27, 2025

papers.authors: Jie Huang, Xuejing Liu, Sibo Song, Ruibing Hou, Hong Chang, Junyang Lin, Shuai Bai

cs.AI

papers.abstract

Multimodale Positionskodierung ist entscheidend für Vision-Language-Modelle, doch es gab bisher nur wenig systematische Untersuchungen dazu. Wir führen eine umfassende Analyse der multimodalen Rotary Positional Embedding (RoPE) durch, indem wir ihre beiden Kernkomponenten untersuchen: Positionsdesign und Frequenzzuweisung. Durch umfangreiche Experimente identifizieren wir drei zentrale Leitlinien: Positionskohärenz, vollständige Frequenznutzung und Bewahrung von Text-Priors – was eine eindeutige Layout-Darstellung, reichhaltige Repräsentation und treue Übertragung vom vortrainierten LLM gewährleistet. Aufbauend auf diesen Erkenntnissen schlagen wir Multi-Head RoPE (MHRoPE) und MRoPE-Interleave (MRoPE-I) vor, zwei einfache Plug-and-Play-Varianten, die keine Architekturänderungen erfordern. Unsere Methoden übertreffen bestehende Ansätze durchgängig in verschiedenen Benchmarks, mit signifikanten Verbesserungen sowohl im allgemeinen als auch im feinkörnigen multimodalen Verständnis. Code wird verfügbar sein unter https://github.com/JJJYmmm/Multimodal-RoPEs.

English

Multimodal position encoding is essential for vision-language models, yet there has been little systematic investigation into multimodal position encoding. We conduct a comprehensive analysis of multimodal Rotary Positional Embedding (RoPE) by examining its two core components: position design and frequency allocation. Through extensive experiments, we identify three key guidelines: positional coherence, full frequency utilization, and preservation of textual priors-ensuring unambiguous layout, rich representation, and faithful transfer from the pre-trained LLM. Based on these insights, we propose Multi-Head RoPE (MHRoPE) and MRoPE-Interleave (MRoPE-I), two simple and plug-and-play variants that require no architectural changes. Our methods consistently outperform existing approaches across diverse benchmarks, with significant improvements in both general and fine-grained multimodal understanding. Code will be avaliable at https://github.com/JJJYmmm/Multimodal-RoPEs.