Herbezien van multimodale positionele codering in visie-taalmodellen

Revisiting Multimodal Positional Encoding in Vision-Language Models

October 27, 2025

Auteurs: Jie Huang, Xuejing Liu, Sibo Song, Ruibing Hou, Hong Chang, Junyang Lin, Shuai Bai

cs.AI

Samenvatting

Multimodale positiecodering is essentieel voor visie-taalmodellen, maar er is tot nu toe weinig systematisch onderzoek naar gedaan. Wij voeren een uitgebreide analyse uit van multimodale Rotary Positional Embedding (RoPE) door de twee kerncomponenten te onderzoeken: positieontwerp en frequentietoewijzing. Via uitgebreide experimenten identificeren we drie belangrijke richtlijnen: positionele coherentie, volledig frequentiegebruik en behoud van tekstuele prioriteiten – wat eenduidige lay-out, rijke representatie en getrouwe overdracht van het vooraf getrainde LLM waarborgt. Gebaseerd op deze inzichten stellen we Multi-Head RoPE (MHRoPE) en MRoPE-Interleave (MRoPE-I) voor, twee eenvoudige, plug-and-play varianten die geen aanpassingen aan de architectuur vereisen. Onze methoden overtreffen bestaande benaderingen consistent in diverse benchmarks, met significante verbeteringen in zowel algemeen als fijnmazig multimodaal begrip. Code zal beschikbaar zijn op https://github.com/JJJYmmm/Multimodal-RoPEs.

English

Multimodal position encoding is essential for vision-language models, yet there has been little systematic investigation into multimodal position encoding. We conduct a comprehensive analysis of multimodal Rotary Positional Embedding (RoPE) by examining its two core components: position design and frequency allocation. Through extensive experiments, we identify three key guidelines: positional coherence, full frequency utilization, and preservation of textual priors-ensuring unambiguous layout, rich representation, and faithful transfer from the pre-trained LLM. Based on these insights, we propose Multi-Head RoPE (MHRoPE) and MRoPE-Interleave (MRoPE-I), two simple and plug-and-play variants that require no architectural changes. Our methods consistently outperform existing approaches across diverse benchmarks, with significant improvements in both general and fine-grained multimodal understanding. Code will be avaliable at https://github.com/JJJYmmm/Multimodal-RoPEs.