Riesaminare la codifica posizionale multimodale nei modelli visione-linguaggio

Revisiting Multimodal Positional Encoding in Vision-Language Models

October 27, 2025

Autori: Jie Huang, Xuejing Liu, Sibo Song, Ruibing Hou, Hong Chang, Junyang Lin, Shuai Bai

cs.AI

Abstract

La codifica posizionale multimodale è essenziale per i modelli visione-linguaggio, nonostante ciò non vi sia stata un'indagine sistematica approfondita su di essa. Conduciamo un'analisi completa del Rotary Positional Embedding (RoPE) multimodale esaminandone le due componenti fondamentali: la progettazione posizionale e l'allocazione delle frequenze. Attraverso esperimenti estensivi, identifichiamo tre linee guida chiave: coerenza posizionale, piena utilizzazione delle frequenze e preservazione dei preconcetti testuali - garantendo un layout non ambiguo, una rappresentazione ricca e un trasferimento fedele dal LLM pre-addestrato. Sulla base di queste intuizioni, proponiamo Multi-Head RoPE (MHRoPE) e MRoPE-Interleave (MRoPE-I), due varianti semplici e plug-and-play che non richiedono modifiche architetturali. I nostri metodi superano costantemente gli approcci esistenti in vari benchmark, con miglioramenti significativi sia nella comprensione multimodale generale che in quella granulare. Il codice sarà disponibile su https://github.com/JJJYmmm/Multimodal-RoPEs.

English

Multimodal position encoding is essential for vision-language models, yet there has been little systematic investigation into multimodal position encoding. We conduct a comprehensive analysis of multimodal Rotary Positional Embedding (RoPE) by examining its two core components: position design and frequency allocation. Through extensive experiments, we identify three key guidelines: positional coherence, full frequency utilization, and preservation of textual priors-ensuring unambiguous layout, rich representation, and faithful transfer from the pre-trained LLM. Based on these insights, we propose Multi-Head RoPE (MHRoPE) and MRoPE-Interleave (MRoPE-I), two simple and plug-and-play variants that require no architectural changes. Our methods consistently outperform existing approaches across diverse benchmarks, with significant improvements in both general and fine-grained multimodal understanding. Code will be avaliable at https://github.com/JJJYmmm/Multimodal-RoPEs.