Revisitando la Codificación Posicional Multimodal en Modelos de Visión y Lenguaje

Revisiting Multimodal Positional Encoding in Vision-Language Models

October 27, 2025

Autores: Jie Huang, Xuejing Liu, Sibo Song, Ruibing Hou, Hong Chang, Junyang Lin, Shuai Bai

cs.AI

Resumen

La codificación posicional multimodal es esencial para los modelos de visión y lenguaje, sin embargo, ha habido poca investigación sistemática sobre la codificación posicional multimodal. Realizamos un análisis exhaustivo del Embedding Posicional Rotatorio (RoPE) multimodal examinando sus dos componentes centrales: diseño de posiciones y asignación de frecuencias. A través de extensos experimentos, identificamos tres pautas clave: coherencia posicional, utilización completa de frecuencias y preservación de los sesgos textuales, garantizando un diseño de disposición inequívoco, una representación rica y una transferencia fiel del LLM preentrenado. Basándonos en estas ideas, proponemos RoPE de Múltiples Cabezas (MHRoPE) y MRoPE-Intercalado (MRoPE-I), dos variantes simples y listas para usar que no requieren cambios arquitectónicos. Nuestros métodos superan consistentemente a los enfoques existentes en diversos benchmarks, con mejoras significativas tanto en la comprensión multimodal general como en la de grano fino. El código estará disponible en https://github.com/JJJYmmm/Multimodal-RoPEs.

English

Multimodal position encoding is essential for vision-language models, yet there has been little systematic investigation into multimodal position encoding. We conduct a comprehensive analysis of multimodal Rotary Positional Embedding (RoPE) by examining its two core components: position design and frequency allocation. Through extensive experiments, we identify three key guidelines: positional coherence, full frequency utilization, and preservation of textual priors-ensuring unambiguous layout, rich representation, and faithful transfer from the pre-trained LLM. Based on these insights, we propose Multi-Head RoPE (MHRoPE) and MRoPE-Interleave (MRoPE-I), two simple and plug-and-play variants that require no architectural changes. Our methods consistently outperform existing approaches across diverse benchmarks, with significant improvements in both general and fine-grained multimodal understanding. Code will be avaliable at https://github.com/JJJYmmm/Multimodal-RoPEs.