Revisitando a Codificação Posicional Multimodal em Modelos de Visão e Linguagem

Revisiting Multimodal Positional Encoding in Vision-Language Models

October 27, 2025

Autores: Jie Huang, Xuejing Liu, Sibo Song, Ruibing Hou, Hong Chang, Junyang Lin, Shuai Bai

cs.AI

Resumo

A codificação posicional multimodal é essencial para modelos visão-linguagem, no entanto, houve pouca investigação sistemática sobre codificação posicional multimodal. Realizamos uma análise abrangente da Incorporação Posicional Rotativa (RoPE) multimodal examinando seus dois componentes principais: design posicional e alocação de frequência. Através de extensos experimentos, identificamos três diretrizes-chave: coerência posicional, utilização total de frequência e preservação de prioridades textuais - garantindo layout inequívoco, representação rica e transferência fiel do LLM pré-treinado. Com base nessas percepções, propomos RoPE Multi-Cabeça (MHRoPE) e RoPE-Intercalado (MRoPE-I), duas variantes simples e plug-and-play que não requerem alterações arquiteturais. Nossos métodos superam consistentemente as abordagens existentes em diversos benchmarks, com melhorias significativas tanto na compreensão multimodal geral quanto na granular. O código estará disponível em https://github.com/JJJYmmm/Multimodal-RoPEs.

English

Multimodal position encoding is essential for vision-language models, yet there has been little systematic investigation into multimodal position encoding. We conduct a comprehensive analysis of multimodal Rotary Positional Embedding (RoPE) by examining its two core components: position design and frequency allocation. Through extensive experiments, we identify three key guidelines: positional coherence, full frequency utilization, and preservation of textual priors-ensuring unambiguous layout, rich representation, and faithful transfer from the pre-trained LLM. Based on these insights, we propose Multi-Head RoPE (MHRoPE) and MRoPE-Interleave (MRoPE-I), two simple and plug-and-play variants that require no architectural changes. Our methods consistently outperform existing approaches across diverse benchmarks, with significant improvements in both general and fine-grained multimodal understanding. Code will be avaliable at https://github.com/JJJYmmm/Multimodal-RoPEs.