視覚言語モデルにおけるマルチモーダル位置符号化の再検討

要旨

マルチモーダル位置符号化は視覚言語モデルにおいて不可欠であるが、これまで体系的な研究はほとんど行われてこなかった。本論文では、マルチモーダルRoPE（Rotary Positional Embedding）の2つの核心的構成要素―位置設計と周波数配分―を詳細に分析する。大規模な実験を通じて、位置的一貫性、全周波数利用、テキスト事前知識の保持という3つの重要指針を特定した。これらは、明確なレイアウト、豊富な表現、事前学習済みLLMからの忠実な転移を保証する。これらの知見に基づき、既存アーキテクチャを変更せずに導入可能なシンプルなPlug-and-Play型変種であるMulti-Head RoPE（MHRoPE）とMRoPE-Interleave（MRoPE-I）を提案する。提案手法は多様なベンチマークで既存手法を一貫して上回り、一般的なマルチモーダル理解と細粒度マルチモーダル理解の両方で顕著な改善を示す。コードはhttps://github.com/JJJYmmm/Multimodal-RoPEsで公開予定である。

English

Multimodal position encoding is essential for vision-language models, yet there has been little systematic investigation into multimodal position encoding. We conduct a comprehensive analysis of multimodal Rotary Positional Embedding (RoPE) by examining its two core components: position design and frequency allocation. Through extensive experiments, we identify three key guidelines: positional coherence, full frequency utilization, and preservation of textual priors-ensuring unambiguous layout, rich representation, and faithful transfer from the pre-trained LLM. Based on these insights, we propose Multi-Head RoPE (MHRoPE) and MRoPE-Interleave (MRoPE-I), two simple and plug-and-play variants that require no architectural changes. Our methods consistently outperform existing approaches across diverse benchmarks, with significant improvements in both general and fine-grained multimodal understanding. Code will be avaliable at https://github.com/JJJYmmm/Multimodal-RoPEs.

視覚言語モデルにおけるマルチモーダル位置符号化の再検討

Revisiting Multimodal Positional Encoding in Vision-Language Models

要旨

Support