モダリティギャップ駆動型部分空間アライメント訓練パラダイムによるマルチモーダル大規模言語モデルの実現

要旨

マルチモーダル対比学習が視覚と言語の表現の整合に成功しているにもかかわらず、頑固な幾何学的異常である「モダリティギャップ」が残存している：同一の意味内容を表現する異なるモダリティの埋め込みが、体系的に偏移した領域を占めるという現象である。従来のギャップ解消手法は、過度に単純化された等方性の仮定に大きく制限され、大規模シナリオへの応用を妨げてきた。本論文では、モダリティギャップの幾何学的形状を精密に特徴付け、それを効率的なモデル拡張に活用することでこれらの限界に取り組む。まず、固定枠組みモダリティギャップ理論を提案し、凍結された参照枠内でのモダリティギャップを安定的なバイアスと異方性残差に分解する。この精密なモデリングに導かれ、学習不要のモダリティ整合戦略であるReAlignを導入する。ReAlignは大規模な非ペアデータから得られる統計量を利用し、Anchor、Trace、Centroid Alignmentの3段階プロセスを通じてテキスト表現を画像表現分布に整合させ、幾何学的な不一致を明示的に補正する。ReAlignを基盤として、マルチモーダル大規模言語モデル（MLLM）のための拡張性のある学習パラダイムReVisionを提案する。ReVisionはReAlignを事前学習段階に統合し、大規模な高品質な画像-テキストペアを必要とせず、視覚的指示チューニング前に非ペアテキストから視覚表現の分布を学習させる。我々のフレームワークは、統計的に整合された非ペアデータが高価な画像-テキストペアを効果的に代替しうることを実証し、MLLMの効率的なスケーリングへの堅牢な道筋を提供する。

English

Despite the success of multimodal contrastive learning in aligning visual and linguistic representations, a persistent geometric anomaly, the Modality Gap, remains: embeddings of distinct modalities expressing identical semantics occupy systematically offset regions. Prior approaches to bridge this gap are largely limited by oversimplified isotropic assumptions, hindering their application in large-scale scenarios. In this paper, we address these limitations by precisely characterizing the geometric shape of the modality gap and leveraging it for efficient model scaling. First, we propose the Fixed-frame Modality Gap Theory, which decomposes the modality gap within a frozen reference frame into stable biases and anisotropic residuals. Guided by this precise modeling, we introduce ReAlign, a training-free modality alignment strategy. Utilizing statistics from massive unpaired data, ReAlign aligns text representation into the image representation distribution via a three-step process comprising Anchor, Trace, and Centroid Alignment, thereby explicitly rectifying geometric misalignment. Building on ReAlign, we propose ReVision, a scalable training paradigm for Multimodal Large Language Models (MLLMs). ReVision integrates ReAlign into the pretraining stage, enabling the model to learn the distribution of visual representations from unpaired text before visual instruction tuning, without the need for large-scale, high-quality image-text pairs. Our framework demonstrates that statistically aligned unpaired data can effectively substitute for expensive image-text pairs, offering a robust path for the efficient scaling of MLLMs.

モダリティギャップ駆動型部分空間アライメント訓練パラダイムによるマルチモーダル大規模言語モデルの実現

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

要旨

Support