Paradigme d'Entraînement par Alignement de Sous-espaces Guidé par l'Écart de Modalité pour les Grands Modèles de Langage Multimodaux

papers.abstract

Malgré le succès de l'apprentissage contrastif multimodal pour aligner les représentations visuelles et linguistiques, une anomalie géométrique persistante, l'Écart Modal, subsiste : les plongements de modalités distinctes exprimant une sémantique identique occupent des régions systématiquement décalées. Les approches antérieures pour combler cet écart sont largement limitées par des hypothèses isotropiques trop simplifiées, entravant leur application dans des scénarios à grande échelle. Dans cet article, nous abordons ces limitations en caractérisant précisément la forme géométrique de l'écart modal et en l'exploitant pour un passage à l'échelle efficace des modèles. Premièrement, nous proposons la Théorie de l'Écart Modal à Référentiel Fixe, qui décompose l'écart modal dans un référentiel gelé en biais stables et résidus anisotropes. Guidée par cette modélisation précise, nous introduisons ReAlign, une stratégie d'alignement modal sans apprentissage. En utilisant des statistiques provenant de données non appariées massives, ReAlign aligne la représentation textuelle sur la distribution de la représentation image via un processus en trois étapes comprenant un Ancrage, un Traçage et un Alignement Centroidal, rectifiant ainsi explicitement le désalignement géométrique. S'appuyant sur ReAlign, nous proposons ReVision, un paradigme d'apprentissage scalable pour les Grands Modèles de Langage Multimodaux (MLLM). ReVision intègre ReAlign dans l'étape de pré-entraînement, permettant au modèle d'apprendre la distribution des représentations visuelles à partir de texte non apparié avant le réglage fin sur instructions visuelles, sans nécessiter de paires image-texte de grande qualité à grande échelle. Notre cadre démontre que des données non appariées, alignées statistiquement, peuvent efficacement remplacer les paires image-texte coûteuses, offrant une voie robuste pour le passage à l'échelle efficace des MLLM.

English

Despite the success of multimodal contrastive learning in aligning visual and linguistic representations, a persistent geometric anomaly, the Modality Gap, remains: embeddings of distinct modalities expressing identical semantics occupy systematically offset regions. Prior approaches to bridge this gap are largely limited by oversimplified isotropic assumptions, hindering their application in large-scale scenarios. In this paper, we address these limitations by precisely characterizing the geometric shape of the modality gap and leveraging it for efficient model scaling. First, we propose the Fixed-frame Modality Gap Theory, which decomposes the modality gap within a frozen reference frame into stable biases and anisotropic residuals. Guided by this precise modeling, we introduce ReAlign, a training-free modality alignment strategy. Utilizing statistics from massive unpaired data, ReAlign aligns text representation into the image representation distribution via a three-step process comprising Anchor, Trace, and Centroid Alignment, thereby explicitly rectifying geometric misalignment. Building on ReAlign, we propose ReVision, a scalable training paradigm for Multimodal Large Language Models (MLLMs). ReVision integrates ReAlign into the pretraining stage, enabling the model to learn the distribution of visual representations from unpaired text before visual instruction tuning, without the need for large-scale, high-quality image-text pairs. Our framework demonstrates that statistically aligned unpaired data can effectively substitute for expensive image-text pairs, offering a robust path for the efficient scaling of MLLMs.

Paradigme d'Entraînement par Alignement de Sous-espaces Guidé par l'Écart de Modalité pour les Grands Modèles de Langage Multimodaux

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

papers.abstract

Support